后台-系统设置-扩展变量-手机广告位-首页/栏目头部广告位

大数据

人工智能、物联网、大数据……78%受访者希望从事新职业

大数据
May 28,2019

日前,人力资源和社会保障部等三部门正式发布了人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员等13个新职业信息,这也是自2015年版国家职业分类大典颁布以来发布的首批新职业。这一调整不仅影响...

大数据分析&人工智能:技术内容价值观辨析

大数据
May 28,2019

随着技术的不断发展,技术的种类越来越多,人们不可能掌握全部的技术,但是技术对于人们的选择有了太多太多,这时候在选择什么技术的时候,人们往往就会陷入迷茫,不知道应该选择什么样的技术,不清楚自己应该从...

【大数据】SparkSql连接查询中的谓词下推处理(一)

大数据
May 28,2019

本文首发于 vivo互联网技术 微信公众号 [链接]作者:李勇 目录: 1.SparkSql 2.连接查询和连接条件 3.谓词下推 4.内连接查询中的谓词下推规则 4.1.Join后条件通过AND连接 4.2.Join后条件通过OR连接 4.3.分区表使...

用Q-learning算法实现自动走迷宫机器人

大数据
May 28,2019

如上图所示,智能机器人显示在右上角。在我们的迷宫中,有陷阱(红色炸弹)及终点(蓝色的目标点)两种情景。机器人要尽量避开陷阱、尽快到达目的地。

大数据在人力资源管理当中的应用

大数据
May 28,2019

商鞅也说过经典的“强国知十三数“:竟内仓、口之数,壮男、壮女之数,老、弱之数,官、士之数,以言说取食者之数,利民之数,马、牛、刍藁之数。

HBase浅度学习

大数据
May 28,2019

简介 hbase是大数据hadoop的数据库 存储数据 {代码...} 检索数据 {代码...} 已经有RDBMS数据库为什么还需要hbase这种hadoop数据库?(什么时候需要选择hbase) 要存储的数据为海量的数据 {代码...} 要存储的数据...

Kafka消息过长详解

大数据
May 28,2019

Kafka发送消息大小问题 ⚠️ 本文实验的Kafka版本为2.11版本. 消息概述 kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含: topic 发往的Topic partition 发往的分区 headers 头信息 key...

DataX在有赞大数据平台的实践

大数据
May 28,2019

有赞大数据技术应用的早期,我们使用 Sqoop 作为数据同步工具,满足了 MySQL 与 Hive 之间数据同步的日常开发需求。

入门教程 | 5分钟从零构建第一个 Flink 应用

大数据
May 28,2019

本文转载自 Jark’s Blog ,作者伍翀(云邪),Apache Flink Committer,阿里巴巴高级开发工程师。本文将从开发环境准备、创建 Maven 项目,编写 Flink 程序、运行程序等方面讲述如何迅速搭建第一个 Flink 应用。...

从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进

大数据
May 28,2019

本文将为大家介绍Apache Flink在爱奇艺的生产与实践过程。你可以借此了解到爱奇艺引入Apache Flink的背景与挑战,以及平台构建化流程。主要内容如下: 爱奇艺在实时计算方面的的演化和遇到的一些挑战 爱奇艺使用F...

专访宜信CTO向江旭:技术应当服务于场景,AI天生适合金融业

大数据
May 28,2019

导读: 随着人工智能技术的爆发,2017 年人工智能已经上升为国家战略,开始在越来越多的行业落地。而传统金融行业受到互联网技术的冲击,也纷纷踏上转型之路,向数字化、智能化转型。InfoQ 记者采访了宜信 CTO 向...

数据中台:宜信敏捷数据中台建设实践|分享实录

大数据
May 28,2019

导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技术社区内得到了广泛关注和好评。这些工具是如何在宜信内部应用的?它们和宜信数据中台是怎样的关系?又...

Hadoop浅度学习指南(HDFS、YARN、MapReduce)

大数据
May 28,2019

大数据 概念:big data 5V特征: Volume:量大 Value:价值高,价值密度低 Variety:多样性 Velocity:速度快 Veracity:准确性 hadoop 主要组成 GFS --> HDFSMapReduce --> MapReduceBigTable -- > HBa...

Hive集群合并之应用端的负载均衡算法

大数据
May 28,2019

有这么一个场景,我们有两个Hive集群,Hive集群1(后面成为1号集群)是一直专享于数据计算平台的,而Hive集群2(后面成为2号集群)是用于其他团队使用的,比如特征,广告等。而由此存在两个主要问题:a) 两个Hive...

ZooKeeper安装、效果演示

大数据
May 28,2019

高可用(HA) -- ZooKeeper ZooKeeper 一个开源的分布式的,为分布式应用提供服务的项目 提供原语集合以便分布式应用可以在它之上构建更高层次的同步服务 角色 {代码...} 安装 伪分布模式 {代码...} 完全分布模式 ...

浅析 Spark Shuffle 内存使用

大数据
May 28,2019

在使用 Spark 进行计算时,我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况,而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢? 为...

袋鼠云数据中台专栏2.0 | 企业数据化认知:数据就是生产力!

大数据
May 28,2019

一、数据就是生产力。笔者两年前在袋鼠云做的国内某省一个交警项目上,面对着海量的车辆轨迹数据时,第一次感受到什么是数据的力量。

程序员笔记|3个问题带你入门数据建模

大数据
May 28,2019

作者介绍:韩锋:宜信数据库开发与管理主任工程师ACMUG主席团成员,CCIA(中国计算机行业协会)常务理事,Oracle ACE,DBAplus联合创始人,ODF 顾问团成员,ACOUG,ACMUG,DBGeek撰稿人,著有《SQL优化最佳实践》一...

数据中台:宜信敏捷数据中台建设实践

大数据
May 28,2019

【宜信技术沙龙】是由宜信技术学院主办的系列技术分享活动,活动包括线上和线下两种形式,每期技术沙龙都将邀请宜信及其他互联网公司的技术专家分享来自一线的实践经验,分享内容覆盖金融科技及软件研发等主要技...

Flume浅度学习指南

大数据
May 28,2019

flume简介 cloudera 公司开源的,贡献给Apache基金会 [链接] [链接] 只能运行在linux系统上 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving lar...

实时计算在有赞的实践 - 效率提升之路

大数据
May 28,2019

有赞是一个商家服务公司,提供全行业全场景的电商解决方案。在有赞,大量的业务场景依赖对实时数据的处理,作为一类基础技术组件,服务着有赞内部几十个业务产品,几百个实时计算任务,其中包括交易数据大屏,商...

小时代到大时代的个人选择——如何成为大数据时代的弄潮儿

大数据
May 28,2019

再和很多想进入数据科学行业的小白们聊天的时候,在谈到为什么要进入这个行业的时候,他们都认为未来,将会是数据为王的时代,他们之中有很多已经工作多年已经了解到行业内数据的发展变化,有一些是还处于校园内...

kafka 入门详解

大数据
May 28,2019

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅...

Hive+Sqoop浅度学习指南

大数据
May 28,2019

用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程

大数据揭晓:复联4上映4天破20亿,万达影院2018年140.88亿居榜首

大数据
May 28,2019

毫无疑问,《复联4》是本周乃至本月最热门最卖座的电影,从前期宣传的阵势、影迷们自主的口碑爆炸影响,它的票房创出该系列电影新高和各项记录早已是铁定了。

推荐文章

热门标签

    热门文章 最新文章 文章云

站内导航

全站搜索