文章库ARTICLE COLUMN

  • 阿里云喻义:十年牧码,从码农走向工程师的进化之路

    阿里云喻义:十年牧码,从码农走向工程师的进化之路

    摘要:每一个工程师都是对业务场景极其了解的码农加入阿里云后,作为视频云的产品架构师,开始更多的与行业客户沟通视频业务的解决方案,拓展云的边界。如何利用阿里云的技术能力,更好的服务客户业务,服务客户。 摘要: 有人会问,码农和工程师有区别吗?...

    lushanlushan 评论0 收藏0
  • 云原生数据库如何打造业务弹性

    云原生数据库如何打造业务弹性

    摘要:实战阿里云数据库为业务架构变迁做好准备目前,阿里云的数据库形态已经覆盖了互联网中的业务场景。演进路线阿里云上提供了这么多的数据库产品,在实际应用中该如何进行选择呢我们已经为业务的快速发展和更新迭代做好了准备。 摘要: 云计算带来了业务...

    fou7fou7 评论0 收藏0
  • 《从0到1学习Flink》—— Apache Flink 介绍

    《从0到1学习Flink》—— Apache Flink 介绍

    摘要:扩展库还包括用于复杂事件处理,机器学习,图形处理和兼容性的专用代码库。事件时间机制使得那些事件无序到达甚至延迟到达的数据流能够计算出精确的结果。负责接受用户的程序代码,然后创建数据流,将数据流提交给以便进一步执行。 showImg("https://s...

    zhangqhzhangqh 评论0 收藏0
  • ApacheCN 学习资源汇总 2018.11

    ApacheCN 学习资源汇总 2018.11

    摘要:首页地址关于我们我们不是的官方组织机构团体,只是技术栈以及的爱好者基础编程思想和大数据中文文档中文文档中文文档中文文档中文文档中文文档中文文档中文文档中文文档中文文档区块链中文文档数学笔记线性代数笔记数据科学中文文档中文文档中文文档课...

    testbirdtestbird 评论0 收藏0
  • 取之开源,用之开源——深度剖析阿里巴巴对Apache Flink的优化与改进

    取之开源,用之开源——深度剖析阿里巴巴对Apache Flink的优化与改进

    摘要:基于在阿里巴巴搭建的平台于年正式上线,并从阿里巴巴的搜索和推荐这两大场景开始实现。在经过一番调研之后,阿里巴巴实时计算认为是一个非常适合的选择。接下来,我们聊聊阿里巴巴在层对又大刀阔斧地进行了哪些改进。 Apache Flink 概述 Apache Flink...

    RancherLabsRancherLabs 评论0 收藏0
  • 《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

    《从0到1学习Flink》—— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门

    摘要:总结本文描述了如何在电脑上安装,及运行它。相关文章从到学习介绍从到学习上搭建环境并构建运行简单程序入门从到学习配置文件详解从到学习介绍从到学习如何自定义从到学习介绍从到学习如何自定义 showImg("https://segmentfault.com/img/remote/14600...

    hufenghufeng 评论0 收藏0
  • CentOS7 上搭建多节点 Elasticsearch集群

    CentOS7 上搭建多节点 Elasticsearch集群

    摘要:本文内容脑图如下文章共字,阅读大约需要分钟概述最近学,既然学之,怎么能没有实际的集群来把玩呢,因此自己必须动手搭一个注本文首发于程序羊,欢迎光临小站环境准备节点准备本文准备搭建双节点集群,因此这里准备了两台机器节点节点安装包准备这里下...

    NicolasHeNicolasHe 评论0 收藏0
  • TiDB 助力卡思数据视频大数据业务创新

    TiDB 助力卡思数据视频大数据业务创新

    摘要:选择在经历了痛苦的传统解决方案的折磨以及大量调研及对比后,卡思数据最终选择了作为数据仓库及业务数据库。上线卡思数据目前配置了两个的三个的四个的。卡思数据部署了数据库监控系统来实时监控服务状态,可以非常清晰的查看服务器问题。 作者:刘广...

    lufficclufficc 评论0 收藏0
  • Spark CommitCoordinator 保证数据一致性

    Spark CommitCoordinator 保证数据一致性

    摘要:在此之前,所有文件均在及其子文件内,对外不可见。此时发生了数据不一致性的问题当结束时,立即将数据移动到,立即对外可见。如果执行过程中失败了,已的数据仍然对外可见,而失败的数据或未被的数据对外不可见。也即更易发生数据一致性问题 原创文章...

    stdyingstdying 评论0 收藏0
  • ClickHouse高性能分布式分析数据库

    ClickHouse高性能分布式分析数据库

    摘要:向大家介绍的基本特性和概念,特别是性能对比数据,包括和的性能对比。 向大家介绍ClickHouse的基本特性和概念,特别是性能对比数据,包括和Hive/Spark/Druid的性能对比。 文章资源来自示说网showImg("https://segmentfault.com/img/remote/1460000016...

    xzavierxzavier 评论0 收藏0
  • Reinventing the wheel:决策树算法的实现

    Reinventing the wheel:决策树算法的实现

    摘要:数据描述每条数据项储存在列表中,最后一列储存结果多条数据项形成数据集决策树数据结构决策树节点初始化决策树节点按数据集的列划分数据集以作为划分列的参照只有叶子节点有,代表最终划分出的子数据集结果统计信息。 数据描述 每条数据项储存在列表...

    dravenessdraveness 评论0 收藏0
  • TiDB 源码阅读系列文章(十九)tikv-client(下)

    TiDB 源码阅读系列文章(十九)tikv-client(下)

    摘要:是什么在介绍的概念之前,我们需要简单回顾一下前面源码阅读系列文章六中讲过的和的概念以及它们和语句的关系。的任务就是实现请求,执行所有涉及到的请求,并依次返回结果。构造出了所有之后,下一步就是执行这些了。 上篇文章 中,我们介绍了数据读...

    dailybirddailybird 评论0 收藏0
  • 使用数据流引擎进行大型矩阵操作

    使用数据流引擎进行大型矩阵操作

    摘要:现如今,数据增长速度快于处理速度,唯一的解决方案是在大型集群上并行化,而且这种技术以及广泛应用于企业和网络行业。本章主要内容有讲解数据流与传统的网络编程的区别的局限性等。 现如今,数据增长速度快于处理速度,唯一的解决方案是在大型集群上...

    Wuv1UpWuv1Up 评论0 收藏0
  • 数据采集与分析的那些事——从数据埋点到AB测试

    数据采集与分析的那些事——从数据埋点到AB测试

    摘要:在分析时,业务人员通过分析平台的圈选功能来选出自己关注的用户行为,并给出事件命名。但带来的问题就是采集所有数据对应用的侵入会比较大,也会增大用户端采集的数据量。规范的数据采集,加上高效的传输建模能力,是企业业务数据资产有效建设的前提。...

    TangpjTangpj 评论0 收藏0
  • Flink入门

    Flink入门

    摘要:简介是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。每一个数据流起始于一个或多个,并终止于一个或多个。 Flink简介 Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台,...

    widuuwiduu 评论0 收藏0
  • 友盟+CEO朋新宇:DI进化,是选择更是态度

    友盟+CEO朋新宇:DI进化,是选择更是态度

    摘要:在朋新宇看来,数据加工有三大过程过程第一层是采集,友盟技术平台每天能够支撑万亿级的采集能力。,朋新宇分享到,这不是友盟转型,是友盟与开发者和客户一起转型和升级,基于数据能力行业理解,对商业模式和赛道的理解,让数据成为驱动转型的源动力。...

    wzypluswzyplus 评论0 收藏0
  • TiDB 源码阅读系列文章(十八)tikv-client(上)

    TiDB 源码阅读系列文章(十八)tikv-client(上)

    摘要:获取所在的是通过向发送请求完成的。外部调用的接口,并不需要关心的细节,请求都是为了实现接口而发起的。实现不同的接口需要发送不同的请求。这种错误主要是因为的分裂,当内的数据量增多以后,会分裂成多个新的。 作者:周昱行 在整个 SQL 执行过程...

    cfanrcfanr 评论0 收藏0
  • 使用 TiKV 构建分布式类 Redis 服务

    使用 TiKV 构建分布式类 Redis 服务

    摘要:提供了集群支持,但也不能支持跨多个节点的分布式事务。是一个高性能,支持分布式事务的数据库。譬如,我们就构建了,一个基于的,兼容的分布式关系型数据库。它使用作为每行的分隔符并且用不同的前缀来代表不同的类型。 什么是 Redis Redis 是一个开...

    CristalvenCristalven 评论0 收藏0
  • 如何在EsgynDB中使用机器学习库(ML library)

    如何在EsgynDB中使用机器学习库(ML library)

    摘要:简单的集成和有多种方法连接机器学习库和。用户在他们选择的系统上运行机器学习代码并通过读取数据。许多机器学习库都内置支持以逗号分隔或以其他方式分隔格式读取和写入。 机器学习(ML)库正变得越来越流行,现在有各种各样的这类库 - 维基百科中提...

    LeoHsiunLeoHsiun 评论0 收藏0
  • 大数据各组件搭建,版本冲突问题解决方案

    大数据各组件搭建,版本冲突问题解决方案

    摘要:最近由于搭建的环境,需要做一整套大数据的方案。然后问题来了中自带的,运行了一下的,成功连上,但是发现发送到的数据,根本无法消费到,并且运行中出现无法识别配置的警告。组件版本发行版版本不适用本文仅做参考。 最近由于搭建hadoop、flink、kaf...

    UCloudUCloud 评论0 收藏0
  • hadoop编译---+2.x编译

    hadoop编译---+2.x编译

    摘要:编译系统为了是更兼容当前使用的操作系统所以介绍下如何编译当前使用平台的准备软件其他版本测试会有问题建议用的一种数据交换的格式,它独立于语言,独立于平台平台环境安装略安装解压修改环境变量添加以下变量添加阿里源查找标签安 hadoop+2.X编译(c...

    terenteren 评论0 收藏0
  • Hive导入数据

    Hive导入数据

    摘要:导入数据创建规则文件创建数据库创建数据库创建表制表符是文件导入到表中时一个分割符也可以填写入码在文件数据成功导入到中时会把中文件删除导入本地及数据导入本地文件导入文件查询数据导入是否正确扩展链接基本概念批量日志分析建表格式示例 Hive...

    FourierrFourierr 评论0 收藏0
  • 美图大数据平台架构实践

    美图大数据平台架构实践

    摘要:本文系美图互联网技术沙龙第期嘉宾分享内容,公众号后台回复美图大数据平台获取。美图数据平台整体架构如图所示是我们数据平台的整体架构。接下来会重点介绍到以及数据开放这两个阶段我们平台的实践以及优化思路。 本文系美图互联网技术沙龙第 11 期嘉...

    canopus4ucanopus4u 评论0 收藏0
  • Idea+maven+scala构建包并在spark on yarn 运行

    Idea+maven+scala构建包并在spark on yarn 运行

    摘要:配置项目在配置文件中配置开发所需要的包根据你版本找对应的包中央仓库构建方式配置构建包配置构建包使用构建包只需要在中添加如下插件即可构建示例代码上传包使用上传包到服务器位置在项目的目录下因为没有依赖第三方包所以打出怕会很 配置Maven项目 ...

    printempwprintempw 评论0 收藏0
  • elk 第二篇 , 为elk加入redis, 替换下beats

    elk 第二篇 , 为elk加入redis, 替换下beats

    摘要:为加入替换下这是的第二篇文章编译安装日志分析平台支持多种输入输出方法本文章主要描述通过做队列中间件缓解平台的压力使用场景数据不可控时例如日志不是文件而是由直接推送到的就无法使用了当然是可以和一起使用的例如读取文件解析后输出到再由正常流...

    godlong_Xgodlong_X 评论0 收藏0
<