{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

三台32g 1T固态,就20万数据用HBase跟SPark比Sql慢太多?为啥?

李世赞李世赞 回答0 收藏1
收藏问题

2条回答

cyrils

cyrils

回答于2022-06-28 14:16

MySQL是单机性能很好,基本都是内存操作,而且没有任何中间步骤。所以数据量在几千万级别一般都是直接MySQL了。

hadoop是大型分布式系统,最经典的就是MapReduce的思想,特别适合处理TB以上的数据。每次处理其实内部都是分了很多步骤的,可以调度大量机器,还会对中间结果再进行汇总计算等。所以数据量小的时候就特别繁琐。但是数据量一旦起来了,优势也就来了。

评论0 赞同0
  •  加载中...
Apollo

Apollo

回答于2022-06-28 14:16

hadoop体系的性能平衡点大约在100亿条数据才会出现,再往上就会明显优于传统sql引擎

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<