回答:不知道开发的同学有没有遇到过类似这样的需求：相同类型的数据在多个系统中，如果要得到全部的信息，就要连续调多个系统的接口；业务复杂，一个需求需要关联几张表甚至几十张表才能得到想要的结果；系统做了分库分表，但是需要统计所有的数据。那么此类需求要如何满足呢？我们选择了通过 ETL 提前进行数据整合的方案。什么是 ETL说到ETL，很多开发伙伴可能会有些陌生，更多的时候 ETL 是用在大数据、数据分析的相...
MarvinZhang
|
1592人阅读
...造成Rebalance。业务会发生超时、抖动等。 服务端reassign 服务器扩容、缩容，节点启动、关闭，会造成数据的倾斜，需要对partition进行reassign。在kafka manager后台可以手动触发这个过程，使得分区的分布更加平均。 这个过程会造成...
... （面试题+答案领取方式见主页） 什么是 ActiveMQ? ActiveMQ 服务器宕机怎么办？ 丢消息怎么办？ 持久化消息非常慢。 消息的不均匀消费。 死信队列。 ActiveMQ 中的消息重发时间间隔和重发次数吗？ RabbitMQ专题 RabbitMQ 中的 broker ...
...保存 3 个副本，在只有一个副本的节点宕机或者出现网络分区的情况下，另外 2 个副本仍然能够对外提供服务。理论上来讲，同时出现 2 个以上副本同时坏掉的可能性很小，也就是理论上可以达到非常高的可用性。通过 TiKV 滚动...
...25、不采用yarm部署flink，还有其他的方案吗？ 主要想解决服务器重启后，flink服务怎么自动拉起？ jobmanager挂掉后，提交的job怎么不经过手动重新提交执行？ 26、在一个 Job 里将同份数据昨晚清洗操作后，sink 到后端多个地方（看...
...25、不采用yarm部署flink，还有其他的方案吗？ 主要想解决服务器重启后，flink服务怎么自动拉起？ jobmanager挂掉后，提交的job怎么不经过手动重新提交执行？ 26、在一个 Job 里将同份数据昨晚清洗操作后，sink 到后端多个地方（看...
...布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上...
...mr，堆大量机器地捞数据。业务一些机器学习的算法真地需要这么干，但是大部分BI SQL，绝对是可以充分利用列式存储和各种索引结构的。无论是elasticsearch还是spark sql都有大量成熟的解决方案了。用索引和不用索引，那效率可是...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
linzhining123
陈江龙
付伦
赵春朋
