如何确定Apache Kafka的大小和规模( 二 )


从Kafka作为实时数据流引擎到充当数据库或数据湖的演变属于一种熟悉的模式 。专门为特定用例设计的技术有时会成为某些用户的锤子,然后每个问题都像钉子一样 。这些用户将尝试修改专门构建的工具以适应他们的用例,而不是查看已经解决问题的其他技术 。
这让我想起了Apache Cassandra意识到来自关系世界的用户正在努力理解数据模型在扁平行中的重要性 。用户在开始存储数据之前不习惯理解访问模式,他们只会在现有表上添加另一个索引 。在Cassandra v3.0中 , 该项目公开了物化视图,类似于索引关系表,但实现方式不同 。从那时起,这个功能就充满了问题,并被标记为实验性的 。我觉得Kafka作为数据库或数据湖的想法注定会有类似的命运 。
7、找到合适的尺寸以获得最佳成本和Kafka性能在没有首先了解Kafka资源利用率的情况下匆忙进入Kafka实现的团队经常会遇到问题和障碍,这些问题和障碍教会了他们艰难的道路 。通过花时间了解Kafka的资源需求 , 团队将实现更高效的成本和性能,他们将能够更有效地支持他们的应用程序 。
参考链接: https://www.infoworld.com/article/3708250/how-to-size-and-scale-apache-kafka-without-tears.html

【如何确定Apache Kafka的大小和规模】


推荐阅读