• 成为 Kafka 高手的秘籍:生产者深度实践总结

    作者简介张晋尉,腾讯云消息队列专项支持团队成员,kafka,puslar资深开发者,kafka sdk贡献者,在流式数据处理,消息队列方向有多年实践经验。Kafka 简介kafka 是一款已经发布了近10年的分布式消息队列系统,是一款非常成熟的产品,在各大公司或者产品中或多或少都有他的身影,特别是大数据流处理,log 流处理之类的场景,kafka 更是充当着几乎必不可少的角色。这款消息队列在官方给出的定义中被称为“分布式流式处理平台”,其主要目的是在大数据流处理中承担着存储记录流的一个作用,不过到了现在这个...
  • 这些MQ概念你都懂吗:死信队列、重试队列、消息回溯等

    消息队列(MQ)的基本概念,很多时候都要了解清楚,这样在学消息队列中间件就比较能够游刃有余,遇到不清楚的也可以重新翻来看看,加深理解。这里有关于:优先级队列、延迟队列、死信队列、重试队列、消息回溯、消息堆积、消息追踪/消息轨迹、消息过滤、消息审计、消息路由等的介绍。01优先级队列优先级队列不同于先进先出队列,优先级高的消息具备优先被消费的特权,这样可以为下游提供不同消息级别的保证。不过这个优先级也是需要有一个前提的:如果消费者的消费速度大于生产者的速度,并且消息中间件服务器(一般简单的称之为Broker)中...
  • 【译】为什么 Kafka 这么快?

    Apache Kafka 以延迟和抖动为代价对吞吐量进行了优化,同时保留了其他必须的功能特性,比如持久化、严格的日志记录顺序和至少交付一次的语义。当有人说 "Kafka 很快",并且假定他们至少是有资格说这话的,那么我们可以认为他们指的是 Kafka 在短时间内安全地积累和分发大量日志记录的能力。Kafka 可用于实现近实时的系统。Kafka 的高性能主要得益于两个要素,这两个要素需要分开来讨论。事实上,Kafka 的瓶颈通常是网络而非磁盘。偏移量本身的进度被发布到一个名为 __consumer_offsets 的内部 Kafka Topic 上了。Kafka 里的 Consumers 是 "廉价的",只要他们不修改日志文件 。
公告

欢迎访问 goshare  点击这里设置您的邮箱  可以接收站内跟帖、回复邮件提醒,不错过任何一条消息。

关注公众号订阅更多技术干货! 码农俱乐部