建站
咨詢
售后
建站咨詢
新聞中心
本篇文章給大家分享的是有關(guān)如何進行kafka知識點整理，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
一、為什么需要消息系統(tǒng)
1.解耦：
允許你獨立的擴展或修改兩邊的處理過程，只要確保它們遵守同樣的接口約束。
2.冗余：
消息隊列把數(shù)據(jù)進行持久化直到它們已經(jīng)被完全處理，通過這一方式規(guī)避了數(shù)據(jù)丟失風險。許多消息隊列所采用的"插入-獲取-刪除"范式中，在把一個消息從隊列中刪除之前，需要你的處理系統(tǒng)明確的指出該消息已經(jīng)被處理完畢，從而確保你的數(shù)據(jù)被安全的保存直到你使用完畢。
3.擴展性：
因為消息隊列解耦了你的處理過程，所以增大消息入隊和處理的頻率是很容易的，只要另外增加處理過程即可。
4.靈活性 & 峰值處理能力：
在訪問量劇增的情況下，應(yīng)用仍然需要繼續(xù)發(fā)揮作用，但是這樣的突發(fā)流量并不常見。如果為以能處理這類峰值訪問為標準來投入資源隨時待命無疑是巨大的浪費。使用消息隊列能夠使關(guān)鍵組件頂住突發(fā)的訪問壓力，而不會因為突發(fā)的超負荷的請求而完全崩潰。
5.可恢復性：
系統(tǒng)的一部分組件失效時，不會影響到整個系統(tǒng)。消息隊列降低了進程間的耦合度，所以即使一個處理消息的進程掛掉，加入隊列中的消息仍然可以在系統(tǒng)恢復后被處理。
6.順序保證：
在大多使用場景下，數(shù)據(jù)處理的順序都很重要。大部分消息隊列本來就是排序的，并且能保證數(shù)據(jù)會按照特定的順序來處理。（Kafka 保證一個 Partition 內(nèi)的消息的有序性）
7.緩沖：
有助于控制和優(yōu)化數(shù)據(jù)流經(jīng)過系統(tǒng)的速度，解決生產(chǎn)消息和消費消息的處理速度不一致的情況。
8.異步通信：
很多時候，用戶不想也不需要立即處理消息。消息隊列提供了異步處理機制，允許用戶把一個消息放入隊列，但并不立即處理它。想向隊列中放入多少消息就放多少，然后在需要的時候再去處理它們。
二、kafka架構(gòu)
2.1拓撲結(jié)構(gòu)
2.2相關(guān)概念
1.producer： 消息生產(chǎn)者，發(fā)布消息到 kafka 集群的終端或服務(wù)。 2.broker： kafka 集群中包含的服務(wù)器。 3.topic： 每條發(fā)布到 kafka 集群的消息屬于的類別，即 kafka 是面向 topic 的。 4.partition： partition 是物理上的概念，每個 topic 包含一個或多個 partition。kafka 分配的單位是 partition。 5.consumer： 從 kafka 集群中消費消息的終端或服務(wù)。 6.Consumer group： high-level consumer API 中，每個 consumer 都屬于一個 consumer group，每條消息只能被 consumer group 中的一個 Consumer 消費，但可以被多個 consumer group 消費。 7.replica： partition 的副本，保障 partition 的高可用。 8.leader： replica 中的一個角色， producer 和 consumer 只跟 leader 交互。 9.follower： replica 中的一個角色，從 leader 中復制數(shù)據(jù)。 10.controller： kafka 集群中的其中一個服務(wù)器，用來進行 leader election 以及 各種 failover。 12.zookeeper： kafka 通過 zookeeper 來存儲集群的 meta 信息。
2.3 zookeeper 節(jié)點
kafka 在 zookeeper 中的存儲結(jié)構(gòu)
以上就是如何進行kafka知識點整理，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道。
網(wǎng)站欄目：如何進行kafka知識點整理-創(chuàng)新互聯(lián)
文章路徑：http://ef60e0e.cn/article/degpio.html
