Apacke Kafka Poslucháč Vlákna

Question 1

Povedzme, že mám 50 Kafka Témy, každý s 3 oddiely, že je celkom 150 oddiely. Ak mám KafkaListener/Consumer nakonfigurovaný pre každú z týchto 150 oddielov (z dôvodu vysokej hlasitosti v každej oblasti), znamená to, že musím 150 poslucháčov beží. Z toho, čo som pochopiť, každý poslucháč dostane svoje vlastné vlákno. Takže znamená to, že tam bude 150 aktívnych vlákien v tomto scenári? Že vyzerá ako veľa. Existuje nejaký spôsob, ako by som mohol obmedziť to na max počet vlákien v čase(povedzme, 20)?

Question 2

Kafka vždy dáva jednu oblasť údajov do jedného spotrebiteľa niť

Pre obmedzenie niť počet 20 s 150 oddiely, môžete nastaviť súbežnosť na 8 ktoré by mali efektívne vytvoriť 8 odlišného prípadoch & limit niť počítať maximálne <19 (150/8).

To je ďalší zásobník príspevok na tému, ktorá vysvetľuje trochu viac pre nastavenie súbežnosť vo vašom kafka poslucháč factory. Aj toto je ďalší slušné zdroj za vysvetlenie niektorých pojmov okolo kafka témy & oddiely.

Question 3

Ak chcete maximalizovať úroveň spotreby, áno, musíte 150 consumer threads na 150 partitions (1 spotrebiteľ závit na oblasť). V prípade, že máte len 20, nemôžete chcete maximalizovať spotrebu, namiesto toho sa teraz 1 spotrebiteľ je zodpovedný za náročné napríklad 150/20=7 partitions. Je to kompromis.
Nebudete chcieť, aby vaše aplikácie spotrebuje 50 topics v čase. To vedie k rozsahu problém. Povedzme, teraz sa jednej témy musí zvýšiť počet svojich partitions 3 až 6, ste horizontálne rozsahu aplikácie od 1 do 2 prípadoch, čo znamená, že zo 150 consumers do 300 consumers a sú tam len 150 + (6-3) = 153 aktívne consumers, ostatné stať nečinnosti.

duppydodah · Answer 1 · 2021-11-24T04:47:11

Kafka vždy dáva jednu oblasť údajov do jedného spotrebiteľa niť

Pre obmedzenie niť počet 20 s 150 oddiely, môžete nastaviť súbežnosť na 8 ktoré by mali efektívne vytvoriť 8 odlišného prípadoch & limit niť počítať maximálne <19 (150/8).

To je ďalší zásobník príspevok na tému, ktorá vysvetľuje trochu viac pre nastavenie súbežnosť vo vašom kafka poslucháč factory. Aj toto je ďalší slušné zdroj za vysvetlenie niektorých pojmov okolo kafka témy & oddiely.

Linh Vu · Answer 2 · 2021-11-25T03:34:09

Ak chcete maximalizovať úroveň spotreby, áno, musíte 150 consumer threads na 150 partitions (1 spotrebiteľ závit na oblasť). V prípade, že máte len 20, nemôžete chcete maximalizovať spotrebu, namiesto toho sa teraz 1 spotrebiteľ je zodpovedný za náročné napríklad 150/20=7 partitions. Je to kompromis.
Nebudete chcieť, aby vaše aplikácie spotrebuje 50 topics v čase. To vedie k rozsahu problém. Povedzme, teraz sa jednej témy musí zvýšiť počet svojich partitions 3 až 6, ste horizontálne rozsahu aplikácie od 1 do 2 prípadoch, čo znamená, že zo 150 consumers do 300 consumers a sú tam len 150 + (6-3) = 153 aktívne consumers, ostatné stať nečinnosti.

Apacke Kafka Poslucháč Vlákna

Otázka

V iných jazykoch

Táto stránka je v iných jazykoch

Populárne v tejto kategórii

Obľúbené otázky v tejto kategórii