Apacke Kafka เป็นนักฟังที่เธรดข่าว

Question 1

เอาเป็นว่าฉันมี 50 Kafka นหัวข้อคุละกัน 3 ให้เห็นถึงพาร์ทิชันที่มีอยู่นั่นคือทั้งหมดของ 150 ให้เห็นถึงพาร์ทิชันที่มีอยู่. ถ้าฉันมี KafkaListener/ของลูกค้าปรับแต่งสำหรับแต่ละคนพวกนี้ 150 ให้เห็นถึงพาร์ทิชันที่มีอยู่(เนื่องจากสูงระดับเสียงในแต่ละพื้นที่ดิสก์),มันหมายความว่าฉันมี 150 listeners ทำงานอยู่ จากที่ฉันเข้าใจกันและฟังที่จะได้มันเองมันเส้นด้าย งั้นก็หมายความว่าจะมี 150 เธรดที่ทำงานอยู่ในบทละครนี้หรอ? นั่นดูเหมือนเยอะมาก มีทางเป็นไปได้มั๊ยที่ฉันจะเตรียมเรื่องนี้แม็กซ์จำนวนของเธรดข่าวช่วงเวลา(พูดว่า 20)?

Question 2

Kafka เสมอให้หนึ่งพื้นที่ดิสก์ข้อมูลของต้องหนึ่งของลูกค้าเธรด

สำหรับ restricting องเล็กต้อง 20 กับ 150 ให้เห็นถึงพาร์ทิชันที่มีอยู่คุณสามารถตั้งค่า concurrency ต้อง 8 ซึ่งควรรถสร้าง 8 คนแยกของลูกค้าโหดจำกัดด้ายคราวนี้นับหนึ่งถึงจำนวนมากที่สุดที่ <19 (150/8).

นี่ คืออีกตั้งโพสบนหัวข้องซึ่งอธิบายถึงมันอีกหน่อยได้มัยกลับมาสำหรับการตั้งค่า concurrency อยู่ของคุณ kafka เป็นนักฟังที่โรงงาน ยัง นี่ อีกแหล่งข่าวดีสำหรับคำอธิบายบางอย่างของทบทวนคอนเซ็ปท์อยู่ kafka นหัวข้อคุ&ให้เห็นถึงพาร์ทิชันที่มีอยู่.

Question 3

ถ้าคุณต้องการจะ ขยายใหญ่สุด consumptionใช่คุณต้องการ 150 consumer threads บ 150 partitions (1 ของลูกค้าเธรดต่อพื้นที่ดิสก์). ในกรณีที่คุณมีในอนาคตอีก 20,คุณไม่ได้อยาก ขยายใหญ่สุด consumptionแทนที่ตอนนี้ 1 ของลูกค้าต้องรับผิดชอบทำอาหารกินตัวอย่างเช่น 150/20=7 partitions. มันเป็น tradeoff.
คุณไม่ต้องการของแอพพร้อมจะกลืนกิน 50 topics ตอนนี้ มันนำไปสู่ปรับขนาดปัญหาแล้ว ปล่อยให้พูดตอนนี้คือเรื่องต้องการจะเพิ่มจำนวนของมัน partitions จาก 3 คนต้อง 6 คุณปรับขนาดทางแนวนอนของคุณโปรแกรจาก 1 ถึง 2 โหซึ่งหมายความว่าจาก 150 consumers ที่ 300 consumers และมีเพียง 150+(6-3)=153 ที่ทำงานอยู่ consumersส่วนคนอื่นกลายเป็นวลือไร้สาระพวกนั้นอีก.

duppydodah · Answer 1 · 2021-11-24T04:47:11

Kafka เสมอให้หนึ่งพื้นที่ดิสก์ข้อมูลของต้องหนึ่งของลูกค้าเธรด

สำหรับ restricting องเล็กต้อง 20 กับ 150 ให้เห็นถึงพาร์ทิชันที่มีอยู่คุณสามารถตั้งค่า concurrency ต้อง 8 ซึ่งควรรถสร้าง 8 คนแยกของลูกค้าโหดจำกัดด้ายคราวนี้นับหนึ่งถึงจำนวนมากที่สุดที่ <19 (150/8).

นี่ คืออีกตั้งโพสบนหัวข้องซึ่งอธิบายถึงมันอีกหน่อยได้มัยกลับมาสำหรับการตั้งค่า concurrency อยู่ของคุณ kafka เป็นนักฟังที่โรงงาน ยัง นี่ อีกแหล่งข่าวดีสำหรับคำอธิบายบางอย่างของทบทวนคอนเซ็ปท์อยู่ kafka นหัวข้อคุ&ให้เห็นถึงพาร์ทิชันที่มีอยู่.

Linh Vu · Answer 2 · 2021-11-25T03:34:09

ถ้าคุณต้องการจะ ขยายใหญ่สุด consumptionใช่คุณต้องการ 150 consumer threads บ 150 partitions (1 ของลูกค้าเธรดต่อพื้นที่ดิสก์). ในกรณีที่คุณมีในอนาคตอีก 20,คุณไม่ได้อยาก ขยายใหญ่สุด consumptionแทนที่ตอนนี้ 1 ของลูกค้าต้องรับผิดชอบทำอาหารกินตัวอย่างเช่น 150/20=7 partitions. มันเป็น tradeoff.
คุณไม่ต้องการของแอพพร้อมจะกลืนกิน 50 topics ตอนนี้ มันนำไปสู่ปรับขนาดปัญหาแล้ว ปล่อยให้พูดตอนนี้คือเรื่องต้องการจะเพิ่มจำนวนของมัน partitions จาก 3 คนต้อง 6 คุณปรับขนาดทางแนวนอนของคุณโปรแกรจาก 1 ถึง 2 โหซึ่งหมายความว่าจาก 150 consumers ที่ 300 consumers และมีเพียง 150+(6-3)=153 ที่ทำงานอยู่ consumersส่วนคนอื่นกลายเป็นวลือไร้สาระพวกนั้นอีก.

Apacke Kafka เป็นนักฟังที่เธรดข่าว

คำถาม

ในภาษาอื่นๆ

หน้านี้อยู่ในภาษาอื่นๆ

ดังอยู่ในนี้หมวดหมู่

ดังคำถามอยู่ในนี้หมวดหมู่