1. Giới thiệu

Apache Kafka là một nền tảng mạnh mẽ cho việc phát sóng và xử lý dữ liệu. Đối với người dùng Kafka, việc cấu hình consumer một cách hợp lý là rất quan trọng nhằm tối ưu hóa hiệu suất và đảm bảo tính khả dụng. Trong bài viết này, chúng ta sẽ cùng khám phá những cấu hình quan trọng nhất mà bạn cần biết về Kafka consumer.

2. Các Cấu Hình Quan Trọng Ảnh Hưởng Đến Hiệu Suất

fetch.min.bytes

Tham số này cho phép consumer chỉ định dung lượng dữ liệu tối thiểu mà nó muốn nhận từ broker. Mặc định, giá trị này là 1 byte. Nếu broker không thể cung cấp đủ dữ liệu đáp ứng yêu cầu này, nó sẽ đợi cho đến khi có thêm message trước khi gửi dữ liệu cho consumer. Việc điều chỉnh tham số này có thể giúp giảm tải cho cả consumer và broker trong những thời điểm ít hoạt động.

fetch.max.wait.ms

Tham số này kiểm soát thời gian tối đa mà Kafka sẽ chờ trước khi trả dữ liệu về cho consumer. Mặc định là 500 ms. Đặt giá trị này thấp hơn có thể giảm độ trễ, nhưng cũng cần thận trọng để không gây ra sự chậm trễ trong xử lý dữ liệu khi không có đủ message.

fetch.max.bytes

Tham số này quy định số byte tối đa mà Kafka sẽ trả về cho mỗi lần polling. Mặc định là 50 MB, giúp kiểm soát dung lượng bộ nhớ mà consumer sử dụng. Nếu lô dữ liệu ban đầu vượt quá giới hạn này, broker vẫn sẽ gửi lô dữ liệu đầu tiên mà không bỏ qua giới hạn.

max.poll.records

Cấu hình này kiểm soát số lượng bản ghi tối đa mà một lần gọi poll() sẽ trả về. Việc kiểm soát số lượng bản ghi giúp ứng dụng xử lý dữ liệu hiệu quả hơn trong mỗi vòng lặp.

max.partition.fetch.bytes

Tham số kiểm soát số byte tối đa mà server sẽ trả về cho mỗi partition. Mặc định là 1 MB. Việc sử dụng tham số này có thể phức tạp và chúng tôi khuyên bạn nên sử dụng fetch.max.bytes để kiểm soát tốt hơn về dung lượng dữ liệu.

session.timeout.ms và heartbeat.interval.ms

Khoảng thời gian mà một consumer có thể không liên lạc mà vẫn được coi là còn sống là 10 giây. Việc điều chỉnh tham số này giúp nhóm consumer phát hiện sự cố nhanh hơn, nhưng cũng có thể gây ra nhiều lần rebalance không mong muốn nếu thiết lập không hợp lý.

max.poll.interval.ms

Cấu hình này cho phép bạn thiết lập khoảng thời gian mà consumer có thể không thực hiện polling trước khi bị coi là đã chết. Đây là một biện pháp bảo vệ trong trường hợp consumer bị treo hoặc gặp sự cố.

default.api.timeout.ms

Tham số này quy định thời gian chờ mặc định cho hầu hết các cuộc gọi API từ consumer. Mặc định là 1 phút.

request.timeout.ms

Thời gian tối đa mà consumer sẽ chờ phản hồi từ broker trước khi quyết định rằng broker không phản hồi nữa. Tham số này có giá trị mặc định là 30 giây.

auto.offset.reset

Tham số này điều khiển hành vi của consumer khi không có offset hợp lệ để bắt đầu đọc từ partition.

enable.auto.commit

Tham số này cho phép bạn quyết định có hay không chế độ tự động commit offset cho các message đã xử lý. Đặt nó thành false nếu bạn muốn kiểm soát tần suất commit offset để tránh mất dữ liệu.

partition.assignment.strategy

Cấu hình này xác định cách mà các partition được phân bổ cho các consumer trong một consumer group. Các chiến lược phân bổ như Range, RoundRobin, Sticky và Cooperative Sticky sẽ ảnh hưởng đến hiệu suất của hệ thống.

client.id

Là chuỗi xác định yêu cầu từ client, hỗ trợ việc ghi log và theo dõi metrics.

client.rack

Được sử dụng để xác định khu vực của client, giúp tối ưu hóa việc lấy message từ replica gần nhất.

group.instance.id

Giúp cung cấp khả năng thành viên nhóm tĩnh cho consumer.

receive.buffer.bytes và send.buffer.bytes

Kích thước của các bộ đệm TCP cho socket khi truyền và nhận dữ liệu. Tăng kích thước có thể cải thiện hiệu suất khi giao tiếp qua mạng có độ trễ cao.

offsets.retention.minutes

Cấu hình này có thể ảnh hưởng trực tiếp đến hành vi của consumer và giữ lại offset cho mỗi partition trong khoảng thời gian cấu hình.

3. Kết Nối và Trao Đổi Thông Tin

Nếu bạn muốn thảo luận thêm về các cấu hình Kafka consumer, hãy kết nối với tôi qua LinkedIn hoặc Facebook:

• LinkedIn: https://www.linkedin.com/in/nguyentrungnam/
• Facebook: https://www.facebook.com/trungnam.nguyen.395/

Hy vọng chúng ta có thể kết nối và trao đổi kiến thức!
source: viblo