1. Giới Thiệu về Quản Lý File trong Kafka
Trong hệ thống Kafka, mỗi partition dữ liệu không chỉ là một đơn vị lưu trữ mà còn được chia thành các segment. Quá trình xử lý và duy trì các file này đóng vai trò quan trọng trong việc đảm bảo hiệu suất và sự ổn định của toàn bộ hệ thống.
2. Khái Niệm Retention và Quản Lý File
Retention là một khái niệm trọng yếu trong Kafka mà mọi administrator cần nắm rõ. Kafka không lưu trữ dữ liệu vĩnh viễn; điều này nghĩa là nó sẽ không chờ cho đến khi tất cả các consumer đọc xong message trước khi xóa nó. Thay vào đó, các administrator Kafka có khả năng cấu hình thời gian lưu trữ cho từng topic.
Có hai cách để xác định thời gian lưu trữ:
- Thời gian cụ thể để lưu trữ các message trước khi dữ liệu bị xóa.
- Dung lượng tối đa cần lưu trữ trước khi các message cũ bị loại bỏ.
Việc tìm kiếm các message cần xóa trong một tệp lớn là một quá trình tốn thời gian và dễ xảy ra lỗi. Để đơn giản hóa, chúng ta chia mỗi partition thành các segment. Theo mặc định, mỗi segment có thể chứa tối đa 1 GB dữ liệu hoặc một tuần dữ liệu, tùy thuộc vào cái nào nhỏ hơn. Khi một Kafka broker ghi vào một partition và đạt đến giới hạn của segment, broker sẽ đóng tệp đó lại và tạo ra một tệp mới.
Segment mà chúng ta đang ghi dữ liệu gọi là active segment. Important là active segment không bao giờ bị xóa. Điều này có thể gây ra sự nhầm lẫn trong quá trình cài đặt thời gian lưu trữ log. Ví dụ, nếu bạn cài đặt thời gian lưu trữ log chỉ một ngày nhưng mỗi segment chứa dữ liệu trong năm ngày, dữ liệu sẽ được giữ lại trong năm ngày, vì chúng ta không thể xóa dữ liệu trước khi segment được đóng lại.
Nếu bạn quyết định duy trì dữ liệu trong một tuần và tạo một segment mới mỗi ngày, điều này sẽ dẫn đến mỗi ngày tạo một segment mới và đồng thời xóa segment cũ nhất. Kết quả là partition thường sẽ có bảy segment.
3. Kết Nối và Thảo Luận
Nếu bạn muốn trao đổi thêm về bài viết này hoặc có bất kỳ câu hỏi nào về Kafka, hãy kết nối với tôi trên LinkedIn hoặc Facebook:
- LinkedIn: Nguyen Trung Nam
- Facebook: Trung Nam Nguyen
Mong rằng chúng ta có thể cùng nhau thảo luận và chia sẻ kiến thức!
source: viblo
