Quản lý Cron Job hiệu quả trong hệ thống lớn: Bài học từ Slack

Giới thiệu về Slack
Bạn đã biết đến Slack - nền tảng làm việc hiện đại cho phép giao tiếp, cộng tác và hoàn thành công việc một cách tiện lợi và hiệu quả. Slack kết hợp nhắn tin, công cụ và ứng dụng vào một không gian làm việc chung, giúp các nhóm làm việc nhanh hơn, thông minh hơn và gắn kết hơn.

Vai trò của Cron Job tại Slack

Trong thiết kế của Slack, Cron Job đóng một vai trò quan trọng, đảm nhiệm việc thực hiện các tác vụ thiết yếu như lập lịch tự động gửi email, thông báo tin nhắn, nhắc lịch hẹn và dọn dẹp dữ liệu dư thừa. Sự gia tăng quy mô và độ phức tạp trong các nghiệp vụ của công ty cũng kéo theo sự tăng trưởng của số lượng Cron Job và độ phức tạp của các tác vụ cần thực thi. Điều này đã làm cho việc quản lý và bảo trì các Cron Job trở nên khó khăn hơn, ảnh hưởng đến độ tin cậy của hệ thống.

Hiện trạng hệ thống Cron Job tại Slack

Trong giai đoạn đầu, các Cron Job của Slack được chạy trên một máy chủ đơn lẻ với các file scripts và crontab file. Tuy nhiên, khi quy mô hệ thống tăng lên, giải pháp này trở nên khó duy trì. Một giải pháp tạm thời được đưa ra là mở rộng theo chiều dọc bằng cách tăng cường CPU và RAM cho máy chủ, nhưng điều này dẫn đến chi phí vận hành cao và tiềm ẩn rủi ro khi node xử lý Cron Job gặp sự cố, gây gián đoạn cho các chức năng quan trọng của Slack.

Giải pháp mới để nâng cao độ ổn định

Để giải quyết vấn đề này, Slack đã quyết định thiết kế một hệ thống quản lý Cron Job mới với độ ổn định cao hơn. Kiến trúc mới bao gồm 3 thành phần chính:

1. Scheduled Job Conductor

Scheduled Job Conductor được phát triển bằng ngôn ngữ Golang và triển khai trên Bedrock, một công cụ nội bộ của Slack tích hợp với Kubernetes. Service này có thể giữ nguyên định dạng của cron string, giúp giảm thiểu sự thay đổi trong cấu trúc crontab và giảm thiểu rủi ro khi di chuyển. Chỉ có một pod chính xử lý các tác vụ, trong khi các pod khác sẵn sàng chờ để xử lý khi cần thiết, giảm độ phức tạp và xung đột giữa các pod.

2. Slack Job Queue

Job Queue là thành phần hiện có của Slack, hoạt động như một nền tảng tính toán không đồng bộ, xử lý khoảng 9 tỷ tác vụ mỗi ngày thông qua Kafka và lưu metadata trong Redis. Mỗi job tương ứng với một tập lệnh cron duy nhất và giúp giảm tải tài nguyên tính toán cũng như bộ nhớ, đồng thời tối ưu hóa thời gian xây dựng và bảo trì.

3. Bảng Vitess Database

Cuối cùng, Slack sử dụng Vitess - cơ sở dữ liệu tương thích với MySQL để quản lý dữ liệu của các tác vụ. Nó giúp xử lý trùng lặp và theo dõi trạng thái các tác vụ, cung cấp cái nhìn tổng quan về tiến trình thực hiện và phát hiện kịp thời các sự cố. Mỗi lần thực thi một job sẽ được ghi lại chặt chẽ và trạng thái được cập nhật liên tục, đảm bảo mọi tác vụ đều được theo dõi và kiểm soát dễ dàng.

Kết luận

Với thiết kế mới này, Slack đã tạo ra một hệ thống Cron Job ổn định và có khả năng mở rộng tốt hơn, đáp ứng nhu cầu phát triển các tính năng phức tạp trong tương lai. Hệ thống mới không chỉ đảm bảo hiệu quả hoạt động mà còn góp phần nâng cao độ tin cậy của các dịch vụ quan trọng trên Slack.

Chúng tôi hi vọng bài viết này đã cung cấp cho bạn những thông tin hữu ích về việc quản lý Cron Job trong hệ thống lớn như Slack. Hãy cho chúng tôi biết cảm nhận của bạn qua việc để lại một bình luận hoặc upvote bài viết này nhé! 😄

Tham gia cộng đồng

Chúng tôi đã lập một group để các bạn có thể chia sẻ và học hỏi về thiết kế hệ thống. Hãy tham gia để xây dựng Cộng đồng System Design Việt Nam lớn mạnh nhé!

Cộng Đồng System Design Việt Nam: https://www.facebook.com/groups/sydexa
Kênh TikTok: https://www.tiktok.com/@sydexa.com

Tài liệu tham khảo

• Chia sẻ từ chính Slack
• Bedrock của Slack
• Job Queue của Slack
• Vitess
  source: viblo