Python Guru Series 🐍 - Phần 6: Lập Trình Bất Đồng Bộ Với Celery

Xin chào các bạn! Tiếp nối chủ đề lập trình bất đồng bộ trong Python, trong phần 6 của series này, mình xin giới thiệu với mọi người về Celery. Đây là một thư viện mạnh mẽ giúp quản lý và thực thi các tác vụ bất đồng bộ và hàng đợi tin nhắn trong các ứng dụng Python.
Chúng ta hãy cùng bắt đầu nhé!

1. Tổng Quan Về Celery

Trong quá trình phát triển các ứng dụng web bằng Python, đa phần chúng ta sẽ phải xử lý các yêu cầu với kết quả ngay lập tức (các tác vụ đồng bộ). Ví dụ như tìm thông tin của một người bạn, hoặc kiểm tra số dư tài khoản ngân hàng. Tuy nhiên, bên cạnh đó cũng có nhiều tác vụ không yêu cầu kết quả ngay, được gọi là tác vụ bất đồng bộ (asynchronous task) như gửi email thông báo đến người dùng hay xuất file.

Với các tác vụ bất đồng bộ này, người dùng không nhất thiết phải chờ đợi cho đến khi nhiệm vụ hoàn tất. Ý tưởng chính để giải quyết vấn đề này là thực hiện các tác vụ ở một nơi khác để tránh làm đình trệ luồng chính, từ đó nâng cao khả năng phản hồi của ứng dụng.

Đối với những tác vụ đơn giản, chúng ta có thể sử dụng backgroud thread để xử lý. Tuy nhiên, trong trường hợp có nhiều yêu cầu cùng lúc và có khả năng xảy ra lỗi trong quá trình thực hiện các tác vụ, việc quản lý hiệu quả trở nên rất khó khăn. Hơn nữa, bạn có thể gặp phải sự hạn chế của GIL (Global Interpreter Lock), vốn chỉ cho phép một thread thực thi tại một thời điểm.

Một giải pháp thay thế cho vấn đề này là sử dụng hàng đợi tác vụ (task queue) để cung cấp khả năng xử lý độc lập với server. Đây chính là lúc Celery trở thành một công cụ vô cùng hữu ích. Celery thường được sử dụng cho các tác vụ không yêu cầu kết quả ngay lập tức hoặc cho các tác vụ được lập lịch (scheduled tasks).

Chúng ta sẽ minh họa một hệ thống FastAPI sử dụng Celery để quản lý hàng đợi tác vụ, với Redis đóng vai trò là message broker và nơi lưu trữ kết quả của tác vụ.

2. Tính Năng Chính Của Celery

• Xử lý tác vụ bất đồng bộ: Celery cho phép thực hiện các tác vụ mà không cần chờ đợi chúng hoàn thành, từ đó cải thiện hiệu suất của ứng dụng.
• Hàng đợi tác vụ: Celery quản lý các hàng đợi tin nhắn (message queue) và điều phối việc thực hiện các tác vụ cho các worker từ các hàng đợi này.
• Tác vụ định kỳ: Celery hỗ trợ chạy các tác vụ định kỳ tương tự như cron jobs. Với Celery Beat, bạn có thể lập lịch cho các tác vụ chạy định kỳ theo một khoảng thời gian xác định, như gửi tin nhắn chúc ngủ ngon vào lúc 10 giờ tối.
• Khả năng mở rộng: Celery có thể dễ dàng mở rộng theo chiều ngang bằng cách tăng số lượng worker để xử lý các tác vụ song song.
• Retry và quản lý lỗi: Khi một tác vụ thất bại, Celery có khả năng tự động retry tác vụ đó hoặc retry theo cấu hình đã định rõ.

3. Cấu Trúc Chính Của Celery

• Workers: Đây là các process chịu trách nhiệm lấy và thực thi các tác vụ từ hàng đợi.
• Broker: Là thành phần đứng giữa ứng dụng và worker, chịu trách nhiệm quản lý hàng đợi tin nhắn. Các broker phổ biến nhất như Redis, RabbitMQ, hay Amazon SQS. Celery sử dụng các broker này để gửi các tác vụ đến worker xử lý.
• Task: Đây là đơn vị thực thi công việc trong Celery, được phân phối đến các worker để xử lý.
• Backend Result: Nơi lưu trữ kết quả của các task khi hoàn thành, hiện có thể sử dụng các Database như Redis, Postgres, v.v.

Celery là một hệ thống quản lý task vụ phổ biến trong Python và dễ dàng tích hợp với các web framework như Django, Flask, và FastAPI, giúp tạo ra một ứng dụng web hiệu năng cao. Thêm vào đó, bạn có thể sử dụng Flower - một công cụ để giám sát và quản lý các worker và task vụ Celery thông qua giao diện web trực quan.

4. Tổng Kết

Trên đây là tổng quan về Celery và ứng dụng của nó trong phát triển các ứng dụng bất đồng bộ trong Python. Hy vọng bài viết sẽ cung cấp thông tin hữu ích cho bạn.

Một lần nữa, mình là Phan, một developer đầy tò mò và tận tâm. Hẹn gặp lại các bạn trong những bài viết tiếp theo!
source: viblo