Giới thiệu

Atome, một nền tảng dịch vụ tài chính hàng đầu tại Đông Nam Á, đã cách mạng hóa khả năng phê duyệt tín dụng và giám sát thanh toán trong thời gian thực. Điều này không chỉ là một yếu tố thiết yếu cho hoạt động kinh doanh mà còn là một thách thức lớn, đặc biệt là khi yêu cầu về độ trễ thấp và thông lượng cao trong việc tính toán các tính năng để đánh giá rủi ro một cách chính xác ngày càng tăng.

Thách thức: Một Quy Trình Dữ Liệu Chậm và Phức Tạp

Trước khi chuyển sang RisingWave, hệ thống dựa trên Flink của Atome đã tạo ra những nút thắt nghiêm trọng, gây cản trở cho đổi mới và thời gian phản hồi.

Những vấn đề chính bao gồm:

• Thời gian phát triển chậm: Kỹ năng chuyên môn cần thiết cho Flink khiến việc phát triển và triển khai các tính năng và quy tắc rủi ro mới trở thành một quy trình phức tạp, thường mất từ vài tuần đến vài tháng.
• Nút thắt cơ sở dữ liệu: Việc tra cứu các tính năng thường xuyên được thực hiện trên các cơ sở dữ liệu OLTP, dẫn đến chi phí truy vấn cao và thông lượng thấp, đặc biệt trong các khoảng thời gian giao dịch cao điểm.
• Sự phức tạp trong vận hành: Quy trình đóng gói, triển khai và hoàn thành các công việc Flink mới rất rườm rà, làm chậm khả năng phản ứng của nhóm rủi ro với các mẫu gian lận mới nổi.

Giải pháp: SQL Thời Gian Thực và Các View Vật Chất

Atome đã quyết định chọn RisingWave để xây dựng một nền tảng xử lý luồng linh hoạt và hiệu quả hơn cho động cơ rủi ro của mình. Những lợi ích chính của RisingWave đã rõ ràng và có tác động mạnh mẽ.

Lợi ích nổi bật:

• SQL kiểu Postgres cho luồng: RisingWave cho phép nhóm phát biểu các phép nối, cửa sổ và tổng hợp phức tạp bằng SQL quen thuộc. Điều này loại bỏ nhu cầu về các toán tử tùy chỉnh và chuyên môn hóa, biến việc phát triển quy trình thành công việc dễ dàng hơn cho nhiều thành viên trong nhóm.
• View vật chất liên tục: Thay vì thường xuyên truy vấn các hệ thống OLTP, các tính năng và tổng hợp được duy trì dưới dạng các view vật chất liên tục. Điều này làm giảm tải cho cơ sở dữ liệu trong khi cung cấp các điểm dữ liệu có thể kiểm tra và ghi lại giúp cải thiện khả năng quan sát.

Triển khai sản xuất tại Atome thu thập dữ liệu từ MySQL CDC và Kafka và xử lý hoàn toàn bằng SQL. Điều này bao gồm việc chuẩn hóa, tạo ra các tính năng như kiểm tra tốc độ và các phép nối giữa các dòng, và đưa kết quả cuối cùng vào các bảng MySQL để sử dụng bởi động cơ rủi ro trực tuyến.

“Với các pipeline SQL kiểu Postgres của RisingWave, chúng tôi đã rút ngắn thời gian giao hàng tính năng từ vài tuần xuống còn vài ngày. Không cần đóng gói công việc, không cần các toán tử tùy chỉnh, chỉ cần DDL, các view vật chất và quy mô. RisingWave đã trở thành xương sống dữ liệu thời gian thực cho các sản phẩm cốt lõi của chúng tôi bao gồm CRM và các tính năng rủi ro.”

— Qian Chao, Giám đốc cấp cao, Nền tảng Dữ liệu, Atome

Kết quả chính: Bước Nhảy Vọt Về Hiệu Suất và Tốc Độ

Việc chuyển sang RisingWave đã mang lại những cải tiến tức thì và có thể đo lường trên nhiều mặt.

Những cải tiến đáng kể:

• Giảm thời gian phát triển: Thời gian để thêm một tính năng luồng mới đã giảm từ vài tuần xuống còn khoảng 1 ngày.
• Xử lý thông lượng cao: Hệ thống xử lý được 10.000 hàng/s và đưa dữ liệu vào với tốc độ 2.000 hàng/s.
• Độ trễ siêu thấp: Độ trễ trung bình từ việc thu thập dữ liệu đến việc ghi tính năng cuối cùng luôn dưới một giây, không có hiện tượng quá tải trong thời gian cao điểm.

Tác Động Đến Kinh Doanh và Vận Hành

Những thành tựu kỹ thuật này đã chuyển hóa trực tiếp thành giá trị kinh doanh và sự ổn định trong vận hành.

Chiến thắng trong vận hành:

• Giảm tải cho cơ sở dữ liệu: Áp lực truy vấn cao điểm trên các cơ sở dữ liệu giao dịch đã giảm đáng kể.
• Ổn định độ trễ: Độ trễ dưới một giây cho phép phê duyệt vào dòng đáng tin cậy và phát hiện rủi ro trong thời gian thực.
• Quản lý thay đổi nhanh chóng: Nhóm rủi ro giờ đây có thể triển khai các quy tắc và thử nghiệm mới chỉ trong 1-3 ngày.

Lợi thế kinh doanh:

• Tăng cường sự tự tin trong phê duyệt: Nhiều tính năng có sẵn tại thời điểm quyết định với độ trễ thấp hơn.
• Kiểm soát chi phí: Giảm nhu cầu về các cụm OLTP lớn và các bản sao đọc khẩn cấp.
• Khả năng mở rộng: Mô hình pipeline thời gian thực tương tự hiện đang được sử dụng cho các trường hợp khác như cá nhân hóa CRM, tăng tốc thời gian tạo giá trị trong toàn tổ chức.

“Chúng tôi thấy RisingWave trở thành nền tảng thiết yếu cho kỹ thuật tính năng thời gian thực trên nhiều ngành nghề, đặc biệt là trong lĩnh vực tài chính, bao gồm kiểm soát rủi ro, phát hiện gian lận và hệ thống gợi ý. Các nhóm thường áp dụng nó cho một trường hợp sử dụng và sau đó mở rộng vì một nền tảng xử lý luồng đáng tin cậy cho phép ra quyết định tốt hơn trong thời gian thực khi bộ tính năng của họ phát triển.”

— Sam Hu, Giám đốc điều hành khu vực APJ, RisingWave

Các Thực Hành Tốt Nhất

• Thường xuyên đánh giá hiệu suất: Theo dõi và tối ưu hóa quy trình xử lý để đảm bảo hiệu suất tốt nhất.
• Giáo dục đội ngũ: Đảm bảo rằng tất cả các thành viên trong nhóm đều nắm vững công nghệ mới và có thể áp dụng một cách hiệu quả.

Những Cạm Bẫy Thường Gặp

• Thiếu kỹ năng: Đảm bảo rằng đội ngũ có đủ kỹ năng và kinh nghiệm để triển khai và duy trì hệ thống mới.
• Không chuẩn hóa quy trình: Thiết lập các quy trình rõ ràng để tránh sự cố và lỗi trong quá trình triển khai.

Mẹo Tăng Tốc Hiệu Suất

• Sử dụng cache: Duy trì các bản sao của dữ liệu thường xuyên truy cập để giảm tải cho cơ sở dữ liệu chính.
• Tối ưu hóa truy vấn SQL: Viết các truy vấn tối ưu để giảm thời gian xử lý.

Giải Quyết Vấn Đề

• Kiểm tra lỗi: Theo dõi và ghi lại các lỗi trong quá trình xử lý để có các biện pháp khắc phục kịp thời.
• Phân tích hiệu suất: Sử dụng các công cụ phân tích để theo dõi hiệu suất hệ thống và phát hiện các vấn đề tiềm ẩn.

Câu Hỏi Thường Gặp (FAQ)

RisingWave là gì?

RisingWave là một cơ sở dữ liệu luồng dựa trên SQL giúp xử lý dữ liệu theo thời gian thực với độ trễ thấp.

Tại sao Atome chọn RisingWave?

Vì RisingWave cung cấp khả năng phát triển dễ dàng và hiệu suất cao hơn so với hệ thống trước đó của họ dựa trên Flink.

Thời gian cần thiết để triển khai RisingWave là bao lâu?

Thời gian triển khai có thể từ 1 đến 3 ngày tùy thuộc vào quy mô và độ phức tạp của dự án.

Có thể sử dụng RisingWave cho các trường hợp sử dụng khác không?

Có, RisingWave có thể được áp dụng cho nhiều lĩnh vực như quản lý rủi ro, phát hiện gian lận và cá nhân hóa CRM.

Kết luận

Việc chuyển đổi sang RisingWave không chỉ giúp Atome cải thiện khả năng quản lý rủi ro mà còn tăng cường hiệu suất và tiết kiệm chi phí. Điều này cho thấy rằng việc lựa chọn công nghệ phù hợp có thể mang lại những thay đổi tích cực, giúp các tổ chức hoạt động hiệu quả hơn trong môi trường kinh doanh đầy cạnh tranh hiện nay. Hãy khám phá thêm về RisingWave để tận dụng tối đa tiềm năng của dữ liệu thời gian thực trong doanh nghiệp của bạn.