Bài viết này dựa trên ghi chép từ bài viết "Why RAG Applications Fail in Production" của tác giả Mandar Karhade, MD. PhD.

Các ứng dụng Retrieval-Augmented Generation (RAG) đã nổi lên như những công cụ hiệu quả trong việc tối ưu hóa mô hình ngôn ngữ lớn (LLM). Tuy nhiên, không ít ứng dụng RAG gặp khó khăn trong quá trình triển khai trên môi trường thực tế (production). Trong bài viết này, chúng ta sẽ cùng điểm qua những thách thức phổ biến mà RAG phải đối mặt, cùng với các giải pháp khả thi để đạt được sự triển khai thành công.

1. Những Thách Thức Mà Ứng Dụng RAG Gặp Phải

a. Chất Lượng Retrieval

Chất lượng đoạn truy xuất (retrieval) là yếu tố quan trọng đầu tiên ảnh hưởng đến cả hệ thống. Đặc biệt trong trường hợp dữ liệu thuộc một lĩnh vực đặc thù mà mô hình tạo embedding chưa được tinh chỉnh (fine-tune). Điều này dẫn đến khả năng xảy ra tình trạng điểm tương đồng (similarity score) cao nhưng vẫn không chính xác và ngược lại.

b. Hiện Tượng Hallucination

Mô hình LLM thường phát sinh nội dung không có trong tập dữ liệu của bạn, một hiện tượng được gọi là hallucination. Điều này có thể gây ra rủi ro lớn khi thông tin sai lệch được cung cấp cho người dùng, mà bạn chắc chắn không muốn xảy ra.

c. An Toàn Thông Tin

Bảo mật không chỉ dừng lại ở việc bảo vệ thông tin của khách hàng, mà còn phải đảm bảo an toàn cho chính dữ liệu nội bộ của tổ chức.

d. Nội Dung Phù Hợp

Một trong những yếu tố quan trọng là đảm bảo ứng dụng không cung cấp thông tin trái phép hoặc gây hại tới người dùng và hình ảnh của công ty.

e. Các Vấn Đề Vận Hành

Những vấn đề như truy xuất đệ quy (recursive retrieval), truy xuất ngữ cảnh (sentence window retrieval), và việc quyết định giữa tự lưu trữ hệ thống hay sử dụng API có ảnh hưởng lớn đến sự cân bằng giữa độ chính xác và chi phí của mô hình.

2. Giải Pháp Khắc Phục

1. Lên Kế Hoạch Cẩn Thận

Không có công thức chính xác cho một kế hoạch hoàn hảo, nhưng ít nhất phải chuẩn bị ứng phó với các vấn đề như chất lượng retrieval, hiện tượng hallucination, an toàn thông tin và nội dung phù hợp.

2. Cập Nhật Mô Hình Thường Xuyên

Thiết lập một cơ chế theo dõi và cập nhật mô hình dựa trên tình hình sử dụng thực tế và phản hồi từ khách hàng là rất quan trọng. Nên bắt đầu với một mô hình nhỏ trước khi mở rộng, đồng thời cần phải đảm bảo dữ liệu và cơ sở hạ tầng bảo mật, tích hợp SSO, chứng chỉ SOC2,… để có thể tự tin đưa ra thị trường.

3. Viết Tài Liệu Chi Tiết

Dự đoán trước mọi tình huống xấu có thể xảy ra và giao tiếp một cách rõ ràng với khách hàng, vì việc lường trước rủi ro sẽ giúp giảm thiểu sự cố sau này.

4. Điều Chỉnh Ngôn Ngữ Theo Thương Hiệu

Nếu bạn có sẵn tập dữ liệu để huấn luyện lại mô hình thì tốt, nếu không, hãy đảm bảo rằng quá trình trích xuất thông tin là đúng trước khi đánh giá độ chính xác. Sau khi hoàn thành trích xuất và sinh nội dung, bạn mới nên yêu cầu LLM chuyển đổi thông tin này sang ngôn ngữ của thương hiệu.
source: viblo