Giới thiệu về RAG 2.0

Trong bối cảnh phát triển nhanh chóng của các mô hình ngôn ngữ lớn (LLMs), từ các mô hình mã nguồn mở đến mã nguồn đóng của các công ty lớn trong ngành, người dùng ngày càng được hưởng lợi từ sự cạnh tranh này. Các giải pháp tối ưu dần được phát triển, từ các phương pháp fine-tuning về mặt trọng số và prompt, đến những kỹ thuật bổ sung ngữ cảnh thông tin, nổi bật trong số đó là mô hình Truy Xuất Thông Tin (RAG). Tuy nhiên, hiện tại, mô hình RAG vẫn đang bị cố định trong cách thiết kế. Vậy nếu chúng ta có thể phát triển các kiến trúc RAG có thể tùy chỉnh như các mô hình LLMs thì sao? Đó là lý do RAG 2.0 được đưa ra, và trong bài viết này, chúng ta sẽ khám phá chi tiết về sự khác biệt trong kiến trúc mới này.

Sự phát triển của RAG 2.0

Kiến trúc RAG 2.0 được giới thiệu bởi nhóm Contextual AI vào giữa tháng 3. Trong một số bài viết trước, khái niệm RAG đã được nhắc đến nhiều, vậy nên, chúng ta hãy cùng tìm hiểu về những khác biệt chính của RAG 2.0.

Các tiêu chí so sánh và cải thiện trong RAG 2.0

Nhóm Contextual AI đã đề ra một số tiêu chí để đánh giá khả năng truy xuất thông tin của các mô hình:

Trả lời câu hỏi mở (Open domain question-answering): Họ đã sử dụng các bộ dữ liệu như Natural Questions (NQ), TriviaQA và HotpotQA để đánh giá khả năng truy xuất của các mô hình, nhằm xem liệu chúng có thể lấy được thông tin liên quan và trả lời chính xác hay không.
Sự tin cậy (Faithfulness): Đánh giá khả năng giữ lại thông tin đúng đắn trong quá trình thực hiện các tác vụ thông qua bộ dữ liệu HaluEvalQA và TrurhfulQA.
Tính mới mẻ (Freshness): Đánh giá khả năng cập nhật thông tin mới bằng cách truy xuất dữ liệu trên web qua bộ dữ liệu FreshQA.

Kết quả cho thấy rằng các mô hình Ngôn ngữ Bối cảnh (CLMs) đã cải thiện hiệu suất rõ rệt so với các hệ thống RAG tĩnh truyền thống, bất kể là các mô hình mã nguồn mở hay mã nguồn đóng.

Các Thuật Toán Truy Xuất Thông Tin Hiện Đại

Trong RAG 2.0, một trong những yếu tố quan trọng là việc sử dụng các thuật toán truy xuất hiệu quả hơn. Một số thuật toán thường gặp bao gồm TF-IDF, BM25 và Dense Retrieval. Ngoài ra, còn có một số kỹ thuật đáng chú ý khác như ColBERT với cơ chế tương tác trễ, nơi mà các thành phần trong tài liệu và truy vấn được mã hóa riêng rẽ trước khi so sánh.

Một số thuật toán mới nổi bật khác bao gồm:

SPLADE (Sparse LAttentional DEcoder): Kết hợp giữa đại diện thưa và đặc và mở rộng truy vấn.
DRAGON: Dùng sự tăng cường dữ liệu tiến bộ để nâng cao hiệu suất truy vấn, điều này giúp truy vấn được tùy chỉnh theo ngữ cảnh cuộc trò chuyện để thông tin luôn liên quan và chi tiết.
Tìm kiếm kết hợp (Hybrid Search): Sự kết hợp giữa tìm kiếm dày (Dense) và thưa (Sparse).

Cải tiến Cách Mà Truy Xuất Hỗ Trợ Tạo Sinh

Một phương pháp đáng chú ý khác trong nghiên cứu về RAG là RePlug. Phương pháp này cho phép truy xuất top-K tài liệu cho một truy vấn nhất định và áp dụng các kỹ thuật bình thường hóa để tinh chỉnh độ khó (perplexity) của câu trả lời. Bằng cách này, người dùng có thể nhận được thông tin chính xác và dễ hiểu hơn.

Kết luận

Kiến trúc RAG 2.0 hứa hẹn sẽ mang lại nhiều cải tiến thú vị trong việc ứng dụng vào các bài toán thực tế. Bài viết này chỉ điểm qua một số cải tiến đáng chú ý tập trung vào vấn đề truy xuất thông tin. Trong các bài viết tiếp theo, chúng ta sẽ cùng nhau bàn về những ý tưởng khác liên quan đến các bộ phận riêng lẻ cũng như toàn bộ quy trình RAG.

RAG 2.0: Những Kỹ Thuật Mới Để Tối Ưu Hóa Mô Hình Truy Xuất Thông Tin