Giới Thiệu

Hãy tưởng tượng bạn đang trong giờ kiểm tra và phải mở sách để tìm thông tin. Có ba chiến lược bạn có thể sử dụng để trả lời câu hỏi:

• Chiến lược 1: Trả lời nhanh các câu hỏi bạn đã ôn tập. Đối với những câu chưa học, bạn sẽ mở sách để tham khảo. Bạn cần nhanh chóng tìm kiếm thông tin liên quan, tổ chức lại và tóm tắt trong đầu trước khi viết câu trả lời.

• Chiến lược 2: Đối với từng câu hỏi, bạn mở sách để tìm kiếm ngay. Xác định các phần thông tin liên quan, tóm tắt lại trong đầu, rồi viết câu trả lời ra giấy.

• Chiến lược 3: Khi gặp câu hỏi, bạn tham khảo sách để xác định các phần liên quan, sau đó phân loại thông tin thành ba nhóm: Đúng, Sai và Mơ hồ. Xử lý từng loại thông tin một cách riêng biệt và dựa vào thông tin này, tổng hợp lại để viết câu trả lời.

Chiến lược 1 liên quan đến quy trình tự đánh giá, sửa đổi và tạo ra câu trả lời (self-RAG). Chiến lược 2 đại diện cho quy trình RAG truyền thống. Cuối cùng, chiến lược 3 được gọi là Corrective Retrieval Augmented Generation (CRAG), phương pháp ta sẽ trình bày trong bài viết này.

Động Lực Của Bài Báo

Hầu hết các phương pháp RAG truyền thống không xem xét tính liên quan của tài liệu với câu hỏi, mà đơn giản chỉ kết hợp các tài liệu đã tìm kiếm. Điều này có thể dẫn đến việc đưa vào thông tin không liên quan, cản trở mô hình trong việc thu thập thông tin chính xác và có thể dẫn đến hiện tượng hallucination. Ngoài ra, nhiều phương pháp RAG thường lấy toàn bộ tài liệu đã tìm kiếm làm đầu vào, mặc dù một phần lớn văn bản trong các tài liệu này không cần thiết cho quá trình tạo câu trả lời.

Ý Tưởng Chính Của CRAG

CRAG (Corrective Retrieval Augmented Generation) được thiết kế với một bộ đánh giá tìm kiếm nhẹ để đánh giá chất lượng tổng thể của các tài liệu truy xuất cho các truy vấn cụ thể. Phương pháp này cũng sử dụng tìm kiếm web như một công cụ bổ sung nhằm cải thiện kết quả truy xuất.

CRAG có khả năng tích hợp linh hoạt, cho phép kết nối liền mạch với nhiều phương pháp dựa trên RAG. Kiến trúc tổng thể của CRAG được mô tả qua các quy trình sau:

• Bộ Đánh Giá Tìm Kiếm: Bộ đánh giá này được sử dụng để đánh giá mức độ liên quan của các tài liệu truy xuất đối với truy vấn của người dùng. Nó tiên đoán một mức độ tin cậy cho mỗi tài liệu, có thể kích hoạt các hành động truy xuất thông tin khác nhau như {Đúng, Sai, Mơ hồ}.

CRAG cải tiến RAG truyền thống bằng cách sử dụng bộ đánh giá tìm kiếm để đánh giá mối quan hệ giữa tài liệu được truy xuất và truy vấn của người dùng. Kết quả đánh giá có thể là:

1. Đúng: Các tài liệu chứa nội dung cần thiết cho truy vấn. Khi đó, một thuật toán tinh chỉnh kiến thức sẽ được sử dụng để viết lại các tài liệu.
2. Sai: Các tài liệu truy xuất không liên quan đến truy vấn. Trong trường hợp này, CRAG sẽ sử dụng công cụ tìm kiếm web để thu thập thông tin bên ngoài.
3. Mơ hồ: Các tài liệu có thể gần đúng nhưng không đủ để cung cấp câu trả lời. Cần thêm thông tin từ tìm kiếm web, do đó cả thuật toán tinh chỉnh kiến thức và công cụ tìm kiếm sẽ được sử dụng.

Cuối cùng, thông tin đã được xử lý sẽ được gửi đến LLM (Large Language Model) để tạo phản hồi.

Hai Thành Phần Chính Của CRAG

CRAG sử dụng một mô hình T5-large làm bộ đánh giá tìm kiếm. Đối với mỗi truy vấn, thường thì 10 tài liệu được truy xuất. Sau đó, mỗi tài liệu sẽ được gán nhãn 1 cho các mẫu tích cực và -1 cho tiêu cực trong quá trình tinh chỉnh. Bộ đánh giá sẽ tính toán điểm mức độ liên quan cho mỗi tài liệu, dao động từ -1 đến 1 và phân loại chúng thành 3 mức dựa trên ngưỡng đã đặt ra.

Cải Tiến Bộ Đánh Giá Truy Xuất

• Bộ đánh giá truy xuất có thể được coi là một mô hình phân loại điểm số, tương tự như mô hình reranking trong RAG.
• Bằng cách tích hợp các đặc điểm phù hợp với các tình huống thực tế vào dữ liệu đào tạo, bộ đánh giá có thể cải thiện khả năng nhận diện mức độ liên quan của tài liệu.

Tổng Kết

Bài viết đã trình bày quy trình hoạt động cơ bản của CRAG và nhấn mạnh sự nổi bật của phương pháp này trong việc nâng cao hiệu suất của RAG. CRAG không chỉ cải thiện tính chính xác mà còn giảm thiểu mức độ phức tạp trong quy trình. Đây là một giải pháp hữu ích để nâng cao khả năng truy xuất và tạo câu trả lời hiệu quả hơn cho người dùng.
source: viblo