1. Giới Thiệu
Nếu bạn đang tìm hiểu về Retrieval-Augmented Generation (RAG) nhưng không biết bắt đầu từ đâu, bài viết này sẽ giúp bạn. Chúng ta sẽ điểm qua các kỹ thuật trong RAG, cũng như sự phát triển của nó qua các giai đoạn khác nhau. Bài viết "Retrieval Augmented Generation for Large Language Models: A Survey" sẽ là nguồn tài liệu lý tưởng cho những người mới bắt đầu khám phá RAG. Nếu bạn cần tóm tắt nhanh những ý chính, hãy cùng xem qua bài viết dưới đây.
Trong bối cảnh trí tuệ nhân tạo (AI) phát triển như vũ bão, các mô hình ngôn ngữ lớn (Large Language Models - LLMs) đã thể hiện nhiều khả năng đáng kinh ngạc. Tuy nhiên, chúng vẫn gặp phải những thách thức như:
- Tình trạng hallucination (tạo ra nội dung không chính xác)
- Kiến thức lỗi thời
- Thiếu minh bạch trong quá trình suy luận.
Retrieval-Augmented Generation (RAG) nổi lên như một giải pháp tiềm năng, kết hợp kiến thức từ cơ sở dữ liệu bên ngoài, giúp giải quyết các vấn đề:
- Tăng cường độ chính xác và độ tin cậy của nội dung
- Cập nhật kiến thức liên tục
- Tích hợp thông tin chuyên môn.
2. Hành Trình Phát Triển Của RAG
RAG đã có một hành trình phát triển đầy thú vị qua hai giai đoạn chính:
Giai đoạn 1: Thời kỳ Đầu với Transformer
Khi RAG mới xuất hiện, nó gắn liền với sự phát triển của kiến trúc Transformer - một cột mốc quan trọng trong AI. Lúc này, các nghiên cứu tập trung vào việc nâng cao khả năng của mô hình ngôn ngữ thông qua quá trình tiền huấn luyện (pre-training), nhằm “dạy” mô hình nhiều kiến thức trước khi thực hiện các nhiệm vụ cụ thể.
Giai đoạn 2: Kỷ Nguyên ChatGPT
Sự ra đời của ChatGPT đã mở ra một hướng phát triển mới cho RAG. ChatGPT cho thấy khả năng vượt trội trong việc học và hiểu ngữ cảnh, thúc đẩy những cải tiến trong nghiên cứu RAG. Hướng đi mới này tập trung vào việc cung cấp thông tin chất lượng cao hơn cho các mô hình ngôn ngữ lớn, giúp trả lời câu hỏi phức tạp và xử lý các tác vụ chuyên môn.
Sự chuyển mình này như việc chuyển từ một "thư viện sách cố định" sang một "hệ thống tra cứu thông minh", với khả năng tiếp cận và sử dụng thông tin cập nhật để đưa ra câu trả lời chính xác hơn.
3. Ba Thế Hệ Phát Triển Của RAG
3.1. Naive RAG: Thế Hệ Đầu Tiên
Naive RAG là phiên bản cơ bản nhất của RAG nhằm đáp ứng nhu cầu sau thời kỳ ChatGPT. Quy trình hoạt động bao gồm ba bước chính:
-
Lập chỉ mục (Indexing):
- Chuyển đổi dữ liệu từ nhiều định dạng (PDF, HTML, Word) thành văn bản thuần túy
- Chia nhỏ văn bản thành các đoạn dễ xử lý
- Chuyển các đoạn thành vector và lưu trữ trong cơ sở dữ liệu.
-
Thu thập (Retrieval):
- Chuyển câu hỏi của người dùng thành vector
- Tìm kiếm các đoạn văn tương tự nhất
- Chọn ra top K đoạn văn liên quan nhất.
-
Sinh nội dung (Generation):
- Kết hợp câu hỏi với các đoạn văn đã chọn
- Tạo câu trả lời dựa trên ngữ cảnh.
Tuy nhiên, Naive RAG gặp phải một số hạn chế:
- Thông tin thu hoạch không chính xác hoặc thiếu sót
- Đôi khi tạo ra nội dung sai lệch (hallucination)
- Khó khăn trong việc tích hợp thông tin một cách mạch lạc.
3.2. Advanced RAG: Cải Tiến Toàn Diện
Advanced RAG ra đời nhằm khắc phục những nhược điểm của Naive RAG với hai cải tiến chính:
- Tiền xử lý (Pre-retrieval):
Tối ưu cấu trúc chỉ mục:
- Nâng cao độ chi tiết dữ liệu: Sử dụng các kỹ thuật phân đoạn nâng cao như cửa sổ trượt và phân đoạn chi tiết.
- Tối ưu hóa cấu trúc chỉ mục: Áp dụng chỉ mục phân cấp và chỉ mục dựa trên đồ thị tri thức.
- Thêm siêu dữ liệu: Làm giàu các đoạn văn bản với siêu dữ liệu để hỗ trợ lọc thông tin.
- Tối ưu hóa căn chỉnh: Sử dụng kỹ thuật Reverse HyDE để giảm khoảng cách ngữ nghĩa giữa câu hỏi và câu trả lời.
- Truy xuất kết hợp: Kết hợp các phương pháp truy xuất thưa thớt và dày đặc để nâng cao khả năng truy xuất.
- Hậu xử lý (Post-retrieval):
Sắp xếp lại thứ tự các đoạn văn theo độ liên quan:
Sử dụng các kỹ thuật reranking để ưu tiên các đoạn văn bản có liên quan nhất.
- Dựa trên quy tắc: Sắp xếp lại theo các chỉ số xác định trước.
- Dựa trên mô hình: Ứng dụng các mô hình như SpanBERT hay Cohere Rerank để sắp xếp lại.
Nén ngữ cảnh:
Áp dụng các kỹ thuật nén để tránh quá tải thông tin.
- Tập trung vào thông tin quan trọng:
Cho phép LLM đánh giá và tự lọc bỏ các tài liệu không liên quan.
3.3. Modular RAG: Kiến Trúc Linh Hoạt
Modular RAG là một bước tiến đáng kể hơn hai mô hình trước, cho phép tính linh hoạt và khả năng thích ứng cao hơn. Mô hình này có thể tích hợp nhiều chiến lược khác nhau để cải thiện hiệu suất, đáp ứng nhu cầu đa dạng.
Đặc điểm chính của Modular RAG:
- Tính linh hoạt: Có khả năng thay thế hoặc cấu hình lại các mô-đun cho từng tình huống cụ thể.
- Tích hợp module mới: Introduce các thành phần chuyên biệt để nâng cao khả năng tìm kiếm.
- Hỗ trợ tương tác đa dạng: Thực hiện các tương tác phức tạp hơn giữa các môt-đun.
So sánh với Naive RAG và Advanced RAG:
- Naive RAG tuân theo quy trình truyền thống;
- Advanced RAG cải tiến chất lượng truy xuất;
- Modular RAG phát triển hơn nữa với tính linh hoạt cao.
4. Tài Liệu Tham Khảo
Retrieval Augmented Generation for Large Language Models: A Survey
source: viblo
