Giới thiệu
Một trong những thách thức lớn nhất mà các mô hình ngôn ngữ lớn (LLMs) phải đối mặt là khả năng xử lý ngữ cảnh dài. Hiện nay, có hai phương pháp chính để giải quyết vấn đề này:
- Rút gọn đầu vào (Input Reduction): Phương pháp này bao gồm việc chia nhỏ văn bản lớn thành các đoạn ngắn, chỉ chọn ra những đoạn chứa thông tin liên quan nhất đến câu hỏi.
- Mở rộng cửa sổ ngữ cảnh (Context Window Expanding): Đây là cách mở rộng độ dài tối đa mà LLMs có thể xử lý.
Tuy nhiên, cả hai phương pháp đều gặp phải những bất lợi nhất định trong thực thi. Phương pháp đầu tiên có thể làm mất ngữ cảnh, trong khi phương pháp thứ hai gặp phải vấn đề "Lost-in-middle".
Để cải thiện tình hình, phương pháp Chain of Agents đã được giới thiệu, trong đó nội dung văn bản sẽ được chia nhỏ và các Agent sẽ xử lý, tổng hợp lại để trả lời các câu hỏi.
Phương Pháp
Chain of Agents bao gồm hai bước cơ bản:
- Chia nhỏ văn bản: Văn bản được chia thành các đoạn văn nhỏ, là đầu vào cho các Agent Worker. Mỗi Agent có nhiệm vụ đọc và chọn lọc những ý chính từ đoạn văn mà chúng được giao.
- Tổng hợp và trả lời: Sau khi các đoạn được xử lý, một Agent Manager sẽ tập trung vào việc trả lời câu hỏi dựa trên các tài liệu tóm tắt đã có.
Phân Tích Thời Gian Chạy
Về cơ bản, phương pháp này có vẻ như thời gian chạy không quá lâu, mặc dù cần phải chạy nhiều lần LLMs để xử lý.
Phân Tích Hiệu Suất
Một số phân tích về phương pháp Chain of Agents:
-
Cải thiện hiệu suất khi RAG thất bại: Chain of Agents vượt trội hơn RAG trong tình huống mà RAG không truy xuất được câu trả lời chính xác.
-
Hiệu suất trên ngữ cảnh dài: Thử nghiệm trên BookSum cho thấy Chain of Agents đạt hiệu suất cao đặc biệt là khi độ dài đầu vào tăng lên, thậm chí gấp đôi hiệu suất khi văn bản dài hơn 400k từ.
-
Giảm hiện tượng mất thông tin: Phương pháp này giúp giảm thiểu rủi ro khi mất thông tin giữa các đoạn, điều mà phương pháp Vanilla thường gặp phải.
-
Hỗ trợ suy luận phức tạp: Trong bài toán HotpotQA, Chain of Agents thể hiện khả năng suy luận mạnh mẽ hơn so với phương pháp RAG nhờ vào sự hợp tác hiệu quả giữa các Agent.
-
Vai trò của Agent Manager và thứ tự đọc: Sự hiện diện của Manager rất quan trọng, trong khi thứ tự đọc cũng ảnh hưởng lớn đến hiệu suất tổng thể.
-
Cải thiện thêm với Multi-path: Các phương pháp đa hướng, như Bi-direction hay Self-consistency, đã cải thiện đáng kể hiệu suất của Chain of Agents.
Kết Luận
Phương pháp Chain of Agents cho thấy tiềm năng phát triển đáng kể trong việc xử lý ngữ cảnh dài với một số cải tiến đáng chú ý. Dù vậy, vẫn còn tồn tại một số hạn chế, như cơ chế tương đối đơn giản và chưa tận dụng hết khả năng của multi-agents hay chi phí thực hiện.
Tài Liệu Tham Khảo
- Chain of Agents: Large Language Models Collaborating on Long-Context Tasks
source: viblo
