Đóng Góp Của Bài Báo

Trong bối cảnh hiện nay, các mô hình ngôn ngữ lớn (LLM) đang gặp khó khăn trong việc ghi nhớ và xử lý thông tin từ các cuộc hội thoại hoặc tài liệu dài. Cụ thể, LLM chỉ có khả năng xử lý một lượng thông tin giới hạn tại một thời điểm, dẫn đến hạn chế trong việc duy trì ngữ cảnh, điều mà chúng ta có thể gọi là vấn đề độ dài ngữ cảnh.

Khi các nhà nghiên cứu cố gắng tăng cường độ dài ngữ cảnh, đi kèm với đó là tăng độ phức tạp về tính toán và bộ nhớ một cách đáng kể, do kiến trúc self-attention của Transformer. Mặc dù các giải pháp đang được nghiên cứu, nhưng việc sử dụng thông tin này một cách hiệu quả vẫn luôn là một bài toán khó khăn.

Để giải quyết vấn đề trên, nhóm tác giả đã đề xuất MemGPT, một phương pháp cho phép LLM di chuyển thông tin giữa một khu vực làm việc nhỏ gọn và một bộ nhớ ngoài lớn, tương tự như việc quản lý thông tin trong máy tính. MemGPT giúp LLM xử lý và quản lý thông tin tốt hơn mà không bị giới hạn bởi kích thước ngữ cảnh của chúng.

MemGPT thực hiện vai trò như một hệ điều hành dành riêng cho LLM, cho phép quản lý nội dung trong ngữ cảnh của mình, tương tự như cách máy tính quản lý bộ nhớ vật lý. Điều này cho phép LLM dễ dàng truy cập dữ liệu lịch sử cần thiết, đồng thời loại bỏ các thông tin ít hoặc không liên quan khỏi ngữ cảnh chính.

Nhóm nghiên cứu đã tiến hành thử nghiệm MemGPT trong hai tác vụ chính của LLM: phân tích tài liệu dài và duy trì cuộc hội thoại có ý nghĩa. Kết quả cho thấy MemGPT đã giải quyết vấn đề giới hạn ngữ cảnh một cách hiệu quả và cải thiện đáng kể hiệu suất so với các phương pháp trước đây.

Phương Pháp Kỹ Thuật

MemGPT có hai thành phần chính: Main Context và External Context.

1. Main Context: Chứa các token prompt của LLM và là nơi mà mọi thông tin được coi là in context, giúp LLM thực hiện dự đoán.

2. External Context: Gồm thông tin mà LLM không thể quản lý trong window context cố định. Dữ liệu out-of-context cần phải được chuyển vào Main Context để LLM có thể xử lý.

MemGPT giúp LLM quản lý bộ nhớ qua các cuộc gọi hàm mà không cần sự can thiệp của người dùng.

Main Context (token prompt)

Trong MemGPT, các token prompt được chia thành ba phần:

• System Instructions: Chỉ có thể đọc và chứa thông tin về điều khiển flow của MemGPT và cách sử dụng các bộ nhớ khác nhau.
• Working Context: Không gian lưu trữ thông tin quan trọng về người dùng và nội dung hội thoại.
• FIFO Queue: Lưu trữ lịch sử tin nhắn và thông báo hệ thống.

Queue Manager

Queue Manager có trách nhiệm quản lý tin nhắn trong kho lưu trữ recall và FIFO Queue. Nó thêm tin nhắn mới vào FIFO, kết hợp các token prompt, và gọi LLM để tạo ra output. Bên cạnh đó, Queue Manager cũng kiểm soát tràn ngữ cảnh bằng cách thúc đẩy quá trình không gian lưu trữ khi cần thiết thông qua một chính sách loại bỏ.

Function Executor

MemGPT điều phối việc di chuyển dữ liệu giữa Main Context và External Context thông qua các cuộc gọi hàm từ bộ xử lý LLM. Chức năng này tự động cập nhật và tìm kiếm thông tin trong bộ nhớ dựa trên ngữ cảnh hiện tại.

Control Flow và Function Chaining

MemGPT xử lý các sự kiện kích hoạt inference LLM, chẳng hạn như thông báo mới từ người dùng hoặc các cảnh báo từ hệ thống. Nó sử dụng parser để chuyển đổi các sự kiện này thành tin nhắn có thể thêm vào Main Context.

Kết Luận

Bài báo này mang đến một cách tiếp cận mới để kiểm soát nội dung ngữ cảnh, từ đó giúp LLM Agent hiểu người dùng và phản hồi một cách đúng đắn hơn. Nếu bạn muốn tìm hiểu sâu thêm, hãy tham khảo mã cài đặt tại link GitHub.

Tài Liệu Tham Khảo

[1] MemGPT: Towards LLMs as Operating Systems.
source: viblo