1. Giới thiệu
Trong bài viết trước, chúng ta đã khám phá Scrapegraph-ai, một công cụ tiên tiến kết hợp khả năng của LLMs (Mô hình Ngôn ngữ Lớn) với khả năng xử lý dữ liệu. Nó giúp giải quyết các bài toán thu thập và xử lý dữ liệu cho các hệ thống AI. Bài viết này sẽ tiếp tục đi sâu vào việc xử lý các bài toán truy vấn phức tạp trong các hệ thống RAG (Retrieval-Augmented Generation) bằng cách kết hợp Scrapegraph-ai và phương thức gọi hàm (function calling).
Khi người dùng đưa ra yêu cầu truy vấn, như "Ai là người nhỏ tuổi nhất trong công ty?", một hệ thống RAG cơ bản có thể trả về một số văn bản liên quan. Tuy nhiên, điều này không đảm bảo rằng thông tin trả về là chính xác hoặc đầy đủ khi phải xác định thứ hạng hoặc liệt kê đối tượng trong một tập dữ liệu lớn hơn.
Bài viết này sẽ đề xuất giải pháp hiệu quả hơn giúp xử lý các truy vấn phức tạp, đầy đủ và chính xác hơn trong hệ thống RAG.
2. Phân Tích Bài Toán
Chúng ta sẽ xem xét một ví dụ cụ thể từ bài toán quản lý nhân sự trong một công ty. Cơ sở dữ liệu của công ty có thể bao gồm thông tin như tên, tuổi, chức vụ, quê quán, email và các thông tin bổ sung khác về nhân viên.
Yêu cầu của bài toán:
Hệ thống RAG cần xử lý các truy vấn về thứ hạng và danh sách nhân viên, ví dụ:
- Ai là 3 người lớn tuổi nhất trong công ty?
- Danh sách 5 nhân viên trẻ nhất có chức vụ là Nhân viên.
- Danh sách toàn bộ nhân viên có chức vụ là Nhân viên.
- Liệt kê những người có quê ở Quảng Bình.
Hệ thống RAG cơ bản thường gặp khó khăn trong việc đảm bảo rằng các kết quả trả về thực sự đúng với toàn bộ tập dữ liệu, dẫn đến hiện tượng ảo giác. Điều này xảy ra khi người dùng đưa ra các truy vấn phức tạp mà hệ thống khó xử lý.
3. Giải Pháp Đề Xuất
Chúng ta sẽ kết hợp hai công cụ là Scrapegraph-ai và phương thức gọi hàm để khắc phục những khó khăn nêu trên. Dưới đây là phần tóm tắt giải pháp của chúng tôi:
3.1. Sử Dụng Scrapegraph-ai và Phương Thức Gọi Hàm
- Scrapegraph-ai: Hỗ trợ trích xuất thông tin từ tài liệu và cấu trúc hóa dữ liệu về nhân viên cho hệ thống.
- Function calling: Giúp chia nhỏ các nhiệm vụ phức tạp để xử lý các truy vấn một cách hiệu quả.
3.2. Chia Việc Truy Xuất Dữ Liệu Thành 3 Hướng
Dữ liệu sẽ được truy xuất theo 3 hàm chính:
- Hàm Tìm Kiếm Thông Tin Nhân Viên: Khi đã biết một thông tin cụ thể của nhân viên.
- Hàm Lọc Danh Sách Nhân Viên: Ghi nhận các tiêu chí cụ thể từ người dùng.
- Hàm Tìm Kiếm Theo Tiêu Chí Đặc Trưng: Như sở thích hay tính cách.
Việc phân chia này không chỉ tối ưu hóa khả năng truy vấn mà còn đảm bảo tính chính xác.
3.3. Mô Hình Hàm Cụ Thể
3.3.1. Hàm Tìm Kiếm Thông Tin Nhân Viên
- Tên hàm:
search_employee_info_by_name - Công dụng: Tìm kiếm thông tin khi biết một số thông tin cụ thể về nhân viên.
- Cách hoạt động: Sử dụng kỹ thuật tìm kiếm tương tự (similarity search) dựa trên vector embedding.
3.3.2. Hàm Lọc Danh Sách Nhân Viên
- Tên hàm:
search_employee_by_rules - Công dụng: Lọc danh sách nhân viên theo các tiêu chí như tuổi, chức vụ, quê quán.
- Cách hoạt động: Trích xuất thông tin từ các tài liệu và tạo cơ sở dữ liệu có cấu trúc bằng Scrapegraph-ai, sau đó áp dụng các bộ lọc cho dữ liệu.
3.3.3. Hàm Tìm Kiếm Theo Tiêu Chí Đặc Trưng
- Tên hàm:
search_employee_by_info - Công dụng: Tìm kiếm thông tin nhân viên theo các tiêu chí như sở thích hay tính cách.
- Cách hoạt động: Sử dụng phương pháp tương tự để tìm kiếm.
4. Thực Nghiệm và Đánh Giá
Chúng tôi tiến hành thực nghiệm để đánh giá hiệu quả của mô hình đề xuất bằng cách so sánh với hệ thống RAG cơ bản.
- Thử nghiệm 1: Truy vấn về thứ hạng - Mô hình đề xuất đã cho kết quả chính xác thay vì bị ảo giác.
- Thử nghiệm 2: Danh sách nhân viên theo chức vụ - Mô hình đã lọc chính xác và liệt kê đầy đủ.
5. Kết Luận
Giải pháp này không chỉ nâng cao khả năng xử lý của mô hình mà còn khắc phục các vấn đề hiện tại trong hệ thống RAG khi giải quyết các truy vấn phức tạp. Chúng tôi sẽ tiếp tục nghiên cứu và phát triển các hệ thống multi-agents để đạt được kết quả tối ưu hơn cho việc xử lý nhiệm vụ phức tạp trong tương lai.
Liên hệ
Mã nguồn cho ví dụ được cung cấp tại: github.com/Martincrux/RAG_function_calling.
Nếu bạn có bất kỳ thắc mắc nào hay muốn liên hệ, vui lòng gửi email đến himmeow.thecoder@gmail.com hoặc tham gia server Discord: himmeow the coder 🐾 và đừng ngần ngại chia sẻ ý kiến của bạn!
source: viblo
