Nâng Cao Kỹ Năng Prompting Để Tối Ưu Hóa Dự Án RAG

Chắc hẳn những người làm việc trong các dự án RAG (Retrieval Augmented Generation) sẽ không còn xa lạ gì với việc thiết kế prompt cho nhiều giai đoạn trong hệ thống như Question Analyzer, Answer Generator, Answer Evaluator và nhiều hơn nữa. Nhưng bạn có biết những chiến lược nào có thể áp dụng cho nhiệm vụ prompting này không? Dựa trên kinh nghiệm cá nhân và trao đổi với một số bạn bè khác, mình nhận thấy có 3 kỹ thuật prompting khá quen thuộc ngay sau đây:

1. Zero-shot Prompting

• Đây là kỹ thuật cơ bản và đơn giản nhất. Zero-shot prompting cho phép mô hình hiểu và thực hiện nhiệm vụ mà không cần cung cấp ví dụ minh họa.
• Kỹ thuật này hứa hẹn sẽ nâng cao độ chính xác cho các tác vụ nhưng vẫn phụ thuộc vào thiết lập mà bạn đang làm việc.
• Instruction tuning là một kỹ thuật quan trọng giúp cải thiện khả năng zero-shot learning.
• Theo một nghiên cứu về mô hình GPT-3, hiệu suất của zero-shot kém hơn so với few-shot trên các tác vụ phức tạp như đọc hiểu và trả lời câu hỏi.

2. Few-shot Prompting

• Ngược lại với zero-shot, few-shot cung cấp ví dụ cho model giúp hiệu năng tốt hơn.
• Kỹ thuật one-shot prompting là một dạng nhỏ trong few-shot, dựa trên cung cấp một ví dụ duy nhất.
• Đối với các tác vụ phức tạp, bạn nên thử nghiệm với nhiều ví dụ (3-shot, 5-shot, ...). Một số công cụ mã nguồn mở như Langchain hỗ trợ rất tốt cho kỹ thuật này.

3. Chain-of-Thought (CoT) Prompting

• Kỹ thuật CoT giúp mô hình giải quyết các bài toán phức tạp bằng cách phân tích rõ ràng từng bước logic của câu hỏi.
• CoT có thể áp dụng cả trong zero-shot và few-shot để cải thiện kết quả. Độ rõ ràng và ngắn gọn trong các bước là rất quan trọng.

4. Self-consistency

• Thay vì dựa vào lần sinh kết quả duy nhất, self-consistency yêu cầu mô hình tạo ra nhiều câu trả lời khác nhau cho cùng một truy vấn và tổng hợp để chọn ra câu trả lời chính xác nhất.
• Phương pháp này cực kỳ hiệu quả trong việc xử lý các tác vụ tính toán cần tính chính xác cao.

5. Generate Knowledge Prompting

• Kỹ thuật này khuyến khích mô hình tạo ra thông tin cần thiết trước khi thực hiện nhiệm vụ chính, từ đó tăng độ chính xác.
• Ví dụ: Khi được hỏi “Tại sao nước biển lại mặn?”, mô hình có thể tạo ra các kiến thức nền trước khi đưa ra câu trả lời chính xác.

6. Prompt Chaining

• Chia nhiệm vụ phức tạp thành các bước cụ thể và tạo riêng biệt các prompt cho từng bước. Kỹ thuật này thích hợp cho các bài toán yêu cầu lập luận đa bước hoặc thông tin phức tạp.
• Tuy nhiên, chi phí có thể tăng nhanh vì bạn cần tạo nhiều prompt cho mỗi nhiệm vụ.

7. Tree of Thoughts (ToT)

• Thay vì suy nghĩ một cách tuyến tính, ToT cho phép mô hình mở rộng ra nhiều nhánh suy luận để tìm ra đường đi hợp lý nhất.
• Kỹ thuật này vẫn còn đang trong giai đoạn thử nghiệm, và phù hợp với các bài toán như giải Sudoku hay Rubik.

8. Retrieval Augmented Generation (RAG)

• Đây là một kỹ thuật phổ biến trong các dự án hiện tại, giúp cải thiện chất lượng thông tin được sinh ra. Xu hướng này cũng đang mở rộng ra nhiều lĩnh vực như MultimodalRAG và GraphRAG.

Hy vọng những chia sẻ trên sẽ giúp các bạn có cái nhìn rõ hơn về các kỹ thuật prompting, từ đó tối ưu hóa hiệu quả trong công việc của mình. Hãy cùng trau dồi và nâng cao kỹ năng nhé!
source: viblo