Kỹ Thuật Đặt Câu Hỏi Tinh Vi (Prompt Engineering) trong ChatGPT
Trong bài viết trước, "ChatGPT Series 7.1: Kỹ Thuật Đặt Câu Hỏi Tinh Vi (Phần 1)", chúng ta đã khám phá những khái niệm cơ bản về kỹ thuật đặt câu hỏi trong mô hình ngôn ngữ. Bài viết này sẽ giới thiệu các phương pháp nâng cao và ứng dụng hiệu quả hơn trong kỹ thuật này.
1. Phương Pháp Tự Nhất Quán (Self-Consistency)
Tự Nhất Quán là một trong những phương pháp tiên tiến trong kỹ thuật Prompt Engineering, được giới thiệu bởi Wang et al. (2022), nhằm tăng cường độ chính xác và hiệu suất của phương pháp Lập Luận Chuỗi (CoT Prompting). Các phương pháp truyền thống thường áp dụng phương pháp mã hóa tham lam (greedy decoding), chỉ lựa chọn từ có xác suất cao nhất mà không xem xét các lựa chọn thay thế có khả năng dẫn đến kết quả tốt hơn.
Cách Thức Hoạt Động
- Tạo ra nhiều con đường lập luận khác nhau: Kỹ thuật này khuyến khích việc tạo ra nhiều reasoning paths từ các ví dụ nhỏ nhất (few-shot).
- Lựa chọn câu trả lời nhất quán: Từ các reasoning paths, phương pháp tự nhất quán sẽ xác định câu trả lời xuất hiện nhiều nhất trong số các đề xuất.
Ví Dụ Minh Họa Như Sau:
-
Không sử dụng Tự Nhất Quán (Greedy Decoding):
Prompt:
"Khi tôi 6 tuổi, em gái tôi lúc đó bằng một nửa tuổi tôi. Bây giờ tôi 70, em gái tôi bao nhiêu tuổi?"
Output:
"35" (Đây là câu trả lời sai!) -
Sử Dụng Tự Nhất Quán:
Dưới đây là một ví dụ với các câu hỏi áp dụng phương pháp Tự Nhất Quán:
-
Prompt:
"Khi tôi 6 tuổi, em gái tôi lúc đó bằng một nửa tuổi tôi. Bây giờ tôi 70, em gái tôi bao nhiêu tuổi?"
Output:
"Khi tôi 6 tuổi, em gái tôi bằng 3 tuổi. Bây giờ tôi 70 tuổi, em gái tôi là 70 - 3 = 67 tuổi." (Câu trả lời đúng!)
Nếu trong quá trình tự nhất quán có một câu trả lời xuất hiện nhiều nhất, thì đó sẽ là câu trả lời chính thức.
2. Khung Làm Việc Tree of Thoughts (ToT)
Hạn Chế Của Kỹ Thuật Truyền Thống
Khi giải quyết các nhiệm vụ phức tạp yêu cầu khám phá hoặc lập kế hoạch, những kỹ thuật truyền thống thường không đem lại kết quả cao. Yao et al. (2023) và Long (2023) đã đề xuất khung làm việc Tree of Thoughts (ToT), phương pháp này mở rộng phương pháp lập luận chuỗi và khuyến khích việc khám phá các cách tiếp cận trong giải quyết vấn đề.
Cách Thức Hoạt Động Của ToT
ToT tổ chức các suy nghĩ của mô hình ngôn ngữ thành các nút trong một cấu trúc cây, cho phép áp dụng các thuật toán tìm kiếm để lựa chọn "đường suy nghĩ" tốt nhất. Điều này giúp cải thiện khả năng lập kế hoạch của mô hình ngôn ngữ.
3. Phương Pháp Chuỗi Kiểm Tra (Chain-of-Verification - CoVe)
Trong các mô hình ngôn ngữ lớn (LLMs), thường hay gặp vấn đề tạo ra thông tin nghe có vẻ hợp lý nhưng không chính xác, gọi là ảo giác (hallucination). Dhuliawala et al. đã phát triển phương pháp CoVe, bao gồm việc tạo ra các câu hỏi xác minh để kiểm tra tính chính xác của phản hồi ban đầu, nhằm giảm thiểu ảo giác trong LLM.
4. Một Số Kỹ Thuật Khác
Ngoài các phương pháp đã đề cập, còn nhiều kỹ thuật khác trong lĩnh vực Prompt Engineering như Graph-of-Thought, Skeleton-of-Thought, Least-to-Most, ReAct, Active-Prompt, và nhiều phương pháp khác mà bạn có thể tìm hiểu thêm.
Kết Luận
Qua hai bài viết này về Prompt Engineering, bạn đã có cái nhìn tổng quan về các phương pháp nâng cao, mỗi phương pháp đều phục vụ những mục tiêu khác nhau trong việc tối ưu hóa mô hình ngôn ngữ. Từ kỹ thuật tự nhất quán, khung làm việc Tree of Thoughts cho đến Chain-of-Verification, mỗi phương pháp mang lại những cách tiếp cận độc đáo cho các thao tác lập luận và giải quyết vấn đề. Bạn có thể tìm hiểu thêm để vận dụng và thực hiện cho các dự án thực tế của mình.
source: viblo
