Đóng Góp Của Bài Báo
Các Mô Hình Ngôn Ngữ Lớn (LLMs) như GPT-4 đã chứng minh năng lực vượt trội trong việc hiểu ý định, tuân thủ hướng dẫn và thực hiện đa dạng các nhiệm vụ. Tuy nhiên, LLMs vẫn chưa đạt được cấp độ giống con người trong giao tiếp do thiếu hiểu biết sâu sắc về trải nghiệm và chiều sâu cảm xúc, dẫn đến cuộc trò chuyện không hấp dẫn.
Để giải quyết vấn đề này, các mô hình LLMs nhập vai (role-playing) đã được phát triển. Mục tiêu của các mô hình này là cho phép người dùng tạo và tương tác với các hồ sơ nhân vật cá nhân nhằm gia tăng chiều sâu trong cuộc giao tiếp. Tuy nhiên, phần lớn các nỗ lực hiện tại chỉ đơn giản là sao chép khả năng của GPT-4 mà không thể đạt được độ chính xác cao, thường xuyên gây ra thông tin sai lệch và gặp khó khăn trong việc tuân thủ các điều khoản của OpenAI. Hiện tại, lĩnh vực này thiếu phương pháp rõ ràng để phát triển mô hình đóng vai mạnh mẽ hơn mà không phụ thuộc vào việc gán nhãn dữ liệu thủ công.
Trong bài báo, nhóm nghiên cứu đã giới thiệu phương pháp DITTO, cho phép LLMs thực hiện vai trò thông qua cơ chế tự điều chỉnh (self-alignment), giảm yêu cầu phải tinh chế đầu ra từ mô hình khác mạnh hơn. Bằng cách đào tạo LLMs trên cơ sở dữ liệu lớn được tạo bởi con người, DITTO tận dụng kiến thức sẵn có trong LLMs về nhân vật để thực hiện các vai trò chỉ thông qua hai bước đơn giản: cung cấp thông tin nhân vật và điều chỉnh phản hồi của LLM cho phù hợp. Họ cũng phát triển bộ dữ liệu đóng vai WIKIROLE từ 4,000 nhân vật Wikipedia, mở rộng khả năng áp dụng của DITTO.
Việc đánh giá khả năng đóng vai trong LLMs vẫn là một thách thức lớn, chủ yếu phụ thuộc vào công việc gán nhãn thủ công, điều này vừa tốn kém vừa gặp vấn đề về tính nhất quán. Nhóm tác giả đề xuất một phương pháp đánh giá dễ dàng hơn, giúp LLMs tự động đánh giá khả năng đóng vai của mình dựa trên ba tiêu chí:
- Khả năng duy trì vai trò một cách nhất quán.
- Cung cấp kiến thức chính xác liên quan đến nhân vật.
- Khả năng từ chối các câu hỏi không liên quan đến profile của nhân vật.
Đánh giá được thực hiện qua các câu hỏi trắc nghiệm và định dạng đúng/sai, giúp đánh giá nhanh chóng và hiệu quả hơn.
Nhóm tác giả đã triển khai DITTO trên các mô hình Qwen-Chat và ghi nhận khả năng đóng vai ấn tượng mà không cần tinh chế đầu ra từ các chatbot mạnh hơn như ChatGPT-4. Qwen-72B-Chat với DITTO đạt hiệu suất cao trong việc duy trì nhận dạng vai và so với GPT-3.5-Turbo nhưng có phần thua kém về kiến thức so với GPT-4.
Phương Pháp
Xác Định Vấn Đề
Để thực hiện nhập vai, các LLMs cần tham gia vào cuộc đối thoại và tạo ra các tương tác nhập vai chân thực. Một LLM nhập vai cần có nhận thức bản thân vững chắc và kiến thức phong phú về từng nhân vật dựa trên yêu cầu câu hỏi.
Bài báo đã thiết lập nhiệm vụ nhập vai bằng cách cung cấp cho LLMs tên hoặc mô tả ngắn gọn về một nhân vật cụ thể. Tiếp theo, khả năng của LLMs sẽ được đánh giá dựa trên đường dây câu chuyện nhất quán và thể hiện kiến thức đặc trưng cho vai trong các cuộc đối thoại.
Ý tưởng DITTO dựa trên giả định rằng các LLMs là sự chồng chéo của tất cả các nhân vật, nhờ vào lượng lớn dữ liệu được huấn luyện, bao gồm các cuộc trò chuyện với nhiều phong cách và lĩnh vực khác nhau. DITTO chia nhỏ việc thực hiện vai trò thành hai thành phần chính: sự tự nhận thức nhất quán và kiến thức đặc thù cho từng vai.
Để đạt được mục tiêu này, DITTO thực hiện ba bước để xây dựng bộ dữ liệu phù hợp với bài toán: thu thập kiến thức về nhân vật, mô phỏng đối thoại, và tinh chỉnh dưới sự giám sát.
Cụ thể, DITTO hoạt động trên các chatbot LLM như Qwen-Chat, Llama-chat hoặc Mistral-instruct. Những LLM open source này đã thể hiện khả năng theo dõi hướng dẫn tốt nhưng vẫn chưa đủ khả năng về nhập vai.
DITTO mô phỏng đối thoại nhập vai bằng cách tái cấu trúc thành nhiệm vụ đọc hiểu, sử dụng các hồ sơ nhân vật từ các tập dữ liệu công khai để tạo bộ dữ liệu cho vai trò. Sau đó, nó sẽ tinh chỉnh LLM bằng bộ dữ liệu tự tạo nhằm trang bị khả năng nhập vai cho mô hình.
Bộ Sưu Tập Kiến Thức Nhân Vật
DITTO bắt đầu bằng việc thu thập hồ sơ nhân vật chi tiết từ các nguồn kiến thức mở như Wikidata và Wikipedia, các nguồn thông tin đã được tổng hợp và phổ biến trong nghiên cứu ngôn ngữ tự nhiên. Nhóm tác giả đã thu thập tên, mô tả và các đặc điểm quan trọng từ Wikidata và bài viết Wikipedia tương ứng để tạo thành hồ sơ nhân vật.
Mặc dù hiện tại chỉ tập trung vào nhân vật tiếng Trung và tiếng Anh, DITTO có tiềm năng mở rộng sang các tình huống đa ngôn ngữ phức tạp hơn, vì Wikidata và Wikipedia có nội dung phong phú trên nhiều ngôn ngữ khác nhau.
Mô Phỏng Đoạn Hội Thoại
Quá trình mô phỏng đối thoại nhập vai được cấu trúc thành hai nhiệm vụ đọc hiểu kế tiếp: một nhiệm vụ tạo ra câu hỏi và một nhiệm vụ tạo ra câu trả lời.
Mô Phỏng Câu Hỏi: Nhóm tác giả sử dụng LLM để sản xuất các câu hỏi liên quan và không liên quan đến vai, nhằm duy trì nhận dạng vai bền vững và từ chối các câu hỏi không liên quan. Các câu hỏi chuyên biệt cho vai đề cập đến thông tin chặt chẽ liên quan đến hồ sơ của nhân vật. Ngược lại, các câu hỏi đối lập yêu cầu thông tin vượt ra ngoài kiến thức của nhân vật. Nhóm nghiên cứu đã ghép cặp các nhân vật và cung cấp hồ sơ chi tiết cho LLM để tạo ra các câu hỏi mà một nhân vật có thể trả lời nhưng không phù hợp với nhân vật khác.
Mô Phỏng Câu Trả Lời: Đối với các câu hỏi tự tạo và hồ sơ nhân vật, nhóm tác giả coi mô phỏng câu trả lời như một nhiệm vụ đọc hiểu. Hồ sơ nhân vật được biến đổi theo một mẫu xác định, sau đó câu hỏi được thêm vào phía sau hồ sơ đó. LLM được kỳ vọng sẽ thu thập thông tin liên quan từ ngữ cảnh và tạo ra câu trả lời thông qua việc mô phỏng nhân vật. Quá trình này khả thi vì tất cả câu hỏi đều xuất phát từ cùng một bộ hồ sơ.
Supervised Finetuning
Nhóm tác giả đã tinh chỉnh LLM trên tập dữ liệu tự tạo để tăng cường khả năng nhập vai. Trong quá trình tinh chỉnh, họ đã loại bỏ kiến thức cụ thể và chỉ giữ lại phần giới thiệu rất ngắn về nhân vật. Những biến thể như vậy giúp LLM không chỉ truy xuất hồ sơ nhân vật từ một bối cảnh nhất định mà còn chứa cả kiến thức sẵn có.
Kết Luận
Trong bài báo này, nhóm tác giả đã giới thiệu một LLM có khả năng tuân theo hướng dẫn và thực hiện vai trò thông qua tự điều chỉnh mà không cần tinh chế từ các mô hình mạnh như GPT-4. Kết quả thí nghiệm đã chứng minh hiệu quả của chiến lược tự điều chỉnh DITTO với các LLM có kích thước từ 1.8B đến 72B. Những mô hình này đã vượt trội so với tất cả các mô hình nhập vai open source hiện có mà không cần đến dữ liệu tinh chế. Với ý tưởng từ bài báo này, bạn có thể tự thiết kế một nhân vật LLM cho riêng mình.
source: viblo
