Giới thiệu

Bài viết này trình bày chi tiết về phương pháp Tối Ưu Sở Thích Trực Tiếp (DPO) được sử dụng trong bối cảnh Huấn Luyện từ Phản Hồi của Con Người (RLHF) nhằm tăng cường hiệu quả của các mô hình ngôn ngữ lớn (LLM). Một số mô hình 7B áp dụng DPO đã chứng minh khả năng đạt được hiệu suất tương đương hoặc thậm chí vượt qua các mô hình 70B. Ví dụ, mô hình Mixtral 8x7B bằng cách sử dụng DPO đã đạt performance tương đương với LLaMa 70B. Hãy cùng khám phá kỹ lưỡng hơn về phương pháp này.

Tóm tắt Về PPO

Trước khi tiếp cận DPO, các phương pháp truyền thống trong RLHF thường yêu cầu finetune hai mô hình riêng biệt: mô hình thưởng (reward model) và mô hình chính sách (policy model). Quy trình hoạt động như sau:

1. Huấn luyện một mô hình thưởng từ sự ưu tiên của con người. Sự ưu tiên này có thể được hiểu là phản hồi hoặc nhãn mà người dùng cung cấp, ví dụ như việc chỉ ra phản hồi nào được ưa thích hơn.
2. Mô hình thưởng sau đó sẽ được đóng băng và dùng để huấn luyện mô hình LLM (mô hình chính sách) thông qua các thuật toán RL, chẳng hạn như Proximal Policy Optimization (PPO).

Phương pháp này dựa vào mô hình thưởng để tối ưu hóa tạo nhãn từ con người. Chất lượng của mô hình LLM phụ thuộc nhiều vào mô hình thưởng, tức là thành bại đều nằm ở đó.

Để mô hình thưởng hoạt động hiệu quả, một giả định là sở thích của con người có thể được mô tả bằng xác suất và được diễn đạt trong một mô hình Bradley-Terry.

Tuy nhiên, việc xác định chính xác xác suất của sở thích con người là rất khó khăn, nếu không muốn nói là bất khả thi. Do đó, chúng ta cần tập trung vào việc tối ưu hóa mô hình thưởng, từ đó xây dựng một hàm mất mát để đào tạo mô hình thưởng được dựa trên dữ liệu sở thích của con người.

Cách DPO Cải Thiện PPO

DPO đem đến một cải cách lớn bằng cách không sử dụng mô hình thưởng trong quá trình căn chỉnh mô hình LLM, giúp giảm thiểu chi phí và nguồn lực cần thiết.

Điểm nổi bật của DPO là sử dụng một ràng buộc KL, qua đó cho phép tối ưu hóa chính sách một cách hiệu quả mà không cần tách biệt mô hình thưởng. Điều này giúp tạo ra một chính sách lý tưởng mà vẫn đảm bảo được việc tối ưu hóa dựa vào phản hồi.

Phương trình tối ưu hóa chính sách trong DPO trở nên đơn giản hơn và có khả năng tính toán nhanh chóng, giúp cho việc điều chỉnh mô hình trở nên linh hoạt và dễ dàng hơn rất nhiều.

Một trong những lợi thế quan trọng của DPO chính là nó giúp mô hình không chỉ học cách đưa ra phản hồi đúng mà còn biết cách tránh các phản hồi không mong muốn. Điều này được thể hiện rõ trong hàm mất mát của nó, khi mà cả phản hồi tốt và xấu đều được sử dụng trong quá trình huấn luyện.

Kết luận

DPO mang đến một phương pháp đột phá trong việc tối ưu hóa các mô hình LLM mà không cần đến mô hình thưởng riêng biệt. Điều này không chỉ tiết kiệm thời gian và công sức mà còn giúp mô hình có khả năng tự động thích ứng và cải thiện nhanh chóng, từ đó nâng cao hiệu suất trong các tác vụ liên quan đến ngôn ngữ.

Với DPO, bạn sẽ chỉ cần tập trung vào việc cung cấp dữ liệu chất lượng cao, và mô hình sẽ tự động học cách phân biệt giữa các phản hồi tốt và xấu, điều này giúp cải thiện hiệu suất tổng thể trong cách tương tác và phản hồi.
source: viblo