Giới Thiệu Về PaLM
PaLM (Pathways Language Model) là một mô hình ngôn ngữ lớn (LLM) dựa trên kiến trúc Transformer, thiết kế đột phá đứng sau hầu hết các mô hình LLM hiện đại. Điều làm cho PaLM trở nên đặc biệt ngay từ lúc ra mắt là quy mô khổng lồ và hiệu quả trong quá trình huấn luyện. Mô hình này được xây dựng trên nền tảng Pathways của Google, một kiến trúc AI thế hệ tiếp theo được thiết kế để huấn luyện một mô hình duy nhất có khả năng thực hiện hàng triệu nhiệm vụ khác nhau.
Về cơ bản, PaLM hoạt động bằng cách dự đoán từ tiếp theo trong một chuỗi, một khái niệm đơn giản nhưng khi được thực hiện trên một tập dữ liệu khổng lồ với số lượng tham số lớn, dẫn đến sự hiểu biết sâu sắc về ngôn ngữ, logic và thậm chí một số lý luận thông thường. 🧠
Các Đổi Mới và Tính Năng Chính
Sự thành công của PaLM được thúc đẩy bởi một số yếu tố chính đã đẩy ranh giới của những gì có thể xảy ra với các mô hình ngôn ngữ.
Quy Mô Khổng Lồ
Phiên bản lớn nhất của PaLM ban đầu có 540 tỷ tham số ($5.4 \times 10^{11}$). Quy mô khổng lồ này cho phép mô hình nắm bắt nhiều sắc thái và sự phức tạp trong ngôn ngữ hơn so với các phiên bản trước. Nó được huấn luyện trên một tập hợp dữ liệu chất lượng cao với 780 tỷ token, bao gồm các trang web, sách, Wikipedia và mã nguồn.
Kiến Trúc Pathways
Trước khi PaLM ra đời, việc huấn luyện một mô hình có quy mô như vậy là một thách thức to lớn. PaLM là mô hình đầu tiên được huấn luyện hiệu quả trên hệ thống Pathways của Google. Hệ thống này cho phép quá trình huấn luyện được mở rộng trên 6,144 chip TPU v4, một thành tựu kỹ thuật lớn. Pathways đã cho phép một phương pháp tiếp cận hiệu quả và có thể mở rộng để quản lý các tính toán huấn luyện quy mô lớn.
Gợi Ý Chuỗi Tư Duy (CoT)
Mặc dù không phải do đội ngũ PaLM phát minh, nhưng hiệu suất của mô hình đã làm nổi bật sức mạnh của gợi ý CoT. Kỹ thuật này liên quan đến việc yêu cầu mô hình không chỉ đưa ra câu trả lời, mà còn phải trình bày quá trình suy luận của nó bằng cách cung cấp một quá trình giải thích từng bước. Điều này cải thiện đáng kể hiệu suất của nó trong các nhiệm vụ yêu cầu lý luận số học, lý luận thông thường và lý luận biểu tượng.
- Gợi Ý Chuẩn: "Căn tin có 23 quả táo. Nếu họ sử dụng 20 quả cho bữa trưa và mua thêm 6 quả, thì họ có bao nhiêu quả táo?"
- Gợi Ý Chuỗi Tư Duy: "Căn tin có 23 quả táo. Họ đã sử dụng 20 quả cho bữa trưa, do đó họ còn lại 23 - 20 = 3. Sau đó họ đã mua thêm 6 quả, vậy họ có 3 + 6 = 9. Câu trả lời là 9."
Hiệu Suất Đột Phá
PaLM đã đạt được kết quả tốt nhất trong nhiều bài kiểm tra xử lý ngôn ngữ tự nhiên (NLP), thường chỉ với few-shot learning (chỉ cần một vài ví dụ). Nó là LLM đầu tiên thể hiện hiệu suất tương đương con người trên bài kiểm tra BIG-bench đầy thách thức. Các khả năng của nó bao gồm hiểu ngôn ngữ nâng cao, sinh mã, dịch thuật và lý luận logic.
Sự Tiến Hóa Của Gia Đình PaLM
Mô hình PaLM ban đầu chỉ là khởi đầu. Google đã cải tiến kiến trúc này, tạo ra một gia đình các mô hình với hiệu quả và khả năng cải tiến.
PaLM (2022)
Mô hình 540 tỷ tham số ban đầu đã thiết lập tiêu chuẩn mới về hiệu suất và quy mô. Nó tập trung vào việc chứng minh khả năng mà mô hình Transformer có thể đạt được khi được mở rộng đáng kể.
PaLM 2 (2023)
Người kế nhiệm của PaLM, PaLM 2 là một mô hình mạnh mẽ và hiệu quả hơn. Mặc dù nhỏ hơn so với PaLM ban đầu, nó lại mang lại hiệu suất vượt trội nhờ vào kiến trúc mô hình được cải tiến, tập dữ liệu huấn luyện tốt hơn (đa ngôn ngữ và đa dạng hơn) và các kỹ thuật tối ưu hóa nâng cao. PaLM 2 đã cung cấp sức mạnh cho nhiều sản phẩm của Google, bao gồm các phiên bản đầu tiên của Bard. Nó được phát hành với nhiều kích thước để có thể triển khai trên nhiều thiết bị:
- Gecko 🦎: Nhỏ nhất, được thiết kế cho các ứng dụng di động.
- Otter 🦦: Mô hình trung bình cho nhiều nhiệm vụ khác nhau.
- Bison 🦬: Phiên bản mạnh mẽ thường được sử dụng cho các API backend.
- Unicorn 🦄: Mô hình PaLM 2 lớn nhất và mạnh mẽ nhất.
Các Mô Hình PaLM Chuyên Biệt
Google cũng đã tinh chỉnh PaLM cho các lĩnh vực cụ thể, chứng minh tính linh hoạt của kiến trúc cơ sở:
- Med-PaLM & Med-PaLM 2: Phiên bản được tinh chỉnh trên dữ liệu y tế. Med-PaLM 2 là hệ thống AI đầu tiên đạt được hiệu suất "chuyên gia" trên các câu hỏi theo kiểu Kỳ thi Cấp phép Y tế Hoa Kỳ (USMLE), với điểm số trên 85%. 🩺
- Sec-PaLM: Phiên bản tinh chỉnh trên dữ liệu an ninh để giúp phân tích và xác định các mối đe dọa tiềm năng trong mã nguồn. 🛡️
Di Sản và Chuyển Giao Sang Gemini
Gia đình PaLM là một chương quan trọng trong sự phát triển của AI tại Google. Nó đã chứng minh rằng việc mở rộng các mô hình Transformer dày đặc, kết hợp với dữ liệu chất lượng cao và hạ tầng huấn luyện sáng tạo như Pathways, có thể mở khóa những khả năng chưa từng có. Những bài học thu được từ việc huấn luyện, tối ưu hóa và đánh giá các mô hình PaLM—đặc biệt là những hiểu biết từ gợi ý chuỗi tư duy và những thách thức trong việc mở rộng—đã trực tiếp thông báo cho kiến trúc và chiến lược huấn luyện cho gia đình Gemini.
Nói một cách tổng quát, PaLM là phiên bản cuối cùng và mạnh mẽ nhất của một thế hệ mô hình ngôn ngữ thuần túy, chuẩn bị cho khả năng đa phương tiện và lý luận nâng cao hơn của Gemini. Nó đứng vững như một thành tựu nổi bật trong lịch sử trí tuệ nhân tạo.
