*Lưu ý: Bài viết này là phiên dịch từ nội dung của DAIR.AI được đăng hàng tuần trên LinkedIn. Bạn có thể tham khảo thêm tại DAIR.AI trên LinkedIn.
1. Tự Động Thiết Kế Hệ Thống Tác Nhân
Tóm tắt:
- Giới thiệu về Meta Agent Search, một hệ thống siêu việt có khả năng tự động lập trình và thử nghiệm các tác nhân mới.
- Dựa vào kho lưu trữ phát hiện trước đó để học các hệ thống tác nhân, bao gồm nhận diện lời nhắc, sử dụng công cụ và luồng điều khiển.
- Tập trung vào ba thành phần chính: không gian tìm kiếm, thuật toán tìm kiếm và hàm đánh giá.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
2. Cắt Tỉa và Chưng Cất LLM Trong Thực Tế
Tóm tắt:
- Trình bày các phương pháp hiệu quả để nén mô hình Llama 3.1 và Mistral NeMo.
- Sử dụng cắt tỉa và chưng cất để tạo ra các mô hình với 4B và 8B tham số.
- Tinh chỉnh mô hình giáo viên trên bộ dữ liệu nhằm nâng cao chất lượng chưng cất.
- Tạo ra một mô hình 8B hiệu suất cao, vượt trội hơn so với các mô hình tương tự về kích thước.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
3. Thuật Toán Bandit Gaussian Process Vizier
Tóm tắt:
- Giới thiệu Vizier, một thuật toán tối ưu hóa dựa trên Gaussian process bandit.
- Được Google áp dụng trong hàng triệu ca tối ưu hóa và nghiên cứu.
- Cung cấp triển khai Python mã nguồn mở với kết quả đánh giá hiệu suất rõ ràng.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
4. Mô Hình Ngôn Ngữ Trên Dữ Liệu Bảng
Tóm tắt:
- Khảo sát các kỹ thuật mô hình hóa ngôn ngữ áp dụng cho dữ liệu bảng.
- Bao gồm các chủ đề như phân loại cấu trúc dữ liệu, bộ dữ liệu, kỹ thuật mô hình, và thách thức trong xử lý dữ liệu.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
5. Tăng Cường Độ Bền Trong LLM
Tóm tắt:
- Đề xuất kỹ thuật nhắc nhở hai giai đoạn nhằm loại bỏ thông tin không liên quan.
- Giúp tăng cường độ ổn định của mô hình và cải thiện hiệu suất suy luận.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
6. Tổng Quan Về Các Phương Pháp GraphRAG
Tóm tắt:
- Tập trung vào các kỹ thuật áp dụng cho quy trình GraphRAG (chỉ mục, truy vấn và tạo dựa trên đồ thị).
- Khám phá các tác vụ, ứng dụng và trường hợp sử dụng trong công nghiệp.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
7. MagicDec
Tóm tắt:
- Chứng minh cách giải mã dự đoán có thể tăng cường năng suất trước thời gian, giảm độ trễ và duy trì độ chính xác trong tạo ngữ cảnh dài.
- Sử dụng giải mã dự đoán cho các chuỗi dài, ngay cả với kích thước lô lớn.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
8. Tạo Văn Bản Có Thể Điều Khiển Trong LLM
Tóm tắt:
- Khảo sát các phương pháp tạo văn bản có thể kiểm soát trong LLM.
- Thảo luận về các khía cạnh như an toàn, tính nhất quán, phong cách và tính hữu ích của văn bản được tạo.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
9. PEDAL
Tóm tắt:
- Sử dụng tự tập hợp lai nhằm cải thiện hiệu suất của LLM.
- Tạo ra nhiều phản hồi ứng viên và tổng hợp chúng bằng LLM.
- Đạt được độ chính xác cao mà chi phí thấp.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
10. Những Thách Thức và Phản Ứng Trong Thực Hành LLM
Tóm tắt:
- Tổng hợp các câu hỏi quan trọng và câu trả lời sâu sắc liên quan đến LLM.
- Phân loại câu hỏi theo các chủ đề như cơ sở hạ tầng, kiến trúc phần mềm, dữ liệu, ứng dụng và khoa học thần kinh.
Liên kết:
- Bài báo: [Link to paper]
- Tweet: [Link to tweet]
source: viblo
