Lưu ý: Bài viết này là bản dịch từ bài báo hàng tuần của DAIR.AI trên LinkedIn. Bạn có thể tham khảo thêm tại đây: DAIR.AI trên LinkedIn
1. Llama 3.1
- Llama 3.1 là một bộ sưu tập các mô hình ngôn ngữ lớn (LLM) với các phiên bản 8B, 70B và 405B tham số.
- Mô hình này hỗ trợ tám ngôn ngữ và mở rộng cửa sổ ngữ cảnh lên tới 128K mã, mang lại khả năng lý luận và sử dụng công cụ mạnh mẽ.
- Trong một số trường hợp, Llama 3.1 vượt trội hơn so với các mô hình tiên tiến hiện có về kiến thức chung và khả năng lý luận toán học.
(Bài báo | Tweet)
2. AlphaProof & Alpha Geometry 2
- AlphaProof đã giải quyết 4 trong số 6 bài toán trong kỳ thi IMO năm nay, tương đương với điểm huy chương bạc.
- Mô hình Gemini hỗ trợ việc chuyển đổi các câu lệnh bài toán ngôn ngữ tự nhiên thành các cấu trúc chính thức, đi kèm với một mạng lưới tìm kiếm giải pháp liên tục được tinh chỉnh qua AlphaZero.
- AlphaGeometry 2, với hệ thống lai thần kinh biểu tượng, đã thành công trong việc chứng minh bài toán hình học, nhờ vào khối lượng dữ liệu tổng hợp khổng lồ.
(Bài báo | Tweet)
3. So Sánh RAG Và Long-Context LLMs
- Nghiên cứu so sánh giữa RAG và LLM dài ngữ cảnh cho thấy LLM dài ngữ cảnh cho kết quả vượt trội hơn về hiệu suất trong khi RAG lại tiết kiệm chi phí đáng kể.
- Đề xuất mô hình Self-Route giúp định hướng truy vấn đến RAG hoặc LLM dài ngữ cảnh, từ đó giảm thiểu chi phí tính toán mà không làm giảm hiệu suất.
(Bài báo | Tweet)
4. OpenDevin
- OpenDevin là nền tảng cho các tác nhân đa năng tương tác với thế giới thông qua phần mềm, với các tính năng như:
- Cơ chế tương tác giữa các tác nhân và môi trường.
- Môi trường bao gồm hệ điều hành sandbox và trình duyệt web.
- Giao diện để tạo và thực thi mã, hỗ trợ nhiều tác nhân cùng lúc.
- Khung đánh giá hiệu suất.
(Bài báo | Tweet)
5. LazyLLM
- LazyLLM giới thiệu phương pháp cắt tỉa mã động giúp suy luận LLM dài ngữ cảnh hiệu quả hơn.
- Phương pháp này có thể tăng tốc quá trình dự đoán của mô hình Llama 2 7B lên 2,34 lần mà vẫn giữ được độ chính xác cao.
- Hệ thống tính toán chọn lọc cho những mã quan trọng, cho phép LLM lựa chọn các subset mã khác nhau tùy theo ngữ cảnh.
(Bài báo | Tweet)
6. Tinh Chỉnh LLM Để Tự Cải Thiện
- Nghiên cứu cho thấy khả năng tinh chỉnh LLM qua nhiều lượt sẽ cải thiện phản hồi của chúng.
- LLM có thể phát hiện và sửa chữa lỗi của chính mình qua từng lần lặp, giúp cải thiện đáng kể trong các tác vụ lý luận.
- Kết quả cho thấy các mô hình 7B đạt được các cải tiến đáng kể mà chưa từng thấy ở các mô hình độc quyền.
(Bài báo | Tweet)
7. Khảo Sát Text-to-SQL
- Cung cấp cái nhìn tổng quát về việc sử dụng LLM trong các tác vụ chuyển đổi văn bản thành SQL, bao gồm các kỹ thuật điều chỉnh prompt, phương pháp tinh chỉnh và điểm chuẩn.
(Bài báo | Tweet)
8. MINT-1T
- Bộ dữ liệu MINT-1T là một nguồn mở cung cấp 1 nghìn tỷ mã cùng với 3,4 tỷ hình ảnh, bao gồm nhiều định dạng mới như PDF và bài báo từ ArXiv.
(Bài báo | Tweet)
9. Sụp Đổ Mô Hình Trên Dữ Liệu Tự Nhiên
- Nghiên cứu khám phá những tác động của việc đào tạo mô hình trên dữ liệu nhân tạo, phát hiện lỗi không thể đảo ngược có thể xảy ra khi sử dụng nội dung do mô hình tạo ra.
- Hiện tượng sụp đổ mô hình ảnh hưởng đến LLM, VAE và GMM, và có khả năng xảy ra trên các mô hình lớn hơn trong tương lai.
(Bài báo | Tweet)
10. Giảm Thiểu Ảo Giác Qua Ràng Buộc Tạo Ra
- Đề xuất phương pháp không cần huấn luyện để giảm thiểu hiện tượng ảo giác trong LLM.
- Nghiên cứu mở rộng vectơ đọc cho phép kiểm soát tốt hơn việc tạo ra trong quá trình giải mã, áp dụng các cơ chế bộ nhớ để giảm thiểu ảo giác một cách hiệu quả.
(Bài báo | Tweet)
source: viblo
