Lưu ý: Đây là một bài dịch từ bài viết của DAIR.AI được đăng hằng tuần trên LinkedIn. Bạn có thể tìm thấy DAIR.AI tại đây: https://www.linkedin.com/company/dair-ai/
1. SAM 2
Tóm tắt:
- SAM 2 là một mô hình thống nhất mở giúp thực hiện phân đoạn đối tượng trong hình ảnh và video theo thời gian thực, có khả năng áp dụng cho các nội dung chưa được thấy trước đây mà không cần điều chỉnh tùy chỉnh.
- Một cơ chế bộ nhớ đã được giới thiệu để lưu trữ thông tin về đối tượng và các tương tác trước đó, cho phép dự đoán mặt nạ một cách chính xác trong video.
- Mô-đun bộ nhớ giúp SAM 2 xử lý video dài một cách tự do theo thời gian thực.
- SAM 2 đã cho thấy những kết quả vượt trội so với các phương pháp trước đây về phân đoạn video tương tác trên 17 bộ dữ liệu video không được huấn luyện trước, trong khi chỉ cần ít hơn ba lần tương tác của con người.
(paper | tweet)
2. Hạn Chế Cấu Trúc Tạo Ra Ý Tưởng
Tóm tắt:
- Nghiên cứu này tập trung vào cách việc tạo ra cấu trúc có thể ảnh hưởng đến khả năng suy luận và hiểu biết của các mô hình ngôn ngữ lớn (LLM).
- Kết quả cho thấy rằng khả năng suy luận của LLM giảm đáng kể khi áp dụng các hạn chế định dạng so với các phản hồi không có cấu trúc.
- Hiệu ứng suy giảm này càng được tăng cường khi áp dụng các yêu cầu định dạng nghiêm ngặt hơn cho các tác vụ suy luận.
(paper | tweet)
3. Từ LLMs Đến Các Tác Nhân Dựa Trên LLM Trong Kỹ Thuật Phần Mềm
Tóm tắt:
- Bài viết này là một khảo sát về các thực tiễn hiện tại và giải pháp cho các tác nhân dựa trên LLM trong lĩnh vực kỹ thuật phần mềm.
- Các chủ đề quan trọng được đề cập bao gồm kỹ thuật yêu cầu, tạo mã, tạo thử nghiệm và ra quyết định tự động.
- Bài viết cũng đề cập đến các điểm chuẩn, chỉ số và mô hình được áp dụng trong các ứng dụng kỹ thuật phần mềm khác nhau.
(paper | tweet)
4. Giải Thích Mô Hình Transformer
Tóm tắt:
- Giới thiệu một công cụ tương tác mã nguồn mở giúp người dùng hiểu rõ hơn về cách thức hoạt động của mô hình Transformer.
- Công cụ này giúp chạy một phiên bản GPT-2 cục bộ trong trình duyệt của người dùng, cho phép thử nghiệm với dữ liệu đầu vào cá nhân.
(paper | tweet)
5. Nâng Cao LLMs Để Sử Dụng Trong RAG
Tóm tắt:
- RAGFoundry là một khung công cụ mã nguồn mở dành cho các LLM được cải tiến cho các ứng dụng sử dụng RAG.
- Công cụ này hỗ trợ việc tạo dữ liệu, huấn luyện, suy diễn và đánh giá.
- Một ứng dụng hữu ích là tạo các bộ dữ liệu được mở rộng nhằm điều chỉnh và đánh giá LLM trong các cài đặt RAG.
(paper | tweet)
6. Tổng Hợp Dữ Liệu Text-to-SQL
Tóm tắt:
- Đề xuất dữ liệu tổng hợp nhằm xây dựng một mô hình text-to-SQL đặc biệt mang tên SENSE.
- Dữ liệu tổng hợp từ các mô hình mạnh mẽ giúp gia tăng sự đa dạng, trong khi dữ liệu sai lệch có giá trị từ các mô hình yếu hơn kết hợp với trình thực thi để học từ phản hồi thực thi.
- SENSE hiện đang đạt được kết quả tốt nhất trong ngành trên các tiêu chuẩn SPIDER và BIRD, giúp thu hẹp khoảng cách về hiệu suất giữa các mô hình mã nguồn mở và các phương pháp sử dụng mô hình mã nguồn đóng.
(paper | tweet)
7. Kỹ Thuật Tạo Nhắc Nhở Cuộc Trò Chuyện
Tóm tắt:
- Đề xuất một phương pháp giúp người dùng tạo ra các nhắc nhở cá nhân hóa bằng cách định hình đầu ra ưu tiên thông qua các tương tác.
- Phương pháp này gồm hai giai đoạn: 1) Hướng dẫn ban đầu được định hình bởi mô hình từ dữ liệu không được gán nhãn do người dùng cung cấp, và 2) Mô hình chia sẻ đầu ra rồi người dùng cung cấp phản hồi để tinh chỉnh.
- Quá trình lặp lại này dẫn đến một nhắc nhở tối ưu hơn, cá nhân hóa tốt hơn cho nhiệm vụ mong muốn.
(paper | tweet)
8. Đánh Giá Tự Học
Tóm tắt:
- Phương pháp này cải thiện các đánh giá dựa trên mô hình thông qua việc sử dụng dữ liệu huấn luyện tổng hợp.
- Đầu tiên, nó tạo ra các đầu ra tương phản (các phản hồi tốt và xấu của mô hình) và huấn luyện LLM-as-a-Judge để sản xuất các dấu vết suy luận và phán quyết cuối cùng.
- Sơ đồ tự cải thiện giúp lặp lại quá trình huấn luyện qua các dự đoán được cải thiện.
(paper | tweet)
9. RAGEval
Tóm tắt:
- Đề xuất một khung đơn giản để tự động tạo bộ dữ liệu đánh giá nhằm đánh giá việc sử dụng kiến thức của các LLM khác nhau trong các kịch bản đa dạng.
- Khung này xác định một lược đồ từ các tài liệu hạt giống và sau đó tạo ra các tài liệu đa dạng dẫn đến các cặp câu hỏi-trả lời.
(paper | tweet)
10. Khảo Sát Mô Hình Mamba
Tóm tắt:
- Cung cấp một đánh giá hệ thống về các mô hình dựa trên Mamba trong nhiều miền và nhiệm vụ khác nhau.
- Tập trung vào những tiến bộ của các mô hình này, các kỹ thuật để điều chỉnh Mamba với dữ liệu đa dạng, và các ứng dụng mà Mamba nổi bật, cũng như các hướng nghiên cứu đầy hứa hẹn.
(paper | tweet)
source: viblo
