Blazer AI: Trợ Lý Thông Minh cho Sinh Viên
Giới Thiệu
Blazer AI là một chatbot được phát triển với trí tuệ nhân tạo, được thiết kế đặc biệt cho sinh viên và giảng viên của trường AB Tech. Mục tiêu của Blazer AI là giúp người dùng nhanh chóng tìm kiếm thông tin quan trọng trong trang web và sổ tay sinh viên của trường, giải quyết vấn đề phổ biến mà sinh viên và giảng viên thường gặp phải khi điều hướng các nguồn tài nguyên của trường.
Chỉ trong vòng 2 tuần, trong khi vẫn quản lý 5 lớp học, Blazer AI đã kết hợp tìm kiếm tương tự vector với định tuyến truy vấn thông minh để cung cấp câu trả lời phù hợp với ngữ cảnh. Hệ thống có thể xử lý cả những câu hỏi cụ thể về khóa học (chẳng hạn như "Cho tôi biết về CSC-151") và những câu hỏi chung (chẳng hạn như "Yêu cầu tốt nghiệp là gì?") bằng cách tự động phát hiện loại truy vấn và định tuyến chúng qua các cơ chế tìm kiếm thích hợp.
Danh Mục
Thành Công của Sinh Viên
Blazer AI trực tiếp hỗ trợ sự thành công của sinh viên bằng cách làm cho kiến thức của trường trở nên dễ tiếp cận hơn, giảm thời gian tìm kiếm thông tin học thuật, và cung cấp câu trả lời ngay lập tức cho các câu hỏi thường gặp của sinh viên về khóa học, chính sách và tài nguyên trong khuôn viên trường.
Nâng Cao Năng Lực Giáo Viên
Tương tự như thế, Blazer AI cũng góp phần nâng cao năng lực giảng viên. Các giảng viên thường gặp khó khăn trong việc tham khảo các phần cụ thể trong sổ tay về chính sách hoặc trang web cụ thể để trả lời câu hỏi, do trang web của trường có hơn 3000 trang. Giờ đây, họ có quyền truy cập ngay lập tức vào tất cả dữ liệu của trang web và sổ tay, giúp việc giảng dạy trở nên hiệu quả hơn.
Demo
Ứng dụng trực tiếp: Blazer AI
Mã nguồn:
- Frontend: Mã nguồn Frontend
- Backend: Mã nguồn Backend
Tính Năng Nổi Bật
- Định tuyến truy vấn thông minh giữa tìm kiếm vector và không vector.
- Phản hồi AI theo thời gian thực với trích dẫn nguồn.
- Thiết kế tương thích với di động, tối ưu cho sinh viên.
- Các câu hỏi mẫu phù hợp với các truy vấn của sinh viên.
Kiến Trúc Kỹ Thuật
- Frontend: Ứng dụng React được triển khai qua Heroku Static Buildpack.
- Backend: API Node.js/Express với cơ sở dữ liệu vector PostgreSQL.
- Tích hợp AI: Claude 3.5 Haiku qua Heroku Managed Inference.
Cách Sử Dụng Heroku AI
- Heroku Managed Inference: Tích hợp Claude 3.5 Haiku để xử lý ngôn ngữ tự nhiên và tạo phản hồi. Đặc điểm của AI được cấu hình với một hệ thống châm ngôn toàn diện, giới hạn câu trả lời chỉ ở các chủ đề liên quan đến trường học và đảm bảo có trích dẫn.
- Heroku Embedding Model API: Được sử dụng để tạo ra các vector nhúng từ các truy vấn của người dùng, cho phép tìm kiếm tương tự ngữ nghĩa thông qua cơ sở kiến thức.
- Tích hợp pgvector: Tận dụng PostgreSQL với phần mở rộng pgvector để lưu trữ và truy vấn các nhúng văn bản, cho phép hệ thống tìm kiếm thông tin phù hợp ngay cả khi không có các từ khóa chính xác.
Phối Hợp Đại Lý
Hệ thống sử dụng logic định tuyến thông minh:
- Phát hiện mã khóa học: Sử dụng regex để xác định các truy vấn khóa học cụ thể (ví dụ: "CSC-151") và định tuyến chúng đến tìm kiếm trực tiếp trong cơ sở dữ liệu.
- Tìm kiếm vector: Các truy vấn chung tạo ra nhúng và thực hiện tìm kiếm tương tự qua cơ sở dữ liệu vector.
- Tập hợp ngữ cảnh: Thông tin được truy xuất được cấu trúc với metadata nguồn và được đưa vào AI để tạo ra phản hồi ngôn ngữ tự nhiên.
Triển Khai Kỹ Thuật
Kiến Trúc Đa Đại Lý
- Router truy vấn: Phân tích các tin nhắn đầu vào để xác định chiến lược tìm kiếm.
- Đại lý tìm kiếm vector: Xử lý tìm kiếm tương tự ngữ nghĩa bằng cách sử dụng các nhúng.
- Đại lý tìm kiếm khóa học: Quản lý các truy vấn trực tiếp trong cơ sở dữ liệu cho các mã khóa học cụ thể.
- Generator phản hồi: Claude 3.5 Haiku xử lý ngữ cảnh và tạo ra các phản hồi thân thiện với sinh viên.
Công Nghệ Chính
- PERN Stack: PostgreSQL, Express.js, React, Node.js.
- Cơ sở dữ liệu vector: PostgreSQL với pgvector cho tìm kiếm tương tự.
- Tích hợp AI: Heroku Managed Inference với Claude 3.5 Haiku.
Thách Thức Kỹ Thuật Đã Giải Quyết
- Định tuyến truy vấn thông minh: Phát triển một phương pháp kết hợp giữa việc khớp mã khóa học chính xác và tìm kiếm vector ngữ nghĩa, tối ưu cho cả độ chính xác và thời gian phản hồi.
- Pipeline xử lý dữ liệu: Xây dựng các tiện ích để xử lý tài liệu PDF và nội dung trang web thành các khối cấu trúc, có thể tìm kiếm với các nhúng, xử lý các định dạng dữ liệu không đồng nhất của trường.
- Tối ưu hóa ngữ cảnh: Thực hiện tập hợp ngữ cảnh bao gồm metadata nguồn, yêu cầu tiên quyết, và đồng yêu cầu để cung cấp các phản hồi toàn diện trong khi vẫn ở trong giới hạn token.
- Thiết kế đáp ứng: Tạo giao diện tối ưu cho di động, nhận ra rằng hầu hết sinh viên truy cập thông tin qua điện thoại thông minh.
- Thời gian phát triển: Phát triển độc lập và hoàn thành trong 2 tuần trong khi vẫn duy trì khối lượng học đầy đủ, chứng minh khả năng quản lý dự án hiệu quả và thực hiện kỹ thuật tập trung.
- Nguồn dữ liệu: Tích hợp sổ tay sinh viên của AB Tech (PDF) và dữ liệu sơ đồ trang web, tạo ra một cơ sở kiến thức toàn diện bao gồm chính sách học thuật, thông tin khóa học và tài nguyên trong khuôn viên trường.
Triển Khai Tương Lai
Triển khai trong tương lai của ứng dụng này sẽ cho phép người dùng kéo và thả dữ liệu sơ đồ trang web hoặc dữ liệu PDF của sổ tay của họ, và ứng dụng sẽ phân tích và nhúng chúng cho họ. Điều này sẽ cho phép bất kỳ tổ chức nào có một đại lý RAG được triển khai và sẵn sàng trả lời bất kỳ câu hỏi nào liên quan đến tài nguyên của tổ chức của họ. Đây là tầm nhìn ban đầu cho ứng dụng này, nhưng do thời gian hạn chế và việc phát triển độc lập, tôi đã phải thu hẹp tham vọng một chút.
