👋 Giới thiệu
Hãy tưởng tượng bạn có nhu cầu xây dựng một ứng dụng LLM riêng tư, bạn muốn kiểm soát nơi lưu trữ dữ liệu, cách người dùng đăng nhập và cách triển khai ứng dụng của bạn. Cùng với những yêu cầu đó, bạn phải tích hợp nó vào stack hiện tại của mình, điều này càng hạn chế lựa chọn của bạn. Chưa bao giờ việc xây dựng một ứng dụng LLM toàn diện riêng tư lại dễ dàng như bây giờ. Trong bài viết này, chúng ta sẽ xem xét một số giải pháp khác nhau, bao gồm những gì chúng tôi đang thực hiện tại Autonomk.
📝 Autonomk là gì?
Autonomk là một bộ sưu tập các ứng dụng frontend: web, mobile (sắp ra mắt) và desktop (sắp ra mắt), cùng với một sơ đồ OpenAPI cho phép bạn xây dựng API của riêng mình bằng bất kỳ công nghệ nào bạn muốn và triển khai theo cách bạn muốn. Tóm lại, Autonomk không cung cấp ứng dụng toàn diện, thay vào đó chúng tôi cung cấp frontend và sơ đồ OpenAPI về cách xây dựng API - bạn sẽ xây dựng backend.
Autonomk được xây dựng với triết lý cốt lõi, Dữ liệu của bạn. AI của bạn. Điều này có nghĩa là chúng tôi cam kết theo những giá trị sau:
- Công nghệ mã nguồn mở
- Không bị khóa vào nhà cung cấp
- Kiểm soát toàn bộ backend stack của bạn
- Kiến trúc client-server
Frontend
Hãy truy cập Autonomk và tải xuống client AI Autonomk. Đây là một bộ sưu tập các tệp tĩnh đã được xây dựng cho ứng dụng web. Cách tiếp cận này không yêu cầu bạn phải chạy bất kỳ công cụ phát triển frontend nào trên máy tính của mình. Nó chỉ đơn giản là một bộ sưu tập Javascript, HTML và CSS được triển khai từ máy chủ web của bạn.
Ứng dụng web là một ứng dụng trang đơn (SPA) được xây dựng bằng React và hỗ trợ định tuyến phía client. Điều này có nghĩa là yêu cầu cấu hình tối thiểu trên máy chủ web của bạn.
Chỉ cần cấu hình một endpoint trên máy chủ của bạn để trả về ứng dụng web. Điều này cũng có thể dễ dàng được thực hiện bằng cách sử dụng một CDN như Netlify hoặc Vercel nếu bạn muốn.
Backend
Tại trang github của Autonomk, tải xuống mã khởi động nhanh, hiện tại có sẵn bằng Java, C# và Python. Làm theo hướng dẫn trên trang README. Tất cả những gì bạn cần làm là triển khai các tệp tĩnh của client AI Autonomk từ backend của bạn. Không cần đăng ký, không cần docker, không có gì phức tạp.
🔥 Client AI Autonomk
Tùy chỉnh giao diện
Giúp client AI Autonomk của bạn có giao diện riêng. Autonomk sử dụng tweakcn. Việc tùy chỉnh giao diện rất đơn giản, chỉ cần tạo css từ trình tạo tweakcn và sao chép nó vào thư mục public/styles/theme.css. Một hướng dẫn phong cách toàn diện hơn hiện đang được phát triển, sẽ giúp bạn kiểm soát nhiều hơn về css của mình.
Cấu hình
Hiện tại, client AI Autonomk cung cấp một số cấu hình, có thể tìm thấy trong tệp public/scripts/env.js trong client AI Autonomk.
| Biến | Mô tả |
|---|---|
| HOST | Endpoint API RESTful mà client AI giao tiếp với |
| TITLE | Tiêu đề của client AI, sử dụng trên các trang đăng nhập và trong tài liệu html |
| DEFAULT_THEME | Chủ đề mặc định, có thể là sáng hoặc tối |
🛤️ Lộ trình phát triển
Chúng tôi có một số sản phẩm và tính năng thú vị sắp ra mắt, bao gồm:
- Bảng điều khiển quản trị
- Ứng dụng desktop
- Ứng dụng mobile
- Hướng dẫn phong cách
- Hỗ trợ SSE và websocket
- Hỗ trợ tải lên đa phương thức, bao gồm hình ảnh và video
🧱 So sánh Autonomk với các giải pháp khác
Có 3 giải pháp tập trung vào LLM để xây dựng ứng dụng toàn diện ngoài Autonomk.
-
Open WebUI là một giải pháp mã nguồn mở không bị khóa vào nhà cung cấp. Tuy nhiên, hiện tại nó thiếu khả năng tùy chỉnh giao diện ứng dụng dễ dàng. Nó cũng yêu cầu các loại công nghệ cụ thể, điều này có thể hạn chế. Nếu bạn hài lòng với mọi thứ mà Open WebUI cung cấp, tôi khuyên bạn nên chọn nó hơn Autonomk.
-
LM Studio không phải là một giải pháp toàn diện như Open WebUI, mà là một ứng dụng desktop. Nó tuyệt vời cho việc làm việc cục bộ trên máy tính của bạn.
-
Gradio là một công cụ xây dựng ứng dụng LLM dựa trên Python. Nó cung cấp nhiều lợi ích bao gồm tùy chỉnh giao diện, tự lưu trữ và không bị khóa vào nhà cung cấp. Tuy nhiên, điều này khác với cách Autonomk hoạt động. Trong khi Autonomk cung cấp ứng dụng web, Gradio yêu cầu bạn tự xây dựng. Gradio cũng yêu cầu bạn thiết kế API của riêng mình, trong khi Autonomk cung cấp cho bạn một sơ đồ OpenAPI về cách thực hiện điều đó. Nếu bạn muốn xây dựng ứng dụng web LLM của riêng mình và sẵn sàng sử dụng Python, tôi khuyên bạn nên chọn Gradio hơn Autonomk và Open WebUI.
| Công nghệ | Không phụ thuộc công nghệ | Tùy chỉnh giao diện | Thời gian thực | Không bị khóa vào nhà cung cấp | OpenAPI | Bảng điều khiển quản trị | Tự lưu trữ | Chuyên biệt cho AI |
|---|---|---|---|---|---|---|---|---|
| Autonomk | ✅ | ✅ | ✅ | ✅ | ✅ | 🚧 | ✅ | ✅ |
| Open WebUI | ❌ | ✅ | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ |
| LM Studio | ✅ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ | ✅ |
| Gradio | ❌ | ✅ | ✅ | ✅ | ❌ | ❌ | ✅ | ✅ |
| Streamlit | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌ |
| Dash | ❌ | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌ |
| Shiny | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌ |
| Retool | ❌ | ✅ | ✅ | ❌ | ❌ | ❌ | ✅ | ❌ |
✅ = hỗ trợ
❌ = không hỗ trợ
🚧 = đang phát triển
Những giải pháp còn lại trong bảng trên, Streamlit, Dash, Shiny và Retool, không được thiết kế dành riêng cho các ứng dụng LLM, nhưng có thể được sử dụng để xây dựng các ứng dụng LLM riêng tư.
🏁 Kết luận
Vậy tôi nên chọn gì?
-
Một ứng dụng desktop để chạy LLM của bạn cục bộ: LM Studio
-
Một ứng dụng toàn diện được xây dựng bằng Python và Docker: Open WebUI
-
Bạn muốn xây dựng frontend của riêng mình với Python và backend của riêng mình: Gradio
-
Bạn muốn frontend đã được xây dựng sẵn và muốn xây dựng backend của riêng mình: Autonomk
Nếu bạn đã đọc đến đây, cảm ơn bạn đã dành thời gian tìm hiểu về những gì Autonomk cung cấp và cách nó khác biệt so với các giải pháp khác. Nếu bạn muốn biết thêm thông tin, hãy gửi email cho chúng tôi tại hello@autonomk.com hoặc theo dõi chúng tôi trên GitHub.
