Truy Cập Mô Hình Ollama Cục Bộ Từ Xa: Đơn Giản Với Port 11434

Chạy các mô hình AI cục bộ với Ollama giúp bạn kiểm soát hoàn toàn dữ liệu và suy diễn của mình. Nhưng làm thế nào nếu bạn cần truy cập các mô hình này từ xa? Dù bạn đang cộng tác với các thành viên trong nhóm, thử nghiệm ứng dụng từ các vị trí khác nhau hay tích hợp AI vào các ứng dụng web, việc chuyển tiếp port mặc định 11434 của Ollama là cần thiết để cho phép truy cập trực tuyến.

Hướng dẫn này sẽ hướng dẫn bạn cách chuyển tiếp port Ollama một cách an toàn, cho phép bạn công khai các mô hình AI cục bộ của mình trực tuyến mà không làm ảnh hưởng đến quyền riêng tư hay hiệu suất.

Tại Sao Phải Chuyển Tiếp Port 11434 Của Ollama?

Theo mặc định, Ollama liên kết với port 11434 trên localhost, có nghĩa là nó chỉ có thể truy cập trên máy tính của bạn. Cấu hình này rất an toàn nhưng hạn chế khả năng sử dụng từ xa. Việc chuyển tiếp port này cho phép bạn:

• Truy cập các mô hình từ bất kỳ đâu có kết nối internet
• Tích hợp AI vào các ứng dụng web trên các máy chủ khác
• Chia sẻ mô hình với các thành viên trong nhóm mà không cần cấu hình VPN phức tạp
• Thử nghiệm ứng dụng từ xa trước khi sản xuất
• Cho phép các ứng dụng di động sử dụng các mô hình AI cục bộ của bạn

So với việc triển khai trên đám mây, việc chuyển tiếp port không có chi phí đám mây, hoàn toàn bảo mật dữ liệu, kiểm soát mô hình toàn diện và triển khai tức thì mà không cần cấu hình phức tạp.

Các Điều Kiện Cần Thiết

Trước khi chuyển tiếp, hãy đảm bảo rằng Ollama đã được cài đặt và sẵn sàng:

1. Cài đặt Ollama: Thực hiện theo hướng dẫn cho hệ điều hành của bạn.

   bash Copy

   ollama --version

   Xác nhận cài đặt.

2. Tải Mô Hình: Thử nghiệm với một mô hình nhỏ trước:

   bash Copy

   ollama run qwen:0.5b

   Đối với các mô hình lớn hơn hoặc đa phương thức:

   bash Copy

   ollama run llama3:8b
   ollama run llava:13b

Hướng Dẫn Từng Bước Để Chuyển Tiếp Port 11434

Bước 1: Khởi Động Máy Chủ Ollama

Đảm bảo Ollama đang chạy trên port mặc định:

ollama serve

Giữ cửa sổ terminal này mở; nó cần xử lý các yêu cầu API.

Bước 2: Tạo Tunneling An Toàn Với Pinggy

Sử dụng Pinggy để chuyển tiếp port 11434 một cách an toàn:

ssh -p 443 -R0:localhost:11434 -t qr@free.pinggy.io "u:Host:localhost:11434"

Phân Tích Lệnh:

• -p 443: Sử dụng port HTTPS để tương thích tốt hơn với tường lửa
• -R0:localhost:11434: Ánh xạ port cục bộ của bạn 11434 đến một port từ xa
• qr@free.pinggy.io: Máy chủ tunneling của Pinggy
• u:Host:localhost:11434: Kết nối tunneling đến máy chủ Ollama của bạn

Bước 3: Lấy URL Công Khai Của Bạn

Sau khi chạy lệnh, Pinggy cung cấp một URL công khai như:

https://abc123.pinggy.link

URL này chuyển tiếp tất cả các yêu cầu đến máy chủ Ollama cục bộ của bạn.

Kiểm Tra Truy Cập Từ Xa

Xác minh port đã chuyển tiếp:

Kiểm Tra Trình Duyệt: Mở URL Pinggy trong trình duyệt; bạn sẽ thấy Ollama phản hồi.

Kiểm Tra Dòng Lệnh:

curl https://abc123.pinggy.link/api/version
curl https://abc123.pinggy.link/api/tags

Kiểm Tra Suy Diễn Mô Hình:

curl -X POST https://abc123.pinggy.link/api/generate \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen:0.5b", "prompt": "Hello, world!", "stream": false}'

Tích Hợp Với Các Ứng Dụng

Để sử dụng API Ollama đã chuyển tiếp trong các ứng dụng của bạn:

1. Clone repository thử nghiệm: RunOllamaApi
2. Cài đặt các phụ thuộc: npm install
3. Cập nhật URL API trong mã của bạn với URL Pinggy của bạn
4. Chạy thử nghiệm: node main.js

Điều này cung cấp một ví dụ đầy đủ về việc tích hợp và thử nghiệm API đã chuyển tiếp của bạn với các ứng dụng JavaScript.

Thêm Open WebUI

Để có giao diện giống như ChatGPT, bạn có thể thiết lập Open WebUI:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Chuyển tiếp port WebUI:

ssh -p 443 -R0:localhost:3000 free.pinggy.io

Truy cập giao diện bằng URL đã tạo và cấu hình nó để sử dụng API Ollama đã chuyển tiếp của bạn.

Tại Sao Nên Thêm Open WebUI?

• Giao diện thân thiện giống như ChatGPT
• Tải lên tài liệu cho các truy vấn dựa trên RAG
• Quản lý nhiều mô hình một cách dễ dàng
• Chia sẻ giao diện với các thành viên trong nhóm

Kết Luận

Chuyển tiếp port 11434 của Ollama mở ra khả năng truy cập từ xa cho các mô hình AI cục bộ của bạn trong khi vẫn bảo vệ quyền riêng tư dữ liệu. Sử dụng tunneling an toàn của Pinggy, bạn có thể có khả năng truy cập giống như đám mây mà không có chi phí đám mây. Kết hợp với Open WebUI, bạn có thể tương tác với các mô hình của mình trong một giao diện thân thiện, giúp phát triển, thử nghiệm và cộng tác trở nên dễ dàng hơn rất nhiều.

Luôn thực hiện các biện pháp bảo mật thích hợp khi công khai các dịch vụ cục bộ trực tuyến, đặc biệt là cho việc sử dụng trong sản xuất.

Câu Hỏi Thường Gặp (FAQ)

1. Tôi có thể sử dụng Ollama trên các hệ điều hành nào?
Ollama hỗ trợ nhiều hệ điều hành như Windows, macOS và Linux. Bạn có thể tìm thấy hướng dẫn cài đặt trên trang chính thức của họ.

2. Có rủi ro nào khi chuyển tiếp port không?
Có, việc chuyển tiếp port có thể làm tăng nguy cơ bảo mật nếu không được thực hiện đúng cách. Đảm bảo sử dụng tunneling an toàn và không tiết lộ thông tin nhạy cảm.

3. Tôi có thể chia sẻ URL Pinggy với ai không?
Có, bạn có thể chia sẻ URL Pinggy với những người cần truy cập các mô hình của bạn, nhưng hãy chắc chắn rằng bạn đã thiết lập các biện pháp bảo mật cần thiết.

Tài Nguyên Tham Khảo

• Hướng dẫn chuyển tiếp port Ollama 11434 cho truy cập trực tuyến
• Tài liệu chính thức về Ollama
• Hướng dẫn sử dụng Pinggy