Giới thiệu

Bạn có thể đã từng ở trong tình huống như tôi: Tôi muốn phát triển một tính năng AI nhỏ cho mục đích học tập trong dự án cá nhân, nhưng không muốn phải trả tiền cho một khóa API.

Sau khi tìm hiểu, tôi đã phát hiện ra 4 phương pháp khác nhau để thực hiện điều đó miễn phí, đồng thời có thể chuyển đổi giữa nhiều mô hình khác nhau, giúp bạn chọn lựa mô hình phù hợp nhất cho nhu cầu của mình.

Thiết lập mã

Tất cả bốn phương pháp đều hoạt động với cùng một mã, may mắn thay, chúng đều hỗ trợ OpenAI SDK. Thay đổi duy nhất sẽ là thiết lập các giá trị đúng trong biến môi trường của bạn.

Dưới đây là mã mẫu mà tôi đang sử dụng trong demo của mình:

javascript Copy

import OpenAI from 'openai';

const token = process.env.LLM_TOKEN!;
const endpoint = process.env.LLM_ENDPOINT!;
const model = process.env.LLM_MODEL!;

export async function prompt(userPrompt: string) {
  const client = new OpenAI({ baseURL: endpoint, apiKey: token });

  const response = await client.chat.completions.create({
    messages: [
      { role: 'system', content: 'Bạn là một trợ lý hữu ích.' },
      { role: 'user', content: userPrompt },
    ],
    model: model,
  });

  console.log(response.choices[0].message.content);
}

1. Ollama - Chạy mô hình cục bộ

Trang chủ: Ollama

Đây là phương pháp đầu tiên tôi thử nghiệm vì tôi muốn xem cách chạy mô hình cục bộ. Nói ngắn gọn: họ đã làm cho nó trở nên dễ dàng như việc kéo các hình ảnh docker. Có một lệnh ollama pull để bạn sử dụng.

Bạn có thể cài đặt ứng dụng từ trang web và sau đó tìm thấy công cụ dòng lệnh ollama trong đường dẫn của bạn. Khi tôi thực hiện điều này cách đây vài tuần, ứng dụng gần như trống rỗng, giờ đây tôi thấy họ đã bắt đầu thêm các tính năng như giao diện người dùng để bạn có thể trò chuyện với các mô hình đã cài đặt.

Bây giờ bạn có thể muốn có một số mô hình, đúng không? Bạn có thể tìm danh sách trên trang Mô hình của họ và mở terminal để chạy ollama pull <tên_mô_hình> để tải xuống. Trước khi chọn một mô hình, hãy xem xét kích thước (có thể nhiều GB) và chuẩn bị cho việc phản hồi chậm nếu máy của bạn không đủ mạnh.

Bạn có thể thấy bất kỳ lúc nào các mô hình mình có bằng lệnh ollama ls.

Sau khi đã cài đặt Ollama và tải về ít nhất một mô hình, hãy thiết lập các giá trị cho biến môi trường của bạn:

bash Copy

LLM_TOKEN=ollama
LLM_ENDPOINT=http://localhost:11434/v1
LLM_MODEL=<mô_hình_bạn_tải_xuống>

Bạn đã sẵn sàng để tiếp tục!

2. Mô hình GitHub - Được lưu trữ

Trang chủ: GitHub Models
Khung miễn phí: GitHub Models Free Tier

Ollama là thú vị nhưng tôi không sử dụng các mô hình thực sự thông minh và tại một thời điểm, tôi muốn đẩy tính năng AI của mình vào sản xuất. Tôi không thể chỉ nói "chạy trên máy của tôi với Ollama", tôi cần tìm một giải pháp được lưu trữ. Miễn phí.

Dịch vụ đầu tiên tôi thử nghiệm là Mô hình GitHub. Nó cung cấp một số mô hình gần đây với một khung miễn phí mà bạn có thể thử nghiệm ngay trên trình duyệt.

Bạn cũng có thể sử dụng chúng trong ứng dụng của mình và chỉ cần một khóa API duy nhất: Mã truy cập cá nhân của GitHub (PAT).

Bạn có thể tạo một từ cài đặt nhà phát triển của mình, nhưng trên thị trường Mô hình bạn sẽ tìm thấy một liên kết trực tiếp để thực hiện điều này chỉ bằng một cú nhấp chuột. Nó cũng có thể hoạt động từ đây: Tạo mã truy cập cá nhân.

Khi bạn có mã thông báo, hãy thiết lập nó trong biến môi trường và bạn lại sẵn sàng!

bash Copy

LLM_TOKEN=<github_pat_của_bạn>
LLM_ENDPOINT=https://models.github.ai/inference
LLM_MODEL=<tên_mô_hình>

Trong ứng dụng của tôi, tôi chỉ cần thiết lập các biến này trên Netlify để tính năng AI hoạt động trên trang sản xuất của tôi.

3. Open Router - Được lưu trữ

Trang chủ: Open Router
Khung miễn phí: Open Router Free Tier

Tôi khá hài lòng với GitHub Models nhưng vì lý do nghiên cứu tốt, tôi muốn thử nhiều nhà cung cấp hơn. Open Router là một giải pháp được lưu trữ khác cung cấp khung miễn phí nhưng chỉ trên một số mô hình đã chọn.

Bạn có thể tìm thấy chúng bằng cách lọc danh sách cho :free trong tên mô hình.

Sau khi đăng ký, bạn có thể lấy API Key của mình từ cài đặt và đặt nó vào biến môi trường như thường lệ:

bash Copy

LLM_TOKEN=<api_key_open_router>
LLM_ENDPOINT=https://openrouter.ai/api/v1
LLM_MODEL=<tên_mô_hình:miễn_phí>

4. Groq - Được lưu trữ

Trang chủ: Groq
Khung miễn phí: Groq Free Tier

Điều đầu tiên tôi nói khi một đồng nghiệp nói cho tôi về Groq là "đợi đã, không phải nó gọi là Grok sao?" và không, đó không phải là một lỗi chính tả, chúng là hai thứ rất khác nhau.

Groq là một công ty phần cứng chạy LLM trên chip của chính họ. Tương tự như Open Router, với một API key Groq, bạn có thể truy cập một lựa chọn các mô hình hỗ trợ và chuyển đổi giữa chúng bằng cách thay đổi tên mô hình trong biến môi trường của bạn.

Bạn có thể lấy khóa sau khi đăng ký, nhưng bạn không nên ngạc nhiên sau khi đọc các phần trước. May mắn thay, hầu hết các nhà cung cấp này hoạt động theo cách rất tương tự.

bash Copy

LLM_TOKEN=<api_key_groq>
LLM_ENDPOINT=https://api.groq.com/openai/v1
LLM_MODEL=<tên_mô_hình>

Mẹo và thực tiễn tốt nhất

Lựa chọn mô hình: Khi chọn mô hình, hãy xem xét kích thước và tốc độ phản hồi. Đảm bảo rằng máy của bạn đủ mạnh để xử lý mô hình lớn.
Kiểm tra trước khi sản xuất: Hãy thử nghiệm với các mô hình miễn phí trước khi đưa vào sản xuất để đảm bảo tính năng hoạt động như mong đợi.
Theo dõi chi phí: Nếu bạn quyết định sử dụng mô hình trả phí, hãy theo dõi chi phí để tránh bất ngờ khi thanh toán.

Câu hỏi thường gặp

1. Tôi có thể sử dụng những mô hình nào miễn phí?

Có nhiều nhà cung cấp như Ollama, GitHub, Open Router, và Groq cung cấp các mô hình miễn phí với các giới hạn nhất định.

2. Làm thế nào để tôi có được mã truy cập cá nhân của GitHub?

Bạn có thể tạo mã truy cập từ trang cài đặt của mình trên GitHub.

3. Tại sao tôi cần các biến môi trường?

Biến môi trường giúp bạn bảo mật thông tin nhạy cảm như API keys mà không cần phải cứng hóa chúng trong mã nguồn.

Kết luận

Các phương pháp tôi đã thử nghiệm đều cho phép chuyển đổi giữa các mô hình khác nhau, điều này thật tuyệt vời để tìm ra mô hình tốt nhất cho nhu cầu của bạn. Trong bất kỳ trường hợp nào, tất cả các nhà cung cấp LLM thường có các khung miễn phí của riêng họ. Có rất nhiều tùy chọn mà bạn có thể chọn trực tiếp từ nhà cung cấp.

Khi đến lúc đưa vào sản xuất... thì đó là một câu chuyện khác.

Bạn đang sử dụng gì cho phát triển? Và bạn đang sử dụng gì trong sản xuất? Hãy thảo luận trong phần bình luận!

Cảm ơn bạn đã đọc bài viết này, tôi hy vọng bạn thấy nó thú vị!

Hãy kết nối thêm với tôi: newsletter

Nếu bạn thích nội dung của tôi, bạn có thể cân nhắc đăng ký kênh YouTube của tôi! Điều đó có ý nghĩa rất lớn đối với tôi ❤️

Bạn có thể tìm thấy nó ở đây: kênh YouTube

Hãy theo dõi tôi để nhận thông báo khi có bài viết mới nhé ;)

4 Phương Pháp Miễn Phí Sử Dụng API LLM Trong Phát Triển

Giới thiệu

Mục lục

Thiết lập mã

1. Ollama - Chạy mô hình cục bộ

2. Mô hình GitHub - Được lưu trữ

3. Open Router - Được lưu trữ

4. Groq - Được lưu trữ

Mẹo và thực tiễn tốt nhất

Câu hỏi thường gặp

1. Tôi có thể sử dụng những mô hình nào miễn phí?

2. Làm thế nào để tôi có được mã truy cập cá nhân của GitHub?

3. Tại sao tôi cần các biến môi trường?

Kết luận

Bình luận