Giới thiệu

Sự phát triển mạnh mẽ của ChatGPT đã mở ra nhiều cơ hội cho việc khám phá các mô hình ngôn ngữ lớn (LLMs). Nếu bạn đang tìm cách tạo ra một ứng dụng chatbot tương tự như ChatGPT với dấu ấn cá nhân, hãy theo dõi bài viết này. Chúng tôi sẽ hướng dẫn bạn cách tạo một chatbot miễn phí, phù hợp cho việc nghiên cứu và phục vụ các nhu cầu công việc hàng ngày của bạn hoặc nhóm làm việc tại công ty của bạn. Tuy nhiên, điều này còn phụ thuộc vào tài nguyên phần cứng bạn sở hữu. Hãy bắt đầu nào!

Chạy Mô Hình Ngôn Ngữ Lớn (LLMs) với Ollama

Chạy các mô hình ngôn ngữ lớn (LLMs) trên một server cục bộ là một cách hiệu quả nếu bạn sở hữu tài nguyên tính toán cần thiết. Việc khám phá các mô hình LLMs hoặc xây dựng ứng dụng bằng chúng trở nên dễ dàng hơn bao giờ hết. Ollama là một nền tảng hỗ trợ bạn chạy mô hình Llama 3.1 (với lượng tử hóa q4_0) trên GPU với dung lượng 8GB VRAM.

Cài Đặt Ollama

Bước đầu tiên là tải và cài đặt Ollama trên máy tính của bạn. Ollama hỗ trợ cho nhiều hệ điều hành chính: MacOS, Windows và Linux. Để cài đặt trên Ubuntu, hãy sử dụng lệnh sau:

curl -fsSL https://ollama.com/install.sh | sh

Quá trình cài đặt diễn ra trong vài phút, và driver của GPU NVIDIA/AMD sẽ tự động được phát hiện. Nếu không có GPU, Ollama có thể hoạt động chỉ với CPU, nhưng hiệu suất có thể chậm hơn đáng kể.

Kéo Mô Hình và Chạy

Tiếp theo, hãy truy cập thư viện mô hình của Ollama để xem danh sách các mô hình hiện được hỗ trợ. Đến thời điểm này, Ollama đã hỗ trợ đến Llama 3.2 1B và 3B. Mô hình mặc định sẽ tự động tải xuống với tag latest. Bạn có thể kéo mô hình về máy với lệnh sau:

ollama pull llama3.1

Hoặc có thể chạy mô hình ngay lập tức:

ollama run llama3.1

Sau khi mô hình được khởi chạy, bạn có thể tương tác trực tiếp trên Terminal.

Tùy Chỉnh Mô Hình

Giống như Docker, Ollama cho phép bạn tùy chỉnh mô hình thông qua việc viết Modelfile. Dưới đây là ví dụ về một system prompt:

FROM llama3.1:latest

SYSTEM """
You are a virtual assistant developed by the AI Team of TonAI Company.
Your name is 'TonAI Lạc Đà' because your base model is Llama 3.1 8B.
"""

Bạn cũng có thể điều chỉnh các tham số của mô hình như temperature, num_ctx. Để tạo một mô hình mới, bạn sử dụng lệnh:

ollama create TonAI:chatbot_mini -f ./Modelfile

Khi bạn đã tạo mô hình, hãy chạy thử nghiệm với:

ollama run TonAI:chatbot_mini

Sử Dụng Ollama với Python

Bạn có thể tích hợp Ollama vào ứng dụng Python. Để cài đặt, sử dụng lệnh:

pip install ollama

Dưới đây là một ví dụ cách sử dụng Ollama trong Python:

import ollama

while True:
    message = input("User: ")
    response = ollama.chat(model='TonAI:chatbot_mini', messages=[
        {
            'role': 'user',
            'content': message,
        },
    ])
    print(f"Ollama: {response['message']['content']}")

Open WebUI

Để tiện lợi hơn trong việc tương tác với Ollama, hãy cài đặt Open WebUI, một giao diện web thân thiện, dễ sử dụng và tự-host. Bạn có thể cài đặt Open WebUI qua Docker, PyPi hoặc kéo source code từ GitHub.

Cài Đặt Open WebUI

Sử Dụng Docker

Nếu bạn sử dụng GPU, chạy lệnh này:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Nếu chỉ dùng CPU, sử dụng lệnh:

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Sau khi cài đặt, truy cập Open WebUI tại http://localhost:3000.

Sử Dụng Python Pip

Chạy lệnh sau để cài đặt Open WebUI:

pip install open-webui

Sau đó, khởi chạy Open WebUI bằng lệnh:

open-webui serve

Truy cập tại địa chỉ http://localhost:8080.

Sử Dụng Source Code

Clone source code về máy:

git clone https://github.com/open-webui/open-webui.git

Chạy file script start.sh trong thư mục backend:

cd open-webui/backend
bash start.sh

Trải Nghiệm Tương Tác

Sau khi cài đặt, bạn sẽ có một giao diện sử dụng tương tự ChatGPT. Bạn có thể tùy chỉnh câu trả lời của mô hình theo ý muốn. Bên cạnh đó, Open WebUI còn có nhiều chức năng như quản lý mô hình, quản lý người dùng và các tính năng nâng cao như kết nối với image generator.

Tóm lại, bài viết này đã hướng dẫn bạn cách nhanh chóng tạo ra một chatbot dựa trên mô hình ngôn ngữ lớn. Hy vọng thông tin này hữu ích cho các dự án của bạn. Chúng tôi sẽ tiếp tục nghiên cứu và chia sẻ thêm nhiều bài viết chuyên sâu về lĩnh vực Generative AI trong tương lai.
source: viblo