1. Giới Thiệu về Gpt-4o Realtime

Trong thời đại công nghệ hiện nay, các mô hình ngôn ngữ lớn như ChatGPT của OpenAI đã trở thành một phần quan trọng trong việc giao tiếp và xử lý thông tin. Thông thường, người dùng chỉ đơn giản sử dụng chức năng nhắn tin để tương tác với các mô hình này như GPT-3.5, GPT-4. Tuy nhiên, với nhu cầu tương tác liên tục và ngay lập tức, sự ra đời của GPT-4o Realtime đã giải quyết các vấn đề này.

Những Tính Năng Nổi Bật Của Gpt-4o Realtime

• Tương tác đàm thoại liên tục với độ trễ thấp.
• Hỗ trợ nhiều loại dữ liệu như tin nhắn văn bản và gọi hàm, giúp mở rộng khả năng phản hồi.
• Hoạt động hiệu quả trong các vai trò như trợ lý ảo, biên dịch viên, và các ứng dụng yêu cầu phản hồi nhanh với người dùng.

Gpt-4o Realtime được xây dựng dựa trên API WebSockets, cho phép giao tiếp trực tuyến giữa người dùng và mô hình mà không cần phải chờ đợi giữa các yêu cầu.

2. Khái Niệm Về WebSockets

2.1. WebSockets Là Gì?

WebSocket (WS) là một giao thức truyền thông mạng cho phép tạo ra kết nối hai chiều giữa client và server. Điều này khác với HTTP, nơi mỗi yêu cầu cần một kết nối mới.

2.2. Lợi Ích Của WebSockets

• Truyền thông hai chiều: Client và server có thể gửi và nhận dữ liệu bất kỳ lúc nào.
• Giảm độ trễ: Không cần thiết lập lại kết nối cho mỗi yêu cầu.
• Tiết kiệm băng thông: Tối ưu hóa tài nguyên mạng bằng cách sử dụng một kết nối duy nhất.

2.3. Cách Hoạt Động Của WebSockets

Quá trình kết nối WebSocket bắt đầu bằng một yêu cầu HTTP từ client đến server. Nếu server hỗ trợ WebSocket, nó sẽ gửi mã trạng thái 101 (Switching Protocols) để thiết lập kết nối.

2.4. Ví Dụ Sử Dụng WebSockets Với Python

Cài Đặt Thư Viện

Để sử dụng WebSockets trong Python, bạn có thể sử dụng thư viện websockets. Có thể cài đặt bằng lệnh:

pip install websockets

Tạo Server WebSocket

Dưới đây là một ví dụ đơn giản về cách tạo server WebSocket với Python:

import asyncio
import websockets

async def echo(websocket, path):
    async for message in websocket:
        await websocket.send(f"Bạn đã gửi: {message}")

start_server = websockets.serve(echo, "localhost", 8765)

asyncio.get_event_loop().run_until_complete(start_server)
asyncio.get_event_loop().run_forever()

Chạy Server

python server.py

Tạo Client WebSocket

Ví dụ về client WebSocket:

import asyncio
import websockets

async def hello():
    uri = "ws://localhost:8765"
    async with websockets.connect(uri) as websocket:
        await websocket.send("Xin chào, server!")
        response = await websocket.recv()
        print(f"Phản hồi từ server: {response}")

asyncio.get_event_loop().run_until_complete(hello())

Chạy Client

python client.py

2.5. Tổng Quan

Qua phần giới thiệu, độc giả có thể hiểu rõ hơn về nguyên lý hoạt động của WebSockets và lý do vì sao Gpt-4o Realtime chọn API này để xây dựng.

3. Gpt-4o Realtime

3.1. Cách Thức Hoạt Động

Sau khi kết nối WebSocket tới GPT Realtime được thiết lập và xác thực, người dùng có thể gửi và nhận tin nhắn dưới dạng JSON. Mỗi tin nhắn đều có thể được xử lý không đồng bộ và song song, giúp cải thiện hiệu suất tương tác.

Một số khái niệm cần biết:

• Kết nối WS: Mỗi khi người gọi thiết lập kết nối, một phiên mới được bắt đầu.
• Cấu hình phiên: Có thể tùy chỉnh âm thanh đầu vào và đầu ra, cũng như nhiều thông số khác để tối ưu hóa trải nghiệm.
• Tự động tạo hội thoại: Mỗi phiên đều sẽ khởi tạo cuộc hội thoại để lưu trữ bối cảnh cho các yêu cầu sau.

3.2. Cấu Hình Phiên và Chế Độ Xử Lý Lượt

Lệnh đầu tiên do người gọi gửi thường là session.update, cho phép cấu hình đầu vào và đầu ra của phiên.

Ví dụ về Cấu Hình Phiên

{
  "type": "session.update",
  "session": {
    "voice": "alloy",
    "instructions": "Call provided tools if appropriate for the user's input.",
    "input_audio_format": "pcm16",
    "input_audio_transcription": {
      "model": "whisper-1"
    },
    "turn_detection": {
      "threshold": 0.4,
      "silence_duration_ms": 600,
      "type": "server_vad"
    },
    "tools": [
      {
        "type": "function",
        "name": "get_weather_for_location",
        "description": "Nhận thông tin thời tiết cho một địa điểm",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "Thành phố và tiểu bang, ví dụ: San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": [
                "c",
                "f"
              ]
            }
          },
          "required": [
            "location",
            "unit"
          ]
        }
      }
    ]
  }
}

3.3. Quản Lý Các Sự Kiện Khi Sử Dụng Gpt Realtime

3.3.1. Các Sự Kiện Gửi Đến Gpt Realtime

• session.update: Cập nhật cấu hình cho phiên hội thoại.
• input_audio_buffer.append: Thêm dữ liệu âm thanh cho đầu vào của người dùng.
• input_audio_buffer.clear: Xóa bộ đệm đầu vào hiện tại.
• conversation.item.create: Chèn một mục mới vào hội thoại.
  .
  .
  .

3.3.2. Các Sự Kiện Nhận Về Từ Gpt Realtime

• session.created: Được gửi khi kết nối thiết lập thành công.
• response.created: Thông báo rằng phản hồi mới đã bắt đầu.
• response.done: Kết thúc việc tạo phản hồi.
  .
  .
  .

3.4. Luồng Sử Dụng Gpt Realtime

Nếu Không Sử Dụng Function Calling

1. Kết nối WebSocket tới Gpt Realtime.
2. Sử dụng session.update để cập nhật hệ thống.
3. Thiết lập vòng lặp để nhận và xử lý tin nhắn từ Gpt Realtime.
4. Gửi âm thanh từ mic vào Gpt Realtime thông qua input_audio_buffer.append.
5. Nhận event phản hồi từ Gpt và trả về cho người dùng.

Nếu Muốn Sử Dụng Function Calling

• Sau khi kết nối tới Gpt Realtime, cần cập nhật danh sách chức năng và các đối số cần thiết.
• Tương tự như trên, nhưng thêm phần xử lý function calling.

Kết Luận

Bài viết đã trình bày các khái niệm cơ bản về Gpt-4o Realtime và cách tích hợp API WebSockets. Việc nắm vững sự kiện và cách thức hoạt động của mô hình sẽ giúp người dùng tận dụng tối đa khả năng của nó. Nếu bạn có bất kỳ câu hỏi hoặc ý kiến nào, hãy để lại phản hồi nhé! Cảm ơn bạn đã đọc bài viết này!
source: viblo