Giới thiệu

Trong bài viết trước, chúng ta đã tìm hiểu về MAIA Framework — một bộ công cụ mã nguồn mở để kiểm tra các hệ thống AI đa tác nhân. Chúng ta đã thảo luận về chức năng, lý do tồn tại và một số tính năng chính như xác nhận và bộ kiểm tra.

Bây giờ, hãy cùng thực hành thiết lập bài kiểm tra đầu tiên với MAIA, sử dụng cả xác nhận và bộ kiểm tra.

Điều kiện tiên quyết

Trước khi bắt đầu, tôi giả định rằng bạn đã thiết lập dự án Python của mình.

Cài đặt MAIA Framework

Để bắt đầu, chúng ta cần cài đặt MAIA Framework bằng lệnh sau:

pip install maia-test-framework

Tạo tệp kiểm tra đơn giản

Tiếp theo, chúng ta sẽ tạo một tệp kiểm tra đơn giản. Dưới đây là mã mẫu:

import pytest
from maia_test_framework.testing.base import MaiaTest
from maia_test_framework.providers.generic_lite_llm import GenericLiteLLMProvider

class TestContentAssertions(MaiaTest):
    def setup_agents(self):
        self.create_agent(
            name="Alice",
            provider=GenericLiteLLMProvider(config={
                "model": "ollama/mistral",
                "api_base": "http://localhost:11434"
            }),
            system_message="Bạn là một trợ lý AI hữu ích. Bạn sẽ tuân theo hướng dẫn của người dùng một cách chính xác."
        )
    @pytest.mark.asyncio
    async def test_basic(self):
        session = self.create_session(["Alice"])

        await session.user_says("Xin hãy mô tả thời tiết thông thường ở London vào tháng 7, bao gồm nhiệt độ và điều kiện.")

        response = await session.agent_responds("Alice")

        assert "nắng" in response.content

Phân tích mã kiểm tra

Tạo tác nhân

Đầu tiên, chúng ta cần định nghĩa tác nhân sẽ được kiểm tra. Hàm này nhận một số tham số chính:

• name - một định danh duy nhất cho tác nhân trong bài kiểm tra.
• provider - xác định mô hình mà tác nhân sẽ sử dụng. MAIA cung cấp nhiều tích hợp (ví dụ: LiteLLM, CrewAI) và bạn cũng có thể tạo riêng của mình.
• system_message - lời nhắc hệ thống mô tả tác nhân là gì.

Tạo phiên làm việc

Để sử dụng tác nhân, trước tiên bạn cần tạo một phiên làm việc. Trong MAIA, một phiên làm việc nhóm các tác nhân thành các kênh giao tiếp.

Đối với các hệ thống tác nhân đơn giản, bạn có thể chỉ cần sử dụng một phiên, vì tất cả các tác nhân có thể giao tiếp với nhau một cách tự do.

Mô phỏng cuộc trò chuyện đơn giản

Tiếp theo, chúng ta sẽ mô phỏng một cuộc trò chuyện ngắn giữa người dùng và tác nhân. Người dùng hỏi về thời tiết, và tác nhân sẽ phản hồi.

Cuối cùng, chúng ta kiểm tra nội dung của phản hồi từ tác nhân để tìm kiếm các mẫu cụ thể (trong trường hợp này, liệu nó có đề cập đến "nắng" hay không).

Đây là một ví dụ rất đơn giản — bây giờ hãy mở rộng nó với các xác nhận và bộ kiểm tra.

Thêm xác nhận MAIA

Xác nhận có thể được đính kèm vào một phiên làm việc, vì vậy mỗi thông điệp sẽ được kiểm tra tự động.

Ví dụ, xác nhận assert_professional_tone đảm bảo rằng các phản hồi không chứa ngôn ngữ thiếu chuyên nghiệp (chẳng hạn như lol hoặc u r).

Dưới đây là ví dụ về việc sử dụng xác nhận đó:

from maia_test_framework.testing.assertions.content_patterns import assert_professional_tone

...

session = self.create_session(["Alice"], assertions=[assert_professional_tone])

Thêm bộ kiểm tra MAIA

Bộ kiểm tra xác minh toàn bộ phiên làm việc thay vì từng thông điệp riêng lẻ. Chúng tự động được chạy vào cuối một bài kiểm tra.

Ví dụ, bộ kiểm tra này đảm bảo rằng Alice gửi tối đa một thông điệp trong phiên:

from maia_test_framework.testing.validators.performance import performance_validator

...

session = self.create_session(["Alice"], validators=[agent_message_count_validator(agent_name="Alice", max_messages=1)])

Tóm tắt và hình dung

Sử dụng các xác nhận và bộ kiểm tra của MAIA cho phép bạn xem tất cả kết quả dưới dạng một định dạng đẹp trong bảng điều khiển.

✨ Đó là tất cả! Bạn đã có bài kiểm tra đầu tiên hoạt động trong MAIA, hoàn chỉnh với xác nhận và bộ kiểm tra.

Thực tiễn tốt nhất

• Đảm bảo kiểm tra định kỳ: Thực hiện các bài kiểm tra thường xuyên để phát hiện lỗi sớm.
• Sử dụng xác nhận: Thêm xác nhận vào tất cả các phiên làm việc để cải thiện chất lượng phản hồi.
• Tối ưu hóa hiệu suất: Theo dõi hiệu suất của tác nhân trong các tình huống thực tế.

Những cạm bẫy thường gặp

• Bỏ quên việc kiểm tra lỗi: Đảm bảo rằng bạn đã xử lý tất cả các tình huống có thể xảy ra trong mã.
• Không sử dụng tài liệu: Tài liệu là rất quan trọng, hãy chắc chắn rằng bạn đã ghi lại cách sử dụng và cài đặt MAIA.

Mẹo hiệu suất

• Tối ưu hóa các phiên làm việc: Giảm thiểu số lượng tác nhân trong một phiên để tăng tốc độ phản hồi.
• Sử dụng mô hình nhẹ: Chọn mô hình nhỏ hơn cho các tác nhân nếu không cần thiết phải sử dụng mô hình lớn.

Câu hỏi thường gặp

MAIA Framework là gì?

MAIA Framework là một bộ công cụ mã nguồn mở dùng để kiểm tra các hệ thống AI đa tác nhân.

Tôi có thể tạo các xác nhận tùy chỉnh không?

Có, bạn có thể định nghĩa các xác nhận tùy chỉnh trong MAIA.

Làm thế nào để khắc phục sự cố khi không nhận được phản hồi từ tác nhân?

Hãy kiểm tra kết nối mạng và đảm bảo rằng tác nhân đang hoạt động đúng cách.