Giới thiệu

Chào mừng bạn đến với hành trình xây dựng "Trợ lý Nhật ký AI" của tôi! Bài viết này sẽ chia sẻ những trải nghiệm và thách thức mà tôi đã gặp phải khi phát triển một trợ lý nhật ký, đặc biệt là trong việc khắc phục sự cố với một tác nhân gây rối loạn và cách mà các công cụ giám sát đã giúp tôi vượt qua những khó khăn này.

Động lực Dự án

Một trong những điều tôi yêu thích nhất chính là sự phản ánh. Tôi sở hữu vô số nhật ký dưới nhiều định dạng khác nhau—ghi chú nhanh trên điện thoại, những trang viết tay, video nhật ký, và các cuộc trò chuyện với LLM. Chúng là một kho lưu trữ phong phú về những suy nghĩ của tôi, nhưng lại rải rác khắp nơi. Mục tiêu của tôi là kết hợp chúng lại, xây dựng một không gian riêng tư nơi tôi có thể phân tích những suy nghĩ và kỷ niệm của chính mình. Đây cũng là cơ hội tuyệt vời để tôi làm việc trên một dự án kết hợp hai đam mê lớn nhất của mình: nhật ký và khoa học dữ liệu.

Thiết lập

Để bắt đầu, tôi cần một tác nhân đơn giản có khả năng xử lý một vài công cụ cơ bản. Do ưu tiên hàng đầu trong dự án này là quyền riêng tư, yêu cầu chính của tôi là sử dụng một mô hình có thể chạy hoàn toàn trên máy tính của mình. Tôi cũng muốn sử dụng các công cụ miễn phí và mã nguồn mở, điều này đã dẫn tôi đến Ollama, nơi tôi bắt đầu thử nghiệm với một số mô hình nhỏ hơn để điều khiển logic của tác nhân.

Vấn đề

Việc tích hợp mô hình ban đầu diễn ra suôn sẻ, nhưng tôi đã gặp phải rào cản lớn đầu tiên khi bắt đầu triển khai các công cụ. Tác nhân đơn giản là không kích hoạt chúng! Phản xạ đầu tiên của tôi cho dự án "giữ mọi thứ đơn giản" này là gỡ lỗi theo cách cũ: sử dụng các câu lệnh print().

Rất nhanh, console của tôi đã bị tràn ngập một bức tường văn bản không thể đọc được, và việc theo dõi logic của tác nhân trở thành một trải nghiệm đau đớn và không đủ. Nhìn vào những log console lộn xộn này khiến tôi nhận ra rằng tôi cần một công cụ giám sát thực sự. Yêu cầu của tôi là: nó phải mã nguồn mở, dễ dàng thiết lập với các mô hình cục bộ, và có giao diện người dùng sạch sẽ, trực quan. Sau một tìm kiếm nhanh, tôi đã chọn Langfuse. Nó đáp ứng tất cả các tiêu chí của tôi, và là công cụ được xây dựng đặc biệt cho những vấn đề liên quan đến LLM mà tôi đang gặp phải, như theo dõi chuỗi tác nhân và đánh giá đầu ra.

Thiết lập Langfuse

Việc thiết lập rất đơn giản. Sau khi chạy lệnh pip install langfuse và lấy khóa API của mình, tôi bắt đầu thêm decorator @observe vào các hàm mà tôi muốn theo dõi. Decorator này tự động tạo một trace và thu thập dữ liệu hiệu suất.

python Copy

from langfuse import get_client, observe

@observe(name="journaling_chat")
async def chat(self, message: str) -> str:
    """Gửi một tin nhắn đến tác nhân và nhận phản hồi."""

    response = await chat_with_agent(message, self.context)

    client = get_client()
    client.update_current_span(
        input=message,
        output=response,
        metadata={
            "conversation_length": len(self.context.conversation_history)
        }
    )

    return response

Tôi cũng đã thêm quản lý ngữ cảnh để theo dõi việc tạo ra LLM.

python Copy

with client.start_as_current_generation(
    name="ollama-request",
    model=self._model_name,
    input=messages
) as generation:
    async with httpx.AsyncClient(timeout=120) as http_client:
        response = await http_client.post(OLLAMA_API_URL, json=payload)
        response_data = response.json()

Chẩn đoán

Với việc giám sát đầy đủ, tôi cuối cùng cũng có thể thấy điều gì đang xảy ra. Cố gắng đầu tiên với một mô hình nhỏ hơn cho thấy rằng các công cụ không được kích hoạt chút nào. Nghi ngờ rằng mô hình có thể là vấn đề, tôi đã chuyển sang một mô hình mạnh mẽ hơn. Điều này đã tạo ra một vấn đề mới thậm chí còn nghiêm trọng hơn: tác nhân bị mắc kẹt trong một vòng lặp vô hạn, gọi lại cùng một công cụ không ngừng.

Suy nghĩ đầu tiên của tôi là vấn đề phải đến từ khả năng của mô hình hoặc có lỗi trong prompt của tôi. Sau vài giờ điều chỉnh prompt và chuyển đổi mô hình mà không thành công, tôi quyết định tập trung hoàn toàn vào các trace của Langfuse. Lúc đó, tôi mới phát hiện ra vấn đề thực sự: tôi thấy công cụ thực thi thành công, nhưng phản hồi của nó không bao giờ được thêm vào lịch sử trò chuyện. Tác nhân không phải cứng đầu, mà hoàn toàn không biết đến câu trả lời của công cụ. Vấn đề không phải do lý luận của mô hình, mà là một lỗi trong cách tôi xử lý lịch sử cuộc trò chuyện.

Một sửa lỗi đơn giản để quản lý đúng lịch sử trò chuyện, và kết quả là một trace sạch sẽ, đẹp đẽ đã thực thi công cụ một lần và trả về kết quả.

Kinh nghiệm Rút ra

Toàn bộ quá trình xây dựng và gỡ lỗi tác nhân của tôi đã dạy tôi một vài bài học:

Đừng vội đổ lỗi cho mô hình. Suy nghĩ đầu tiên của tôi là đổ lỗi cho sự không chắc chắn của AI, cho rằng mô hình có lỗi. Nhưng cuối cùng, vấn đề không phải ở lý luận của mô hình mà là một lỗi đơn giản trong cách ứng dụng của tôi xử lý lịch sử trò chuyện.
Đừng coi thường sức mạnh của một công cụ tốt. Ban đầu, tôi đã kháng cự việc sử dụng công cụ giám sát vì tôi nghĩ rằng các câu lệnh print() đơn giản sẽ nhanh hơn—tôi không muốn "lãng phí thời gian" cho việc thiết lập. Tuy nhiên, tôi nhận ra rằng, những giờ tôi mất đi cho việc suy đoán có thể được tiết kiệm trong vài phút bằng cách nhìn vào một trace rõ ràng.

Thực tiễn tốt nhất

Sử dụng công cụ giám sát: Luôn sử dụng công cụ giám sát để theo dõi hiệu suất và hành vi của ứng dụng.
Quản lý lịch sử trò chuyện: Đảm bảo rằng lịch sử trò chuyện được quản lý hợp lý để tránh các lỗi tương tự trong tương lai.

Những cạm bẫy thường gặp

Lạm dụng các lệnh print(): Dễ dàng mắc phải việc sử dụng quá nhiều lệnh print(), dẫn đến việc khó khăn trong việc theo dõi và gỡ lỗi.
Bỏ qua công cụ: Không sử dụng các công cụ giám sát có thể khiến bạn bỏ lỡ những vấn đề quan trọng.

Mẹo hiệu suất

Tối ưu hóa mô hình: Luôn thử nghiệm với nhiều mô hình khác nhau để tìm ra mô hình phù hợp nhất cho ứng dụng của bạn.
Giảm thiểu độ phức tạp: Cố gắng giữ cho logic của bạn đơn giản và dễ hiểu, điều này sẽ giúp việc gỡ lỗi dễ dàng hơn.

Kết luận

Hành trình xây dựng và khắc phục sự cố cho trợ lý nhật ký AI của tôi đã mang lại cho tôi nhiều bài học quý giá. Tôi hy vọng rằng những kinh nghiệm và mẹo trong bài viết này sẽ giúp ích cho bạn trong việc phát triển và gỡ lỗi ứng dụng của riêng mình. Nếu bạn có bất kỳ câu hỏi nào hoặc muốn chia sẻ trải nghiệm của mình, hãy để lại bình luận bên dưới!

Câu hỏi thường gặp (FAQ)

1. Công cụ giám sát nào tốt nhất cho LLM?

Langfuse là một trong những công cụ tốt nhất cho các vấn đề liên quan đến LLM với giao diện người dùng thân thiện.

2. Tôi có thể sử dụng mô hình nào cho ứng dụng của mình?

Tùy thuộc vào nhu cầu của bạn, có nhiều mô hình khác nhau như Ollama, GPT, và các mô hình mã nguồn mở khác.

3. Làm thế nào để khắc phục vấn đề với mô hình AI?

Tập trung vào việc phân tích trace và kiểm tra cách mà bạn quản lý lịch sử trò chuyện để xác định nguyên nhân gốc rễ của vấn đề.

Giám sát LLM: Khắc phục sự cố với Trợ lý Nhật ký AI