Giải thích về LLM Agents: Kiến trúc & Các loại LLM Agents

Đối với nhiều người, các mô hình ngôn ngữ lớn (LLM) chủ yếu được sử dụng như giao diện hội thoại. Bạn đặt câu hỏi, mô hình trả lời, và đó là nơi tương tác kết thúc. 

Tuy nhiên, LLM có khả năng làm được nhiều hơn thế: chúng đang được tích hợp vào các hệ thống có thể lập kế hoạch, ghi nhớ và thực hiện hành động một cách tự động, mở khóa những gì được gọi là LLM Agents. Các hệ thống tác nhân đang trở nên phổ biến hơn trong phân tích hiện đại và quy trình làm việc kinh doanh. 

Đến cuối bài viết này, bạn sẽ hiểu các LLM Agents là gì, cách chúng được xây dựng, các loại tác nhân khác nhau và nơi chúng có thể tạo ra giá trị. 

LLM Agents là gì?

Hãy cùng thảo luận về sự khác biệt giữa các LLM Agents (tác nhân LLM) và các mô hình ngôn ngữ tiêu chuẩn. 

Giao diện LLM thông thường, giống như chatbot, chỉ có thể nhận đầu vào và trả về phản hồi được tạo ra dựa trên quá trình huấn luyện của nó, mà không cần các hành động hoặc trạng thái bên ngoài. Ngược lại, một LLM Agents sử dụng LLM làm công cụ suy luận cốt lõi (giống như bộ não) và bao quanh nó bằng các thành phần hỗ trợ cho phép nó suy luận, lập kế hoạch và thực thi.

Các LLM Agents chuyển trọng tâm từ tự động hóa sang tự chủ.

Tự động hóa cho phép các hệ thống LLM nhận đầu vào và thực hiện một loạt các bước để tạo ra đầu ra. Với tính tự chủ, chúng ta đang cung cấp cho LLM một bộ công cụ và khả năng quyết định cách tốt nhất để đưa ra giải pháp dựa trên những gì nó biết về tình huống. Điều này mang lại sự linh hoạt và phức tạp hơn cho LLM để hoạt động "độc lập".

Hãy hình dung LLM đơn giản như một chuyên gia tư vấn trả lời các câu hỏi dựa trên kiến ​​thức của họ. Một LLM Agents giống như chuyên gia đó dẫn dắt một nhóm: nó quyết định đặt câu hỏi gì, tham khảo ý kiến ​​của thành viên nhóm (công cụ) nào và kết hợp các câu trả lời của họ như thế nào để tạo ra một giải pháp.

Các thành phần cốt lõi của một LLM Agents

Một LLM Agents bao gồm một số thành phần cốt lõi:

• Chính LLM (bộ não)
• Logic lập kế hoạch
• Ký ức
• Công cụ

Biểu đồ dưới đây minh họa mối quan hệ giữa từng yếu tố.

Bộ não LLM

LLM đóng vai trò là lõi nhận thức của tác nhân. Nó diễn giải mục tiêu của người dùng, suy luận về các bước trung gian và quyết định hành động cần thực hiện. Trên thực tế, LLM được gọi lặp đi lặp lại, chứ không chỉ một lần.

Mỗi khi hàm LLM được gọi, nó sẽ nhận được ngữ cảnh có thể bao gồm mục tiêu ban đầu, các hành động trước đó, đầu ra của công cụ và bộ nhớ liên quan. Dựa trên thông tin này, nó sẽ quyết định hành động tiếp theo. Điều này làm cho chức năng của LLM giống một bộ điều khiển hơn là một trình tạo văn bản tĩnh.

Đối với những người làm việc trong lĩnh vực dữ liệu, điều quan trọng là phải hiểu rằng LLM không trực tiếp thực thi mã hoặc truy vấn. Nó tạo ra các hướng dẫn có cấu trúc mà các thành phần khác diễn giải. Chất lượng của một tác nhân thường phụ thuộc vào việc các hướng dẫn này được ràng buộc và xác thực tốt như thế nào.

Logic lập kế hoạch

Logic lập kế hoạch là cơ chế cho phép các tác nhân giải quyết các vấn đề phức tạp bằng cách chia nhỏ chúng thành các bước dễ quản lý. Nếu không có kế hoạch, tác nhân sẽ cố gắng giải quyết mọi thứ trong một phản hồi duy nhất, điều này thường dẫn đến sai sót hoặc ảo giác .

Trong giai đoạn lập kế hoạch, hệ thống sẽ phân rã mục tiêu cấp cao thành các nhiệm vụ nhỏ hơn. Ví dụ, “Phân tích tỷ lệ khách hàng rời bỏ” có thể được chia thành “tải dữ liệu khách hàng”, “tính toán tỷ lệ khách hàng rời bỏ”, “xác định xu hướng” và “tóm tắt kết quả”. Mỗi nhiệm vụ phụ sau đó được thực hiện tuần tự hoặc có điều kiện.

Một kỹ thuật phổ biến là Chuỗi suy nghĩ (Chain-of-Thought - CoT) , khuyến khích mô hình suy luận một cách rõ ràng bằng cách xâu chuỗi một loạt các hành động lại với nhau như những gợi ý tuần tự. 

ReAct (lý luận và hành động) còn tiến thêm một bước nữa bằng cách kết hợp các dấu vết lý luận với các hành động được kích hoạt bởi công cụ và các quan sát bên ngoài. Phản hồi bên ngoài này giúp các tác nhân giữ vững lập trường và tự điều chỉnh khi kết quả trung gian không khớp với kỳ vọng.

Trí nhớ

Bộ nhớ cho phép tác nhân duy trì tính liên tục trong các tương tác và hành động bằng cách tái sử dụng thông tin trước đó. Nếu không có bộ nhớ, mỗi bước sẽ bị cô lập, buộc tác nhân phải liên tục tìm lại cùng một kiến ​​thức.

Bộ nhớ ngắn hạn thường tồn tại trong phạm vi cửa sổ ngữ cảnh của LLM. Nó bao gồm các thông báo gần đây, quá trình suy luận trung gian và kết quả đầu ra của công cụ. Giống như RAM trong kiến ​​trúc máy tính, bộ nhớ này nhanh nhưng có giới hạn và biến mất khi vượt quá phạm vi ngữ cảnh.

Bộ nhớ dài hạn được triển khai từ bên ngoài, thường sử dụng cơ sở dữ liệu vector . Các kỹ thuật như RAG (Retrieval-Augmented Generation) cho phép tác nhân truy xuất các tài liệu liên quan hoặc các tương tác trong quá khứ và đưa chúng vào ngữ cảnh hiện tại. 

Công cụ

Các công cụ mở rộng khả năng của tác nhân vượt ra ngoài ngôn ngữ. Chúng cho phép tác nhân tương tác với thế giới thực, bao gồm cơ sở dữ liệu, API và các công cụ tính toán.

Từ góc nhìn của tác nhân, các công cụ là các hàm có thể gọi được với các đầu vào và đầu ra được xác định. Mô hình LLM quyết định khi nào sử dụng công cụ, cung cấp những đối số nào và cách diễn giải kết quả. Quá trình ra quyết định này là điều phân biệt tác nhân với các quy trình công việc được lập trình sẵn.

Các công cụ có thể bao gồm các tính năng như tìm kiếm Google, thực thi SQL, trình thông dịch Python và API. Nhân viên hỗ trợ có quyền truy cập vào các công cụ công nghệ tương tự như chúng ta và có thể kết hợp chúng lại để thực hiện các giải pháp.

Hình ảnh trên mô tả kiến ​​trúc tổng quát của LLM Agents. Bộ não cung cấp thông tin về bộ nhớ và lập kế hoạch, sau đó khởi động một loạt các nhiệm vụ bằng cách sử dụng các công cụ.

Các loại LLM Agents

Phần này tóm tắt các loại tác nhân khác nhau, từ các tác nhân phản xạ cơ bản nhất đến các tác nhân học tập phức tạp.

Các tác nhân phản xạ đơn giản

Các tác nhân phản xạ đơn giản hoạt động dựa trên các quy tắc điều kiện-hành động trực tiếp. Chúng không xem xét lịch sử, hậu quả trong tương lai hoặc các hành động thay thế. Nếu một điều kiện được đáp ứng, hành động tương ứng sẽ được thực hiện ngay lập tức.

Sự đơn giản này khiến chúng dễ triển khai, nhưng chúng lại cực kỳ dễ hỏng. Bất kỳ đầu vào không mong muốn hoặc tín hiệu bị thiếu nào cũng có thể gây ra hành vi không chính xác. Chúng cũng không thể thích nghi với môi trường thay đổi.

Ví dụ về bot hủy đăng ký email làm nổi bật hạn chế này. Nó thực hiện nhiệm vụ nhanh chóng nhưng thiếu khả năng nhận thức, điều này có thể dẫn đến những kết quả không mong muốn.

Các tác nhân phản xạ dựa trên mô hình

Các tác nhân phản xạ dựa trên mô hình cải tiến hơn các tác nhân phản xạ đơn giản bằng cách duy trì một mô hình nội tại về môi trường. Mô hình nội tại này cho phép chúng suy luận về những thứ không thể nhìn thấy ngay lập tức.

Bằng cách theo dõi trạng thái theo thời gian, các tác nhân này có thể xử lý khả năng quan sát một phần. Chúng ghi nhớ những gì đã xảy ra và sử dụng thông tin đó để định hướng các hành động trong tương lai.

Các trợ lý IDE như Copilot hay Cursor AI là những ví dụ điển hình. Chúng duy trì khả năng nhận biết các tệp, biến và hàm trong suốt một phiên làm việc, cho phép đưa ra các đề xuất thông minh hơn so với việc chỉ đơn giản là khớp mẫu. Chúng cũng là cầu nối dẫn đến loại tác nhân tiếp theo.

Các tác nhân dựa trên mục tiêu

Các tác nhân hướng mục tiêu được thiết kế xoay quanh kết quả chứ không phải các yếu tố kích hoạt. Chúng lập kế hoạch và đánh giá các hành động dựa trên việc liệu chúng có đưa hệ thống tiến gần hơn đến mục tiêu mong muốn hay không, thay vì chỉ phản ứng thụ động.

Các tác nhân này tạo ra các kế hoạch có thể bao gồm nhiều bước và phân nhánh có điều kiện. Nếu một phương pháp thất bại, chúng có thể thử một con đường khác. Điều này làm cho chúng linh hoạt hơn đáng kể so với các tác nhân dựa trên phản xạ.

Ví dụ, việc tạo lập kế hoạch hành trình du lịch cho thấy cách một mục tiêu cấp cao duy nhất có thể được phân rã thành nhiều hành động phối hợp trên nhiều hệ thống khác nhau. 

Nhân viên hỗ trợ không chỉ đơn thuần đáp ứng yêu cầu "cho tôi lịch trình" và lặp lại thông tin. Thay vào đó, họ có thể chia nhỏ mục tiêu thành các vấn đề phụ nhỏ hơn, chẳng hạn như: 

• Chúng ta di chuyển giữa các thành phố bằng cách nào?
• Những nhà hàng nào ngon nhất ở mỗi thành phố?
• Chúng ta có thể lên lịch các hoạt động khác nhau cùng nhau như thế nào?

Mục tiêu tạo ra một lộ trình sau đó được hoàn thành bằng cách kết hợp các giải pháp của từng vấn đề đó.

Các tác nhân dựa trên tiện ích

Các tác nhân dựa trên tiện ích mở rộng các tác nhân dựa trên mục tiêu bằng cách đưa vào yếu tố tối ưu hóa. Thay vì chỉ đơn thuần đạt được mục tiêu, chúng đánh giá các kết quả khác nhau bằng cách sử dụng "hàm tiện ích".

Hàm tiện ích gán điểm cho các kết quả dựa trên các tiêu chí như chi phí, thời gian, rủi ro hoặc sở thích của người dùng. Sau đó, tác nhân sẽ chọn chuỗi hành động tối đa hóa tiện ích tổng thể.

Cách tiếp cận này phổ biến trong các hệ thống đề xuất và các bài toán tối ưu hóa. Đó có thể là việc tìm ra tuyến đường tốt nhất đến một địa điểm, đề xuất các sản phẩm phù hợp, hoặc thậm chí đưa ra phân tích tốt nhất để hiển thị cho một người dùng cụ thể.

Các tác nhân học tập

Các tác nhân học tập được thiết kế để cải thiện hành vi của chúng theo thời gian mà không cần lập trình lại một cách rõ ràng. 

Với mỗi lần lặp, tác nhân nhận được phản hồi và sử dụng thông tin đó để cải thiện hiệu suất của mình. Chúng hoạt động trong môi trường mà hành vi tối ưu không được biết trước và không yêu cầu lập trình lại rõ ràng cho mỗi tình huống mới.

Có hai thành phần chính: một "Bộ phận đánh giá" và một "Bộ phận học tập". "Bộ phận đánh giá" xem xét kết quả và cung cấp phản hồi. "Bộ phận học tập" sử dụng phản hồi này để điều chỉnh các quyết định trong tương lai. Theo thời gian, tác nhân sẽ trở nên phù hợp hơn với sở thích của người dùng hoặc các ràng buộc của môi trường.

Ví dụ, hãy tưởng tượng một LLM Agents tóm tắt tin tức hàng ngày cho bạn. Nó có thể quan sát hành vi của bạn và thích ứng với sở thích của bạn. Nếu tác nhân nhận thấy bạn hiếm khi mở các bản tóm tắt "Thể thao", nhưng lại quan tâm đến "Ẩm thực", nó có thể ngừng cung cấp các bản tóm tắt thể thao và thay vào đó tập trung vào sở thích của bạn đối với các món ăn hoặc nhà hàng cụ thể.

Tóm tắt về các LLM Agents

Bảng sau đây tóm tắt sự khác biệt giữa các loại LLM Agents.

Các khung phần mềm phổ biến để xây dựng LLM Agents

Phần này giới thiệu các khung cấu trúc phổ biến được sử dụng để xây dựng hệ thống LLM Agents.

LangChain

LangChain cung cấp một khung cấu trúc mô-đun để xây dựng các hệ thống dựa trên LLM. Ý tưởng cốt lõi của nó là các quy trình làm việc phức tạp có thể được xây dựng bằng cách kết hợp các thành phần đơn giản. Nó giải quyết thách thức giao tiếp với các LLM khác nhau và trừu tượng hóa quá trình đó cho người dùng thông qua các đối tượng Python.

Khái niệm cốt lõi trong LangChain là khái niệm "Chuỗi" (Chains), liên kết các lời nhắc, mô hình và trình phân tích cú pháp thành các quy trình làm việc có thể lặp lại. Ví dụ, ý tưởng là bạn lấy một chuỗi PromptTemplate, được đưa vào LLM và được xử lý bởi một trình phân tích cú pháp OutputParser. 

LCEL (LangChain Expression Language) cung cấp cú pháp khai báo cho phép người dùng sử dụng các đường ống ( |) để trực quan hóa việc tạo chuỗi. Vì vậy, thay vì các quy trình làm việc Python cổ điển yêu cầu bạn phải cung cấp các lời nhắc một cách rõ ràng vào mô hình của mình, bạn chỉ cần viết chain = prompt | modelvà để LangChain xử lý việc tạo mẫu. 

Để có các chức năng phức tạp hơn, LangChain cho phép người dùng thêm các công cụ như Wikipedia, Python REPL và Google Search vào các tác nhân của họ.

LangGraph được xây dựng dựa trên chức năng của LangChain và kết hợp các khái niệm này với bộ nhớ để hỗ trợ các kiến ​​trúc tác nhân có trạng thái, đạt tiêu chuẩn sản xuất, với khả năng kiểm soát rõ ràng luồng thực thi. 

Ngoài LangGraph, hệ sinh thái của LangChain còn phát triển hơn nữa để bao gồm các cách quan sát tác nhân dễ dàng hơn ( LangSmith ) và thậm chí cả giao diện kéo thả ( LangFlow ). 

LlamaIndex

LlamaIndex vượt trội trong các quy trình làm việc tập trung vào tài liệu bằng cách cung cấp khả năng nhận dạng ký tự quang học (OCR) và phân tích cú pháp với độ chính xác cao cho hơn 90 loại tệp không cấu trúc, có thể kết hợp tùy chọn với các quy trình làm việc dựa trên tác nhân để truy xuất và trích xuất thông minh.

Các trình kết nối dữ liệu của nó đơn giản hóa việc nhập dữ liệu từ nhiều nguồn, trong khi cấu trúc chỉ mục của nó tối ưu hóa việc truy xuất. VectorStoreIndex là lựa chọn phổ biến nhất cho tìm kiếm ngữ nghĩa.

Các công cụ truy vấn điều phối việc tìm kiếm và tạo ra thông tin, trong khi các bộ định tuyến đưa ra quyết định giống như tác nhân bằng cách chọn nguồn dữ liệu phù hợp nhất cho một truy vấn nhất định.

CrewAI

CrewAI được thiết kế dựa trên sự hợp tác. Thay vì chỉ có một tác nhân duy nhất, nó cho phép nhiều tác nhân với các vai trò khác nhau cùng làm việc.

Nó tập trung vào ý tưởng về "Nhóm", là một tập hợp các tác nhân được xác định rõ ràng. Mỗi tác nhân được gán một tính cách, mục tiêu và câu chuyện riêng, điều này định hình hành vi của họ. 

Nhiệm vụ xác định những việc cần làm và tiêu chí thành công. Bạn xác định nhiệm vụ cụ thể trông như thế nào, cung cấp một số tham số, kết quả mong đợi và những người chịu trách nhiệm thực hiện nhiệm vụ đó.

Các quy trình xác định cách thức thực hiện các nhiệm vụ: tuần tự, theo thứ bậc, hoặc thông qua các mô hình điều phối viên-nhân viên, trong đó một tác nhân chính phân tách động các nhiệm vụ phức tạp, mô phỏng các nhóm người.

Theo tài liệu của CrewAI [1] , chúng ta có thể thấy rằng các luồng (flow) cung cấp một cách để điều phối và kích hoạt các nhóm (crew). Mỗi nhóm sử dụng các LLM Agents với các vai trò và nhiệm vụ được xác định để thực hiện công việc cụ thể và tạo ra kết quả mong muốn.

Lựa chọn khung phần mềm phù hợp

Việc lựa chọn một framework phụ thuộc vào phạm vi vấn đề và các ràng buộc của bạn. Mỗi framework được trình bày đều có những ưu điểm riêng:

• LangChain: Cung cấp sự linh hoạt và khả năng kiểm soát với khả năng hiển thị tốt nhất về cách thức hoạt động của từng công cụ.
• LlamaIndex: Xuất sắc trong các quy trình làm việc tập trung vào tài liệu, nơi việc phân tích thông tin là vô cùng quan trọng.
• CrewAI: Phát huy tối đa hiệu quả khi cần sự hợp tác và phân chia vai trò rõ ràng, và bạn không quá chú trọng vào cách thức các nhân viên hoàn thành công việc.

Hãy cân nhắc độ phức tạp của dữ liệu, mức độ tự chủ cần thiết và các ràng buộc về mặt vận hành. Không có lựa chọn nào là đúng tuyệt đối.

Các trường hợp sử dụng LLM Agents

Các trường hợp sử dụng LLM Agents về cơ bản là vô tận và chỉ bị giới hạn bởi trí tưởng tượng của bạn.

Trợ lý lập trình

Các trợ lý lập trình hiện đại sử dụng quy trình làm việc dựa trên tác nhân để lập kế hoạch, thực hiện và xác minh các thay đổi. Chúng có thể khám phá mã nguồn, tạo ra giải pháp, chạy thử nghiệm và sửa lỗi một cách lặp đi lặp lại. 

Ví dụ, Cursor tích hợp trực tiếp vào IDE của bạn và giúp bạn hoàn thành các dòng mã hoặc sửa các thay đổi trong pipeline có ảnh hưởng đến các pipeline khác. Claude Code có thể giúp bạn viết các bài kiểm tra, tạo toàn bộ script hoặc đánh giá sự không nhất quán trong mã của bạn trên toàn bộ kho lưu trữ. Chúng ta có thể sử dụng GitHub Copilot để hỗ trợ viết pull request và kiểm thử mã như một phần của quy trình làm việc.

Điều này chuyển vai trò của nhà phát triển từ việc viết từng dòng mã sang giám sát và hướng dẫn các hệ thống thông minh. Đối với các chuyên gia dữ liệu, điều này có thể giúp tăng tốc đáng kể quá trình thử nghiệm và tạo mẫu.

Business Intelligence

Agentic BI systems dựa trên tác nhân cho phép người dùng đặt câu hỏi bằng ngôn ngữ tự nhiên và nhận được thông tin chi tiết hữu ích. Tác nhân có thể dịch câu hỏi thành SQL, thực thi truy vấn và giải thích kết quả. 

Bạn có thể tương tác với dữ liệu như thể đang trò chuyện với một thành viên cấp cao trong nhóm và nhận được những hiểu biết và hình ảnh trực quan mới trong thời gian thực. Điều này giúp giảm sự phụ thuộc vào bảng điều khiển và cho phép các thành viên không chuyên về kỹ thuật trong nhóm thực hiện phân tích khám phá. 

Tổng hợp tài liệu và thông tin

Các chuyên viên nghiên cứu tự động hóa việc thu thập và tổng hợp thông tin. Họ tìm kiếm trên web, truy xuất nguồn tài liệu và tóm tắt kết quả; một số hệ thống còn bao gồm các bộ lọc chất lượng nguồn cơ bản. Họ thậm chí có thể xem xét các tài liệu nội bộ được lưu trữ trên các trang web như Notion hoặc các tin nhắn trong Slack. 

Với quyền truy cập vào tất cả các nguồn thông tin này, các chuyên viên LLM không chỉ có thể nhanh chóng tổng hợp thông tin mà còn có thể tạo ra toàn bộ tài liệu và tài liệu tóm tắt để các nhóm có thể nhanh chóng chia sẻ thông tin. 

Điều này đặc biệt có giá trị trong các lĩnh vực phát triển nhanh chóng, nơi các tập dữ liệu tĩnh nhanh chóng trở nên lỗi thời. Các tác nhân cung cấp những thông tin chi tiết được cập nhật liên tục.

Những thách thức chính trong quy trình làm việc dựa trên tác nhân

Mặc dù quy trình làm việc dựa trên tác nhân rất tuyệt vời và cực kỳ mạnh mẽ, nhưng chúng cũng đi kèm với những thách thức riêng. Các tác nhân có thể thực hiện sai các bước, hiểu sai kết quả đầu ra của công cụ hoặc rơi vào các vòng lặp dài hoặc không mong muốn. Các biện pháp bảo vệ, xác thực và khả năng quan sát là rất quan trọng đối với các hệ thống sản xuất.

Mỗi thao tác của tác nhân thường yêu cầu một lệnh gọi LLM. Các tác vụ phức tạp có thể liên quan đến hàng chục lệnh gọi, làm tăng độ trễ và chi phí API. Thêm vào đó, bạn có thể phải trả tiền cho cơ sở hạ tầng bổ sung như lưu trữ đám mây, điện toán đám mây và các chi phí khác để hỗ trợ LLM Agents.

Các hệ thống tự trị khó gỡ lỗi hơn so với mã lập trình có tính xác định. Để hiểu lý do tại sao một tác nhân đưa ra quyết định, cần phải theo dõi trạng thái, bộ nhớ và các bước suy luận. 

Tùy thuộc vào khung tác nhân bạn sử dụng, điều này có thể vô cùng khó khăn. Một số khung, như CrewAI, trừu tượng hóa sâu hơn nhiều do độ phức tạp bổ sung của chúng so với một khung đơn giản hơn như LangChain, vốn tập trung vào việc đơn giản hóa việc truy cập LLM của bạn.

Phần kết luận

Chúng ta đang chuyển đổi từ các chatbot riêng lẻ sang các quy trình làm việc hoàn toàn dựa trên tác nhân, có khả năng suy luận, lập kế hoạch và hành động. Mặc dù vẫn còn ở giai đoạn đầu, mô hình này đã và đang định hình lại cách thức xây dựng và sử dụng các hệ thống dữ liệu.

Đối với những người muốn trở thành chuyên gia dữ liệu, việc tìm hiểu về các LLM Agents ngày nay sẽ mang lại lợi thế mạnh mẽ cho các vai trò trong tương lai. Những hệ thống này đại diện cho tương lai của tự động hóa thông minh. 

Nguồn: Infinity News