Giới thiệu
Khi tôi bắt đầu xây dựng hệ thống lập luận OrKA, tôi nhận ra một điểm yếu thường gặp trong hầu hết các hệ thống điều phối AI: định tuyến. Hầu hết các framework sử dụng các bộ định tuyến hoạt động như đèn giao thông tĩnh. Chúng cần các quy tắc đã được định nghĩa trước hoặc một danh sách ứng viên cố định để chuyển tiếp một đầu vào tới bước tiếp theo. Điều này hoạt động tốt trong các bản demo, nhưng khi quy trình làm việc mở rộng, nó trở nên dễ bị tổn thương. Tôi muốn một điều gì đó khác.
Tôi muốn một hệ thống có thể tự khám phá con đường của nó dựa trên câu hỏi, đồ thị và dữ liệu có sẵn. Đó là cách mà GraphScout Node ra đời trong OrKA.
Tại Sao Phải Xây Dựng GraphScout
Ý tưởng chính đằng sau GraphScout rất đơn giản: một quy trình làm việc thông minh không chỉ nên tuân theo các hướng dẫn đã viết sẵn, mà còn nên khám phá cấu trúc xung quanh và quyết định nơi cần đi tiếp. Điều này quan trọng bởi vì trong các tình huống thực tế, bạn hiếm khi biết trước con đường nào sẽ là tốt nhất. Các đầu vào thay đổi, ngân sách thay đổi và ngữ cảnh cũng quan trọng.
Nếu một bộ định tuyến không có khả năng quan sát, nó sẽ thất bại hoặc chọn nhầm nhánh. Nếu nó có thể khám phá phía trước, nó sẽ thích nghi.
Lý thuyết ở đây tương tự như cách mà các hệ thống sống hoạt động. Động vật không cam kết vào mọi hành động. Chúng khám phá, mô phỏng các kết quả có thể trong đầu và sau đó chọn lựa. GraphScout đưa nguyên tắc đó vào OrKA.
Nền Tảng Lý Thuyết
Để giải thích sâu hơn về GraphScout, tôi muốn quay lại và nói về tầm quan trọng của việc tự khám phá trong các hệ thống AI.
Trong nhiều năm, hầu hết các logic điều phối đều là xác định: Bạn viết mã quy tắc, hệ thống tuân theo chúng, và bạn nhận được đầu ra dự đoán được. Sự dự đoán này mang lại cảm giác thoải mái nhưng lại dễ bị tổn thương. Ngay khi môi trường thay đổi hoặc một loại đầu vào mới xuất hiện, các quy tắc đó trở nên lỗi thời. Bạn sau đó phải vội vã sửa chữa chúng hoặc cứng nhắc thêm nhiều điều kiện hơn.
Đó là lý do tại sao rất nhiều framework điều phối thất bại trong thực tế. GraphScout vượt qua điều này bằng cách làm cho bộ định tuyến có khả năng thích nghi. Nó vẫn giữ tính xác định trong cách nó tính toán nhưng lại lý luận về đồ thị trước mặt. Nó không chỉ thực hiện một chỉ dẫn; nó khám phá những gì hợp lý để làm tiếp theo. Đây là một bước nhỏ hướng tới các hệ thống thích nghi như các quá trình sống.
Cách Hoạt Động Của GraphScout
Về mặt khái niệm, GraphScout hoạt động qua năm giai đoạn.
- Đầu tiên là khảo sát đồ thị: Nó truy vấn bộ điều phối và đọc cấu trúc trực tiếp: các node, các cạnh, siêu dữ liệu, khả năng, gợi ý chi phí, nhãn an toàn.
- Thứ hai là mở rộng đường đi: Thay vì chỉ nhìn vào các hàng xóm ngay lập tức, nó mở rộng ra bên ngoài tới một chiều sâu có thể cấu hình, thường là hai. Điều này cho phép nó nhìn thấy không chỉ bước tiếp theo mà còn các chuỗi ngắn có thể kết thúc ở một responder.
- Thứ ba là mô phỏng trước: Đây là nơi mà agent thực hiện các lần chạy thử nhỏ với một LLM cục bộ, tạo ra một bản xem trước ngắn gọn về việc node đó có thể xuất ra cái gì.
- Thứ tư là đánh giá: Mỗi đường đi ứng viên nhận được một điểm số kết hợp giữa độ liên quan, heuristics, priors, chi phí, độ trễ và an toàn.
- Thứ năm là quyết định: Nếu một đường đi nổi bật, GraphScout sẽ cam kết với nó. Nếu một chuỗi cuối có thể đạt được, nó có thể cam kết với toàn bộ chuỗi. Nếu độ không chắc chắn quá cao, nó sẽ trả về một danh sách ngắn.
Tại Sao Tự Khám Phá Quan Trọng
Tại sao điều này lại quan trọng ngoài sự tiện lợi trong kỹ thuật?
Bởi vì tự khám phá trong điều phối thể hiện một nguyên tắc rằng trí thông minh yêu cầu nhận thức về các tùy chọn. Một bộ định tuyến tĩnh là mù quáng. Nó không thể tưởng tượng.
GraphScout tưởng tượng theo cách hạn chế. Nó khám phá phía trước, xem trước tương lai và cân nhắc chúng.
Điều này gần gũi hơn với lý luận. Và lý luận, ngay cả ở dạng nhỏ này, tạo ra sự kiên cố. Nếu bạn đặt GraphScout vào một đồ thị mới, nó vẫn hoạt động. Nếu bạn thay đổi cấu trúc, nó sẽ thích nghi. Nếu bạn cung cấp đầu vào bất ngờ, nó vẫn có thể tìm được một con đường.
Đó là lý do tại sao việc tự khám phá không phải là một sự xa xỉ mà là một yêu cầu cho điều phối thông minh.
Minh Bạch và Tin Cậy
Trong thực tế, GraphScout cũng mang lại sự minh bạch.
Mỗi bản xem trước, điểm số và quyết định đều được ghi lại. Bạn có thể phát lại dấu vết trong OrKaUI và xem chính xác lý do tại sao một con đường được chọn.
Điều này quan trọng cho việc gỡ lỗi nhưng cũng cho sự tin cậy. Nếu bạn muốn xây dựng các hệ thống mà mọi người dựa vào, họ cần phải có khả năng thấy cách mà các quyết định được đưa ra.
GraphScout làm cho điều đó trở nên rõ ràng. Nó biến việc định tuyến từ một hộp đen thành một quy trình mà bạn có thể kiểm toán.
Kiểm Tra GraphScout
Hiện tại tôi đang kiểm tra sâu sắc GraphScout trong các quy trình làm việc thực tế. Các lần chạy sớm cho thấy cả sức mạnh và sự thận trọng của nó. Đôi khi nó cam kết một cách tự tin: ví dụ, các câu hỏi thực tế thường kích hoạt search_agent sau đó là response_builder.
Thỉnh thoảng nó lại thận trọng, trả về một danh sách ngắn khi hai con đường trông giống nhau tốt. Điều này cho tôi thấy rằng việc đánh giá cần được tinh chỉnh. Nhưng hành vi cốt lõi là đúng: nó khám phá, nó đánh giá, nó thích nghi.
Một chút thông tin về các mục tiêu trả về:
json
[
{
"node_id": "input_classifier",
"depth": 1,
"feasible": true,
"constraints_met": true,
"fits_budget": true,
"llm_evaluation": {
"score": 0.329,
"is_recommended": false,
"reasoning": "Phân loại đầu vào bằng input_classifier - bước định tuyến trung gian. Lợi thế chính: Phân loại đầu vào để định tuyến",
"confidence": 0.8,
"expected_outcome": "Câu hỏi được phân loại cho định tuyến tối ưu",
"pros": [
"Phân loại đầu vào để định tuyến"
],
"cons": [
"Bước trung gian, cần có bước theo sau",
"Cần một bước tạo phản hồi bổ sung"
]
}
},
{
"node_id": "memory_writer",
"depth": 1,
"feasible": true,
"constraints_met": true,
"fits_budget": true,
...},
...
]Chỉ riêng điều đó đã làm cho nó khác biệt với bất kỳ bộ định tuyến tĩnh nào mà tôi đã sử dụng. Điều này sẽ được phát hành cùng với OrKa v0.9.3.
Tại Sao Điều Này Khiến Tôi Hứng Thú
Tại sao điều này khiến tôi hứng thú? Bởi vì nó chứng minh rằng OrKA có thể vượt ra ngoài một bộ công cụ điều phối. Nó cho thấy nó có thể thể hiện các nguyên tắc của lý luận thích nghi.
Một quy trình làm việc có thể tự khám phá con đường của mình là một quy trình làm việc mà cảm giác ít giống như tự động hóa và nhiều hơn như nhận thức.
Nó chưa hoàn hảo nhưng hướng đi là đúng. Và khi bạn thấy nó hoạt động, nó thay đổi cách bạn nghĩ về điều phối. Bạn không còn nghĩ theo cách kết nối và điều kiện mà bắt đầu nghĩ về các agents khám phá, quyết định và học hỏi.
Hướng Đi Tương Lai
Về lý thuyết, cách tiếp cận này cũng mở ra cánh cửa cho những hành vi phong phú hơn.
Hãy tưởng tượng mở rộng GraphScout đến nhánh xác suất, nơi nó đôi khi chọn nhiều con đường song song. Hoặc đến định tuyến đồng thuận, nơi nhiều người khám phá tranh luận trước khi cam kết. Hoặc đến việc học priors, nơi trí nhớ về những thành công trong quá khứ ảnh hưởng đến các lựa chọn trong tương lai.
Mỗi điều này đều có thể xảy ra khi bạn chuyển từ các quy tắc tĩnh sang tự khám phá. Đó là lý do tại sao tôi tin rằng agent nhỏ này là quan trọng.
Những Suy Nghĩ Cuối Cùng
Vậy điều gì có nghĩa là xây dựng trí thông minh vào điều phối? Đối với tôi, điều này có nghĩa là cho phép hệ thống khả năng lý luận về chính nó. Không theo cách ý thức lớn lao, mà theo cách thực tiễn, có thể theo dõi, có thể kiểm tra.
GraphScout là một bước trong hướng đi đó. Nó không xa hoa. Nó là cơ sở hạ tầng. Nhưng cơ sở hạ tầng là những gì làm cho trí thông minh cao hơn trở nên khả thi. Nếu không có nó, bạn chỉ có các script. Với nó, bạn bắt đầu có được các hệ thống có khả năng thích nghi.
Xây dựng OrKA luôn là về việc vượt ra ngoài các bản demo để hướng tới điều gì đó sâu sắc hơn. GraphScout là một bước nữa trên con đường đó. Nó còn trẻ, còn thô, nhưng nó là thật. Và khi v0.9.3 phát hành, nó sẽ mang theo khả năng này bên trong. Một bộ định tuyến không chỉ chuyển tiếp một cách mù quáng mà còn khám phá, xem trước và quyết định.
Đối với tôi, điều đó xứng đáng với tất cả thời gian tôi đã dành cho nó.
