Thời gian chạy xác định xác minh các kế hoạch AI trước khi thực hiện
Xác thực và thực thi các kế hoạch của đại lý thông qua một vòng lặp đề xuất-xác thực-thực hiện kiểm tra đầu ra của mô hình trước khi bất kỳ tác động phụ nào xảy ra, đảm bảo các cuộc gọi công cụ có thể dự đoán. Parslee AI cung cấp một runtime được xây dựng bằng Rust cho khả năng đồng thời cao hơn và an toàn bộ nhớ, được đóng gói với một CLI và máy chủ WebSocket cho việc điều phối cục bộ hoặc từ xa. Công cụ này bao gồm một cầu StateBench và định tuyến suy diễn thống nhất, nhằm vào các kỹ sư AI và các nhà nghiên cứu doanh nghiệp cần hành vi của đại lý có thể dự đoán và có thể kiểm toán trong quá trình phát triển và triển khai.
Cách mà runtime ngăn chặn các hành động ảo tưởng hoặc không an toàn
Runtime coi các kế hoạch là dữ liệu có thể xác minh; các tác nhân gửi một kế hoạch đề xuất mà runtime xác thực theo các chính sách được thực thi bởi Rust trước khi thực hiện bất kỳ cuộc gọi công cụ nào. Hợp đồng đề xuất-xác thực-thực hiện ngăn chặn việc thực hiện trực tiếp đầu ra mô hình thô và giảm thiểu các tác động phụ không mong muốn bằng cách từ chối hoặc xếp hạng các kế hoạch vi phạm chính sách. Thiết kế này giải quyết trực tiếp sự trôi trạng thái và các tên công cụ ảo tưởng thông qua một cổng xác minh chạy trước bất kỳ thay đổi trạng thái nào.
Những gì runtime làm để tích hợp với các bộ điều phối hiện có
Tích hợp diễn ra thông qua một CLI và một máy chủ WebSocket JSON-RPC. Gói này bao gồm một công cụ dòng lệnh có tên là car để quản lý cục bộ và car-server cho việc điều phối từ xa qua WebSocket. Ngoài ra, định tuyến suy diễn thống nhất cho phép các tác nhân gọi nhiều nhà cung cấp LLM thông qua một giao diện duy nhất, và runtime hỗ trợ giao tiếp Agent2Agent cho các quy trình làm việc phân tán.
Cách nó ảnh hưởng đến hành vi hệ thống và quy trình làm việc của nhà phát triển
Triển khai Rust giảm thiểu hành vi bộ nhớ không an toàn và hỗ trợ các cuộc gọi công cụ đồng thời, điều này cải thiện tính xác định thực thi khi nhiều tác nhân chạy song song. Runtime cung cấp một chuỗi khóa OAuth2 PKCE để xử lý thông tin xác thực đa tài khoản qua các phiên. Tích hợp StateBench cung cấp một cầu đo lường để đánh giá bộ nhớ và lý luận của tác nhân trong quá trình phát triển lặp đi lặp lại.
Thời gian chạy thực tế cho các kỹ sư cần thực hiện tác nhân xác định
Thời gian chạy là một lựa chọn tập trung cho các kỹ sư AI và các nhà nghiên cứu doanh nghiệp cần các hành động tác nhân đã được xác minh và đo lường bộ nhớ. Nó ưu tiên các môi trường mà việc thực thi chính sách trước khi thực hiện quan trọng hơn so với việc kiểm soát mô hình trực tiếp, thử nghiệm. Hãy mong đợi kiểm soát chính xác đối với các tác động phụ và một sự đánh đổi đáng chú ý: lớp xác minh thêm một bước xác thực bổ sung làm dài thêm đường dẫn thực thi so với thực thi trực tiếp.
