Harness²: khung mã nguồn mở giúp AI agent tự chỉnh "bộ đồ nghề" của mình cho từng việc mới, không cần huấn luyện lại model

 

Harness²: khung mã nguồn mở giúp AI agent tự chỉnh "bộ đồ nghề" của mình cho từng việc mới, không cần huấn luyện lại model

Repo GitHub: https://github.com/google-research/harness2

Bài báo: https://arxiv.org/abs/2610.14224

Muốn AI agent làm tốt hơn, người ta thường nghĩ tới đổi model mạnh hơn.

Harness² đi đường khác: giữ nguyên model, chỉ chỉnh phần bao quanh nó.

Đây là dự án mã nguồn mở trên GitHub của google-research, kèm bài báo khoa học trên arXiv.

Trước hết, harness là gì? Là toàn bộ hệ thống quanh model giúp nó làm được agent (trợ lý AI tự làm việc nhiều bước): câu lệnh hệ thống, công cụ, bộ nhớ, skill (gói kỹ năng), điều phối... Model là động cơ, harness là phần còn lại của chiếc xe.

Vấn đề: ngoài đời, agent sẽ gặp những việc chưa từng thấy lúc người ta thiết kế harness.

Harness² xử lý ở hai tầng:

1/ Tầng từng việc: Đề xuất - Thử - Ghép. Với việc đang làm, nó đề xuất vài cách sửa harness, chạy thử từng cách trên chính việc đó, so sánh hành vi giữa các lần chạy, rồi ghép thành harness tốt hơn. Không cần biết trước đáp án đúng.

2/ Tầng rút kinh nghiệm. Làm xong mỗi việc, nó lưu lại harness được chọn và những bài học có bằng chứng, để định hướng cho những lần chỉnh sau.

Giống một đầu bếp nấu thử vài biến tấu cho cùng một món, so xem cái nào ngon, rồi ghi vào sổ tay cho những món sau.

Harness² cho chỉnh 8 thành phần: câu lệnh hệ thống, rào chắn an toàn, bộ nhớ, hướng dẫn dùng công cụ, agent phụ, skill, script và plugin.

Kết quả nhóm tác giả báo cáo: trên 3 benchmark công việc chuyên môn (gồm cả việc pháp lý, văn phòng, web và code), chỉ một bước Harness² đã giúp GLM-5 và Gemini 3.5 Flash làm tốt hơn so với khi dùng harness gốc. Mức tăng tối đa 11,5 điểm trên WorkBuddy-Bench và 4,5 điểm trên JobBench. Cho thêm vòng chỉnh thì còn tăng nữa.

Lưu ý: repo ghi rõ đây không phải sản phẩm chính thức của Google. Chạy benchmark thật sẽ tốn phí API, còn bản demo chạy trên máy thì không cần tài khoản model nào. Giấy phép Apache 2.0.

Model mạnh là một chuyện. Biết tự chỉnh môi trường làm việc cho từng việc mới là chuyện khác.