SwarmEvolve tìm kiếm chương trình nhanh bằng đàn agent ẩn

Một bài preprint mới trên arXiv, https://arxiv.org/abs/2611.08483, giới thiệu SwarmEvolve do Qile Jiang và George Em Karniadakis thực hiện tại Đại học Brown. Bản này chưa được phản biện. Bài dưới đây dựa hoàn toàn trên nội dung bản preprint để giải thích cách SwarmEvolve hoạt động, cách nhóm nghiên cứu đánh giá, những gì kết quả cho thấy và đâu là giới hạn cần nhớ.

SwarmEvolve giải quyết nút thắt nào?

Trong tìm kiếm chương trình dẫn dắt bởi mô hình ngôn ngữ, AI đóng vai trò biến đổi và lai ghép: viết chương trình mới, sửa chương trình cũ, rồi giữ lại cách làm cho điểm cao. Theo mô tả của nhóm tác giả, cách chạy ấy chậm vì mỗi vòng lặp, mô hình phải viết ra một chuỗi suy nghĩ bằng chữ rất dài, và việc này phải lặp lại nhiều lần mới giữ được sự đa dạng của quần thể. SwarmEvolve đi theo hướng khác: nó thay đổi cách mỗi vòng suy luận được tạo ra.

Thay vì chờ một mô hình lớn viết xong đoạn văn suy luận rồi mới đọc kết quả, SwarmEvolve cho hàng trăm agent chi phí thấp cùng làm việc theo từng đàn. Mỗi đàn nhìn bài toán từ một góc riêng, còn suy luận diễn ra trong không gian tiềm ẩn, không giải mã ra văn bản. Bài báo nêu rằng mỗi vòng của SwarmEvolve chỉ mất khoảng một phút, nên chỉ vài vòng đầu đã khảo sát được nhiều hướng tìm kiếm cùng lúc.

Phương pháp: SwarmEvolve suy nghĩ trong không gian tiềm ẩn

Cách những agent này chia sẻ thông tin là truyền KV cache cho nhau, tức chuyển tiếp trực tiếp trạng thái tính toán nội bộ thay vì gửi đoạn văn bản. Nhờ vậy, toàn bộ 450 agent tiềm ẩn của một vòng chỉ tốn vài giây, trong khi ba khung so sánh mất 20 đến 35 giây cho mỗi chương trình vì để mô hình suy ra chữ. Đây cũng là lý do nhóm tác giả cho rằng SwarmEvolve tạo ra được nhiều chương trình hơn mỗi giờ.

Mỗi đàn trong SwarmEvolve tiếp cận một hướng khác nhau, nên các giả thuyết khác biệt có cơ hội cùng xuất hiện trong một vòng thay vì lần lượt. Các agent không phải chờ nhau viết xong văn bản, mà cùng chạy trên dữ liệu tính toán chung rồi chuyển sang vòng tiếp theo. Tác giả cho rằng tổ chức này giúp duy trì sự đa dạng của quần thể chương trình mà không tốn thêm thời gian diễn giải bằng chữ.

Bộ lọc tính mới và phép lai ghép bằng KV cache

Để loại những ý tưởng trùng lặp, SwarmEvolve dùng bộ lọc tính mới đo trực tiếp khoảng cách giữa các vector trạng thái ẩn của agent. Ở chiều lai ghép, một agent tóm tắt nhận KV cache gộp từ mọi thành viên trong đàn, nên sự kết hợp ý tưởng diễn ra ngay trong không gian tiềm ẩn. Bài so sánh rằng ShinkaEvolve phải dùng thêm mô hình nhúng ngoài và một mô hình chấm để bác bỏ những đề xuất tương tự nhau.

SwarmEvolve được kiểm chứng trên bộ bài toán nào?

Nhóm nghiên cứu chạy 21 bài toán thuộc năm lĩnh vực: đóng gói, hình học, giải tích, tổ hợp và tính toán khoa học. Sáu bài trong bốn lĩnh vực đầu lấy từ phần phụ lục của AlphaEvolve, dùng chung đề bài, chương trình khởi đầu và bộ chấm theo OpenEvolve. Điểm mỗi bài là giá trị mục tiêu chia cho kết quả AlphaEvolve đã công bố, nên điểm trên 1 nghĩa là cải thiện so với AlphaEvolve.

Năm bài còn lại thuộc tính toán khoa học, phủ hệ phương trình tuyến tính thưa, trị riêng của ma trận không chuẩn, cùng các phương trình Burgers, đối lưu–khuyếch tán và Helmholtz. Ở nhóm này, điểm là số chữ số đúng so với đáp án tham chiếu chất lượng cao, trung bình qua nhiều trường hợp thử khó. Mọi khung được chạy 60 phút trên một GPU, tám lõi CPU, chấm đồng thời tám chương trình, với ba lần lấy hạt giống.

Ba mô hình và ba khung so sánh

Ba khung dẫn dắt bằng mô hình ngôn ngữ được dùng để so sánh với SwarmEvolve là OpenEvolve, ShinkaEvolve và CodeEvolve; chúng giữ cấu hình mặc định, để mô hình suy ra chữ trước khi trả lời và dùng vLLM để tăng tốc suy luận. Mỗi khung chạy với ba phiên bản Qwen3: 8B, 14B và 32B-FP8. Riêng SwarmEvolve chạy trên cùng bộ mô hình để kết quả là công bằng.

Kết quả SwarmEvolve báo cáo

Theo bảng điểm trong bài, SwarmEvolve đạt điểm trung bình cao nhất với cả ba mô hình: 0,804 với Qwen3 8B, 0,837 với 14B và 0,869 với 32B-FP8, so với mức cao nhất của ba khung kia lần lượt là 0,700, 0,771 và 0,774. Trung bình của SwarmEvolve khi chạy model 8B còn vượt cả ba khung khi chạy model 32B-FP8, và trên phần lớn từng bài toán riêng, SwarmEvolve đứng đầu.

Về tốc độ, SwarmEvolve chấm được 5 đến 13 lần nhiều chương trình mỗi giờ so với nhóm so sánh. Thời gian trung vị để đạt điểm mà nhóm kia phải mất 60 phút mới có là 4 đến 8 phút với Qwen3 8B và 3 đến 6 phút với các mô hình lớn hơn. Với Qwen3 32B-FP8, SwarmEvolve giải trọn vẹn cả năm bài hệ phương trình tuyến tính thưa, điều mà không lần chạy nào của ba khung kia đạt được.

Ý nghĩa và giới hạn của kết quả SwarmEvolve

Nhóm tác giả diễn giải rằng đàn agent giao tiếp trong không gian tiềm ẩn mang lại cách tìm kiếm chương trình nhanh và chi phí thấp cho các bài toán khoa học. Với Qwen3 8B, SwarmEvolve vượt các cấu trúc AlphaEvolve đã công bố ở ba bài, so với một bài của từng khung kia; ví dụ, cách đóng gói 26 hình tròn vào hình vuông đạt tổng bán kính đã biết tốt nhất là 2,635983, và hàm bậc thang cải thiện hai bất đẳng thức tương quan.

Những giới hạn của kết quả này cũng nên nêu rõ. Đây là bản preprint chưa qua phản biện, số liệu đến từ 21 bài toán benchmark chạy trong 60 phút trên phần cứng cụ thể, nên chưa thể coi là phát minh đã được xác nhận. Không phải bài nào SwarmEvolve cũng dẫn đầu: với kissing number d = 11 và bài trị riêng, có khung cho điểm cao hơn ở vài cấu hình mô hình.

Nhìn chung, SwarmEvolve thay chuỗi suy nghĩ viết bằng chữ bằng cách suy luận và trao đổi KV cache, giúp rút thời gian tìm kiếm xuống vài phút trên bộ bài thử. Toàn văn bản preprint: https://arxiv.org/abs/2611.08483. Độc giả có thể xem thêm tại /blog/.

Nguồn tham khảo: Qile Jiang, George Em Karniadakis, “SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization”, arXiv:2611.08483 (preprint, 05/11/2026), https://arxiv.org/abs/2611.08483