ARC-AGI Task Generator: Sinh bài test mới để đánh giá AI không bị 'nhiễm' benchmark

Repo này là gì

ARC-AGI-1 Task Generator (11.172★) là dự án của Pathway (pathwaycom) sinh ra các bài tập kiểu ARC-AGI-1 mới, khớp phân phối với bộ dữ liệu công khai — phục vụ đánh giá các model frontier trên những bài toán mà chúng gần như chưa từng gặp. Repo: https://github.com/pathwaycom/arc-task-gen.

ARC-AGI-1 là bộ benchmark nổi tiếng đo khả năng suy luận kiểu “AGI” của model thông qua các bài toán xếp khối (grid) logic. Vấn đề cố hữu: model càng ngày càng “thuộc” đáp án benchmark. Repo này tấn công đúng vấn đề đó.

Vì sao nó đột phá

Chống data contamination thực thụ: vì bài tập được sinh mới, khớp phân phối (distribution-matched) nhưng không trùng dữ liệu công khai — model bị đánh giá trên thứ chưa từng nhìn thấy, điểm số đáng tin hơn.
Gắn với một bộ benchmark hiệu quả: repo có mục “ARC-AGI-1 Efficiency Frontier” — theo dõi hiệu quả biên của các model trên chuẩn này.
Minh bạch khoa học: kèm paper và blog post, đồng thời có mục “Independent Reproduction” — ai cũng có thể tự tái lập quy trình, không phải hộp đen.
Được làm bởi Pathway — công ty chuyên hạ tầng dữ liệu thời gian thực, có tiếng trong cộng đồng AI infra.

Bắt đầu nhanh

Theo cấu trúc repo:

Đọc mục Overview và Paper / Blog Post để hiểu phương pháp sinh bài khớp phân phối.
Xem mục What You’ll Find in This Repository — các module sinh task, script đánh giá và dữ liệu mẫu.
Dùng mục Independent Reproduction để tự chạy lại quy trình trên môi trường của bạn.
Theo dõi mục Efficiency Frontier để đối chiếu kết quả model của bạn với các model khác.

Ứng dụng thực tế

Đánh giá model của bạn một cách trung thực: thêm bộ bài tập mới vào pipeline eval để biết model thật sự suy luận — không phải “thuộc bài”.
Research papers: tạo bộ eval riêng, dùng được để báo cáo kết quả có thể tái lập.
Stresstest suy luận: sinh số lượng bài tùy ý cùng phân phối để đo độ ổn định theo thời gian.

Kết luận và takeaways

Nếu bạn tin vào điểm benchmark của model, hãy kiểm tra xem nó có nhiễm dữ liệu không — repo này là công cụ đúng chỗ.
Cách tiếp cận “sinh task mới khớp phân phối” đang trở thành chuẩn đánh giá hiện đại thay vì benchmark tĩnh.
Bắt đầu bằng việc đọc paper/blog post trong repo, rồi chạy Independent Reproduction.

Với hơn 11.000 sao, cộng đồng đang trả lời rõ ràng: đánh giá model không nhiễm benchmark là nhu cầu bức thiết, không phải tùy chọn.