Contrastive Discovery: thay cách chấm một giả thuyết lẻ
Nhiều nhóm dùng agent ngôn ngữ lớn để đề xuất giả thuyết, nhưng phần lớn chấm từng giả thuyết một. Bản preprint Contrastive Discovery trên arXiv (https://arxiv.org/abs/2611.14514) của Ziang Liu và cộng sự Cornell thay cách ấy bằng các giải thích cạnh tranh.
Cách chấm đơn lẻ bỏ lỡ gì
Phần lớn hệ thống thử một mệnh đề h với phần đối của nó, tức chỉ hỏi h đúng hay sai. Khi bằng chứng bác bỏ h, agent biết một giải thích khó xảy ra, nhưng không biết dữ liệu đang thiên về giải thích nào. Theo số liệu nhóm tác giả báo cáo trên sáu lĩnh vực, 89% ứng viên có dịch chuyển niềm tin mạnh nhất đều là lần bác bỏ. Lỗ hổng đó chính là điều Contrastive Discovery muốn lấp, và đây là số do chính nhóm đo.
Một lần bác bỏ sớm sẽ bỏ phí bằng chứng đã thu. Nhóm Contrastive Discovery rà 8.547 giả thuyết từ 32 lần chạy và đối chiếu với 300 bộ giải thích lấy mẫu cùng dữ liệu: ở ngân sách khớp nhau chỉ 2,6% câu hỏi có trọn bộ, mở rộng gấp bốn đến sáu lần mới lên 15,4%. Giải thích đúng cuối cùng chỉ hiện diện 25,4% khi nó sửa niềm tin ban đầu, so với 52,0% khi củng cố niềm tin sẵn có. Khoảng trống đó chính là chỗ Contrastive Discovery nhắm tới.
Contrastive Discovery vận hành ra sao
Contrastive Discovery thay một giả thuyết đơn lẻ bằng một contrast set: một câu hỏi khoa học kèm các giải thích loại trừ lẫn nhau, phủ hết khả năng. Mỗi thí nghiệm được chấm theo mức niềm tin được phân phối lại giữa các thành viên; câu hỏi được xem là đã giải quyết khi niềm tin dồn hẳn vào một giải thích. Vì chỉ đổi đơn vị đề xuất và chấm điểm, agent sẵn có dùng bộ này để chấm lại bằng chứng cũ hoặc định hướng tìm kiếm.
Về kỹ thuật, điểm mục tiêu là surprise Bayesian, tức độ thay đổi niềm tin hậu nghiệm so với tiền nghiệm, thay vì đánh giá độ thú vị. Các vòng thí nghiệm do nhiều vai đảm nhận — người viết mã, phân tích, phản biện và sửa đổi — chạy trên bảng với agent nền gpt-4o. Ở phần đối chiếu, Contrastive Discovery không tuyên bố cách chấm chung tốt hơn cách chấm riêng: chênh lệch chỉ 4,1 đơn vị, 6% khoảng cách chính, với khoảng tin cậy bao trùm số không.
Ví dụ X và Y trong bài
Hình 1 đưa ra ba giải thích cho X–Y: tương quan dương (tiền nghiệm 0,64), không tương quan (0,22) và tương quan âm (0,14). Sau thí nghiệm, niềm tin lần lượt là 0,07; 0,81 và 0,12 nên bộ được chốt về “không tương quan”. Đây là ví dụ Contrastive Discovery thay cho cách chấm từng điểm.
Nhóm nghiên cứu đánh giá Contrastive Discovery thế nào
Nhóm Contrastive Discovery chạy trên sáu lĩnh vực với nhiều phép kiểm tra: chấm lại bằng chứng cũ, so với surprisal đơn lẻ cùng ngân sách, chấm riêng từng thành viên thay vì cả bộ, đổi định dạng câu hỏi niềm tin, rồi đối chiếu với thống kê tính lại từ dữ liệu thô. Quan trọng nhất là nghiên cứu mù: 38 chuyên gia đọc bằng chứng không kèm chỉ dẫn, chọn cùng giải thích trên 78% câu đã giải quyết và 82% trên các câu mà agent đơn lẻ từng bác bỏ rồi dừng.
Bài Contrastive Discovery còn kiểm tra xem bộ contrast có thể gom sẵn từ các giả thuyết lẻ hay không: đối từng thành viên với kho 8.547 giả thuyết, chỉ 29,1% thành viên xuất hiện ở ngân sách khớp và 2,6% câu hỏi có trọn bộ. Hai cách chấm dẫn tới cùng giải thích trên 89,3% bộ; với 170 câu có thống kê tính lại, chúng cho 166 và 165 câu đúng, nên không cách nào chính xác hơn. Nhóm cho rằng lợi ích lớn nhất nằm ở việc so sánh với cả bộ.
Khi tăng số giải thích
Contrastive Discovery ghi nhận tỷ lệ giải quyết giảm dần khi thêm lựa chọn: 93,4% với hai giải thích (102 câu), 83,2% với ba (2.217 câu) và 68,3% với bốn (479 câu). Theo nhóm, ngưỡng 80% niềm tin vào một thành viên khó đạt hơn khi niềm tin ban đầu đã rải ra, chứ bằng chứng không yếu đi: độ thay đổi niềm tin thô thực tế tăng từ 0,59 lên 1,07 bit. Khi chuẩn hóa theo loại câu hỏi, khoảng cách giữa ba và bốn chỉ còn 2,2 điểm phần trăm.
Kết quả Contrastive Discovery báo cáo
Trên cùng bằng chứng, bộ contrast của Contrastive Discovery chốt được 73% trong số các ứng viên bị bác bỏ theo cách đơn lẻ, biến lần loại trừ thành giải thích cụ thể. Khi bộ dẫn dắt tìm kiếm, agent giải quyết nhiều câu hỏi hơn 67% so với việc theo đuổi surprisal đơn lẻ với cùng số thí nghiệm. Theo diễn giải của người viết, hai con số đo trên thử nghiệm do nhóm dựng nên, cho thấy phần bằng chứng bỏ qua sau lần bác bỏ vẫn dùng được.
Đáng nói là phần lớn lời giải đến từ việc sửa niềm tin sai ban đầu chứ không phải củng cố điều đã tin. Đồng thuận 78–82% của 38 chuyên gia cho thấy lựa chọn của hệ thống thường trùng phán đoán của người thật, kể cả ở nhóm câu cách tiếp cận cũ dừng lại. Bài thận trọng khi nhấn mạnh đây là kết quả đo bằng niềm tin do mô hình suy ra, nên số câu Contrastive Discovery ghi nhận phần nào phụ thuộc công cụ hỏi niềm tin.
Giới hạn của Contrastive Discovery
Nhóm tác giả của Contrastive Discovery nêu rõ nhiều giới hạn: dữ liệu dùng là bảng quan sát, chỉ có một agent nền gpt-4o, và “giải quyết” ở đây là phát hiện thống kê chứ không phải nhân quả. Contrast set cũng có thể sai cấu trúc hoặc bỏ sót giải thích khả dĩ; họ đề nghị thêm một phương án từ chối để đánh dấu chỗ bị bỏ sót, đồng thời ghi nhận qua đánh giá cấu trúc và chuyên gia rằng phần lớn bộ được dựng đúng theo đánh giá của họ.
Việc đếm câu giải quyết còn phụ thuộc mô hình LLM dùng để hỏi niềm tin. Về tương lai, bài chỉ nêu việc kiểm chứng trong phòng thí nghiệm và các can thiệp dài hạn như công việc tới đây, chưa thực hiện. Nói cách khác, Contrastive Discovery cho thấy đánh giá tương phản tận dụng cùng ngân sách và kiểm chứng hiệu quả hơn trên bảng, nhưng chưa phải bằng chứng “AI tự phát minh”; toàn bộ số liệu do tác giả tự báo cáo và trang arXiv chưa nêu venue phản biện nên đây vẫn là bản preprint.
Nguồn tham khảo
- Ziang Liu, James J. Kim, Yijia Dai, Jennifer J. Sun, Contrastive Discovery (arXiv:2611.14514, preprint): https://arxiv.org/abs/2611.14514
- Đọc thêm: /books/ai-infra-book/, /blog/