Huấn luyện robot bằng mô hình mở trong môi trường mô phỏng
Trong vài năm qua, hướng gọi là robot-use agent (tạm dịch tác nhân dùng robot) nổi lên như một cách để mô hình ngôn ngữ lớn điều khiển robot phổ thông. Thay vì lập trình sẵn từng bước, mô hình quan sát ảnh camera, suy luận bằng chuỗi suy nghĩ rồi tự sinh toạ độ tiếp theo của bàn tay robot. Nhưng tác giả cho biết hiệu suất cao nhất đến nay chỉ đạt được với các mô hình proprietary hàng đầu như GPT-6 Astra và Claude Fable 5.2, còn mô hình open-weight thì kém xa.
Bài báo trên arXiv (https://arxiv.org/abs/2611.18562) do nhóm nghiên cứu MIT, UC Berkeley, UCSD, NVIDIA và Inco AI thực hiện, đăng ngày 13/11/2026. Kết quả chính: một mô hình reasoning open-weight quy mô 27B có thể được huấn luyện để dùng robot thật, hoàn toàn bằng reinforcement learning trong mô phỏng và không cần dữ liệu minh hoạ. Mô hình hoạt động “natively” — tự quan sát, tự suy luận, tự sinh hành động — mà không cần bộ khung hỗ trợ (harness) bên ngoài. Đây là preprint, chưa thấy ghi đã qua phản biện.
PEAR và RURL: một quy trình huấn luyện chạy trong mô phỏng
Nhóm xây dựng nền tảng PEAR (Post-training Engine for Agentic Robotics) để huấn luyện robot-use agent ở quy mô lớn, với quy trình gọi là RURL (robot-use reinforcement learning). Huấn luyện diễn ra trong các simulator như Isaac Gym. Ở mỗi vòng, mô hình nhận ảnh camera cùng trạng thái robot, viết ra chuỗi suy nghĩ, rồi sinh toạ độ bàn tay (end-effector pose) kế tiếp kèm thay đổi độ rộng kẹp. Hành động được thực thi, môi trường trả phần thưởng, và mô hình được cập nhật theo kết quả đó.
Một vòng huấn luyện gồm những bước nào
Từ chú giải hình 1, quy trình lặp lại ba việc: quan sát, suy luận, hành động (observe, reason, act). Chữ ký đầu ra là một khối JSON mô tả toạ độ và góc của từng tay robot. Trong thử nghiệm, mô hình được huấn luyện trên hai bộ nhiệm vụ mô phỏng là LIBERO và RoboDojo. Tác giả so sánh cách này với việc các mô hình frontier học dùng máy tính, tức học một quy trình chung thay vì học riêng cho từng robot.
Điểm khác biệt của RURL là không dùng ví dụ minh hoạ (demonstration); mô hình tự khám phá cách hoàn thành nhiệm vụ từ tín hiệu phần thưởng trong mô phỏng. Ngược lại, π0.5 — mô hình vision-language-action mà nhóm dùng để so sánh — được tinh chỉnh trên dữ liệu minh hoạ. Cách tiếp cận của nhóm vì vậy học từ phần thưởng thay vì học từ thao tác đã được người vận hành ghi lại.
Nhóm đánh giá kết quả như thế nào
Với bộ LIBERO, nhóm báo cáo tỉ lệ thành công tăng từ 1,6% (mô hình cơ bản) lên 74,4% sau khi huấn luyện. Tác giả viết con số này tiệm cận mức của GPT-6 Astra và GPT-6.1 Sol ở mức suy luận tối đa. Biểu đồ trong bài cho thấy đường cong thành công tăng dần theo số bước huấn luyện. Đây là kết quả đo trên benchmark mô phỏng, do nhóm tự báo cáo trong bản preprint.
Trên robot thật và khi đổi nhiệm vụ
Sau khi huấn luyện trên LIBERO và RoboDojo, mô hình hoàn thành 60% số lần thử trên robot dual-arm thật, trong khi mô hình cơ bản không hoàn thành lần nào. Bảng phụ lục chi tiết 30 thử nghiệm: mô hình cơ bản 0/30, mô hình chỉ huấn luyện LIBERO 7/30, mô hình đầy đủ 18/30. Ở LIBERO-Pro, khi giao nhiệm vụ mới trong bối cảnh đã quen, π0.5 thành công 0,75% số tập phim, còn mô hình của nhóm là 57,4%.
Nhóm cũng báo cáo mô hình giữ được năng lực tổng hợp: không suy giảm đo được trên chín benchmark về suy luận, lập trình và thị giác. Ngoài ra, kỹ năng học trong mô phỏng được báo cáo là chuyển sang robot không thấy trong huấn luyện, sang thế giới thực và sang chỉ dẫn mới. Cần nhớ đây đều là số liệu do tác giả công bố trên preprint, chưa qua phản biện độc lập.
Ý nghĩa thực tế theo cách nhóm nghiên cứu trình bày
Tác giả kết luận rằng robot-use reinforcement learning là một thành phần đầy hứa hẹn cho khâu post-training của mô hình nền. Về mặt thực hành, kết quả cho thấy một mô hình mở 27B có thể đảm nhận việc điều khiển robot thật sau khi huấn luyện trong mô phỏng, thay vì chỉ mạnh trên các mô hình proprietary. Đây là cách diễn giải của người viết dựa trên phần kết luận trong bài, không phải khẳng định riêng của bản preprint. Bối cảnh hạ tầng AI phía sau những hệ thống như vậy được tổng hợp tại /books/ai-infra-book/.
Nhóm cũng trình bày sự khác biệt về độ bền khi nhiệm vụ thay đổi: trên LIBERO-Pro, mô hình của nhóm giữ được mức thành công tốt hơn nhiều so với π0.5 khi bối cảnh đã quen nhưng yêu cầu mới. Đây là so sánh do tác giả thực hiện trên benchmark của nhóm, không phải thử nghiệm của bên thứ ba. Các bài viết khác của Kiến Thức Thú Vị về chủ đề này nằm tại /blog/.
Giới hạn: những gì nghiên cứu chưa chứng minh
Bài báo là preprint đăng trên arXiv ngày 13/11/2026 và chưa nêu venue đã phản biện; mọi con số ở trên là kết quả nhóm tự báo cáo. Nghiên cứu đo trên các benchmark mô phỏng và một số lần thử trên robot thật, nên chính xác nên nói mô hình “được huấn luyện và đạt tỉ lệ thành công theo báo cáo”, chứ không gọi đó là bằng chứng AI tự phát minh ra cách điều khiển robot.
Bảng phụ lục về lỗi cho thấy thất bại còn phổ biến: nhiều lượt hết số vòng tối đa (25 vòng), một số lượt làm đổ vật, giữ vật không chắc, lấy nhầm vật hoặc dừng ở tư thế không an toàn. Ở 30 thử nghiệm, mô hình đầy đủ vẫn chỉ đạt 18/30. Những con số này giới hạn trong phạm vi thí nghiệm của nhóm và các điều kiện họ công bố.
Nguồn tham khảo
- Bài báo gốc (preprint, arXiv:2611.18562): https://arxiv.org/abs/2611.18562
Đọc thêm các bài công nghệ khác và sách AI Infra mã nguồn mở.