Strata 4,697★: AI 125B trên PC gaming thường

Bạn muốn tự host một model AI 125 tỷ tham số mà không cần thuê server đắt đỏ? Strata là câu trả lời: mã nguồn mở, miễn phí, cài một chạm cho Windows và Linux. Bài viết này giải thích Strata chạy nhanh bao nhiêu, yêu cầu phần cứng gì, cách cài đặt và những kịch bản dùng ngay cho công việc hằng ngày của bạn.

Strata là gì

Strata là inference engine mã nguồn mở, viết bằng C++, do Niko1221 phát hành ngày 24/9/2026. Dự án gói gọn Qwen3.8-Flash-Next — model 125 tỷ tham số vốn cần tới server lớn — để chạy được trên máy cá nhân. Strata mới ra mắt nhưng đã đạt 4,697 sao và 416 fork, giấy phép MIT hoàn toàn miễn phí, đủ cho thấy sức hút của một công cụ giải phóng AI khỏi datacenter. Strata còn phục vụ API tương thích OpenAI và Anthropic ngay trên localhost, biến PC của bạn thành máy chủ AI riêng tư.

Nếu bạn đang cân nhắc giữa tự host và dùng API trả phí, bài Ollama hay API trả phí: tiết kiệm bao nhiêu mỗi tháng sẽ cho bạn con số chi phí thực để so sánh. Hệ sinh thái tự host còn có nhiều hướng thú vị, từ Chuyển model LLM sang miễn phí: hướng dẫn thực tế tới các dây chuyền tự động nội dung với Ollama.

Tính năng nổi bật nhất

Điểm mạnh dễ thấy nhất của Strata là tốc độ sinh văn bản 60-95 tokens mỗi giây trên một card NVIDIA duy nhất — nhanh hơn cả tốc độ đọc của con người. Engine này tự phục vụ API tương thích hai chuẩn OpenAI và Anthropic trên localhost, nghĩa là mọi phần mềm vốn chỉ biết gọi api.openai.com đều dùng được Strata mà không sửa code. Thứ hai, Strata hỗ trợ nhập hình ảnh (image input) ở mức tùy chọn, mở thêm kịch bản multimodal. Cuối cùng, chính trải nghiệm “một cú nhấp để cài” trên cả Windows và Linux khiến Strata khác biệt với các công cụ inference thủ công, vốn đòi hỏi dựng môi trường Python, tải model và cấu lệnh phức tạp.

Vì sao Strata đột phá

Strata phá vỡ giả định rằng model 125 tỷ tham số phải nằm trên server. Trên một PC gaming bình thường — card NVIDIA 12-24 GB, 64 GB RAM — Strata viết câu trả lời ở 60-95 tokens mỗi giây, nhanh hơn tốc độ đọc. Đó là bước nhảy lớn với người dùng cá nhân: lần đầu tiên một model cỡ đó chạy mượt tại nhà, hoàn toàn offline và miễn phí. Dự án dùng lượng tử hóa (quantization) từ Q2_0 siêu nhẹ tới IQ3_S cân bằng để nhét model vừa phần cứng của bạn, rồi tinh chỉnh cấu hình qua lệnh calibrate để vắt thêm hiệu năng. Với chủ đề AI Integration, đây là minh chứng rằng khoảng cách server–desktop đang thu hẹp từng quý.

So sánh với cách làm cũ

Cách cũ, muốn chạy model lớn bạn phải thuê GPU cloud vài trăm USD mỗi tháng, tự quản lý driver, container và endpoint — chi phí và độ phức tạp đều cao. Với Strata, mọi thứ rút về một cú cài đặt, dữ liệu nằm trên máy bạn, không phụ thuộc bên thứ ba.

Bảng tốc độ đo trên RTX 5070 (12 GB), Ryzen 5 7600, 64 GB RAM cho thấy lợi thế rõ rệt: bản Q2_0 viết 93 tokens/s ở chat ngắn, đọc prompt 2,170 tokens/s; bản IQ3_S vẫn đạt 53 tokens/s và đọc 1,620 tokens/s; bản Coder (IQ1_M) viết 55 tokens/s. Với ngữ cảnh dài 128K, Strata duy trì 74 tokens/s (Q2_0) hay 46 tokens/s (IQ3_S). Prompt 32K token mất khoảng 15 giây; một 4K prompt đọc ở 910-1,580 tokens/s.

Bắt đầu nhanh với Strata

Strata được thiết kế theo triết lý “bắt đầu là chạy”: tải bản cài từ trang release chính thức, chạy một lần cho Windows hoặc Linux, và engine sẵn sàng đón yêu cầu. Phần cứng tối thiểu là một card NVIDIA 12-24 GB VRAM, CPU ổn và 64 GB RAM; card càng nhiều VRAM càng nhanh, theo tác giả một RTX 3090 24 GB cho khoảng 100-140 tokens/s.

Mỗi PC cho tốc độ khác nhau, nên sau khi chạy, bạn nên calibrate để tối ưu:

START-HERE.bat --calibrate

Lệnh trên đo vài thiết lập engine trên máy của bạn, giữ cấu hình nhanh nhất, mất khoảng 5-10 phút; trong thử nghiệm của tác giả nó giúp model Coder nhanh hơn 7%. Sau đó, bạn trỏ ứng dụng yêu thích về endpoint tương thích OpenAI hoặc Anthropic trên localhost và làm việc ngay. Vì là phần mềm MIT, bạn có thể clone, đọc mã và dựng lại Strata từ nguồn mà không lo ràng buộc giấy phép.

Strata trong ứng dụng thực tế

Strata phù hợp với nhiều việc hằng ngày của developer. Thứ nhất, trợ lý code offline: bản Coder (IQ1_M) viết 55 tokens/s, đủ để gợi ý hàm, giải thích lỗi, hay viết unit test khi bạn không muốn gửi code lên cloud. Thứ hai, phân tích tài liệu dài: với khả năng đọc prompt 2,170 tokens/s, Strata nuốt một file 32K token trong khoảng 15 giây, sẵn sàng tóm tắt báo cáo hay rà soát hợp đồng. Thứ ba, dựng tác nhân AI riêng: vì Strata phục vụ chuẩn OpenAI/Anthropic, bạn cắm ngay vào chatbot nội bộ, pipeline RAG hiện có, hoặc công cụ automation.

Và khi cần tự động hoá nội dung, bạn có thể nối Strata với cron theo mô hình trong bài Tự động hoá nội dung blog bằng Ollama và cron, hoặc phục vụ API local bên cạnh Nginx theo hướng Cloudflare Tunnel và Nginx: đưa website từ máy cá nhân lên internet. Ngoài ra, nhờ đọc prompt rất nhanh, Strata đặc biệt hợp khi bạn xử lý tài liệu dài hoặc ôn lại log, báo cáo trước cuộc họp.

Câu hỏi thường gặp về Strata

Strata có miễn phí không?

Có. Strata phát hành theo giấy phép MIT, hoàn toàn miễn phí sử dụng, thương mại và sửa đổi. Bạn tải về, chạy trên máy mình và không phải trả phí token hằng tháng như các API thương mại.

Cấu hình tối thiểu để chạy Strata là gì?

Bạn cần một card NVIDIA 12-24 GB VRAM, 64 GB RAM và Windows hoặc Linux. Strata cung cấp cài đặt một chạm cho cả hai hệ điều hành, không yêu cầu kỹ năng dựng môi trường chuyên sâu.

Strata chạy model nào và nhanh bao nhiêu?

Strata chạy Qwen3.8-Flash-Next 125 tỷ tham số. Trên RTX 5070, tốc độ viết đạt 53-93 tokens/s tùy bản quantization (Q2_0, IQ2_XS, IQ3_XXS, IQ3_S, Coder), đọc prompt 1,620-2,180 tokens/s, nhanh hơn tốc độ đọc của con người.

Strata thay thế được API OpenAI/Anthropic không?

Về mặt giao tiếp, có: Strata phục vụ API tương thích OpenAI và Anthropic trên localhost nên hầu hết ứng dụng dùng được ngay. Về chất lượng và tính năng nâng cao của dịch vụ thương mại, bạn cần cân nhắc; xem thêm bài Ollama hay API trả phí để so sánh chi phí.

Strata có hỗ trợ hình ảnh đầu vào không?

Có, image input là tùy chọn trong Strata, cho phép bạn gửi ảnh kèm câu hỏi ở các bản model hỗ trợ multimodal. Kiểm tra README và docs của repo để biết giới hạn cụ thể từng bản quantization.

Kết luận

• Thử ngay Strata nếu bạn có card NVIDIA 12 GB trở lên và 64 GB RAM — đây là cách rẻ nhất để chạy model 125B.
• Calibrate trước khi dùng: chạy START-HERE.bat --calibrate để giữ cấu hình nhanh nhất trên máy bạn.
• Tận dụng API tương thích OpenAI/Anthropic để nối Strata vào công cụ sẵn có mà không sửa code.
• Đọc thêm hướng dẫn vps cho n8n: hướng dẫn thực tế nếu bạn muốn mở rộng pipeline AI tự động trên máy chủ riêng.

Xem mã nguồn và bản cài mới nhất của dự án tại github.com/Niko1221/Strata — nếu PC của bạn đủ mạnh, gom model 125B về nhà ngay hôm nay.