Bảng thuật ngữ

116 thuật ngữ hạ tầng AI dùng trong sách, kèm bản dịch tiếng Việt và giải thích ngắn gọn. Trong khi đọc chương, bạn có thể bôi đen một thuật ngữ (ví dụ "KV cache") để xem nghĩa ngay tại chỗ. Đây là bảng tra đầy đủ của tính năng đó.

1 Chương 1 · 15 thuật ngữ

AI Infra: Hạ tầng AI Toàn bộ phần cứng và phần mềm hệ thống chạy model AI: chip, bộ nhớ, mạng, runtime, bộ lập lịch… Cuốn sách phân tích hạ tầng theo những ràng buộc: tính toán, lưu trữ, truyền thông, điện năng và chi phí.
Accelerator: Bộ tăng tốc Chip chuyên dụng để tính toán song song cho AI, ví dụ GPU, TPU, NPU. Thường gồm hàng nghìn nhân tính toán nhỏ, bộ nhớ tốc độ cao và kết nối riêng với model.
FLOP: Phép tính dấu chấm động Đơn vị đo một phép toán số thực (cộng/trừ/nhân — một phép nhân–cộng MAC xấp xỉ 2 FLOP). FLOPS là số FLOP thực hiện mỗi giây, thường tính theo TFLOPS, PFLOPS.
MAC (Multiply-Accumulate): Phép nhân–cộng dồn Thao tác tính a×b+c, đơn vị cơ bản của mọi phép nhân ma trận. 1 MAC ≈ 2 FLOP; các chip thường công bố công suất theo số MAC/giây.
TOPS: Số phép tính (nguyên) mỗi giây Tera Operations Per Second — đo tốc độ tính toán số nguyên, hay dùng để quảng cáo chip inference INT8/INT4.
Bandwidth: Băng thông Lượng dữ liệu truyền được trong một đơn vị thời gian, ví dụ băng thông bộ nhớ (GB/s) hay băng thông mạng (Gb/s). Cùng với số FLOP quyết định thời gian chạy của một model.
Memory-bound: Giới hạn bởi bộ nhớ Trạng thái thời gian chạy bị nghẽn bởi việc đọc/ghi dữ liệu: nhân tính toán rảnh nhưng phải chờ bộ nhớ. Ngược lại với compute-bound.
Compute-bound: Giới hạn bởi tính toán Trạng thái thời gian chạy chủ yếu do số phép tính quyết định, khâu truyền dữ liệu còn dư. Tác vụ như vậy được lợi nhất khi tăng sức tính toán.
Arithmetic intensity: Cường độ số học Tỷ số giữa số phép tính (FLOP) và lượng dữ liệu phải truyền (byte) của một tác vụ. Dùng để đoán tác vụ sẽ compute-bound hay memory-bound trên một phần cứng.
Latency: Độ trễ Thời gian từ lúc gửi yêu cầu đến khi nhận kết quả. Với LLM thường tách thành TTFT (token đầu) và TPOT (mỗi token tiếp theo).
Throughput: Thông lượng Số tác vụ hoặc kết quả hoàn thành trong một đơn vị thời gian, ví dụ token/giây hay request/giây. Thường đánh đổi với latency: càng gộp nhiều càng tăng throughput nhưng tăng độ trễ.
Bottleneck: Nút thắt cổ chai Thành phần giới hạn hiệu năng tổng thể của hệ thống — có thể là băng thông bộ nhớ, liên kết mạng, hay số nhân tính toán.
TCO (Total Cost of Ownership): Tổng chi phí sở hữu Toàn bộ chi phí gồm mua sắm, điện, làm mát, vận hành và sửa chữa; là thước đo quyết định chọn cấu hình phần cứng cho hạ tầng AI.
GPU (Graphics Processing Unit): Bộ xử lý đồ họa Chip thiết kế cho đồ họa nhưng được tận dụng làm bộ tăng tốc AI nhờ khả năng tính toán song song cao; các dòng H100/H200/B200 của NVIDIA là ví dụ điển hình.
Token: Đơn vị văn bản nhỏ nhất model xử lý Văn bản được cắt thành token trước khi đưa vào model (mỗi từ tiếng Anh thường vài token, tiếng Việt thô khoảng 1–2 token). Chi phí và độ trễ inference thường tính theo token.

2 Chương 2 · 21 thuật ngữ

Transformer: Kiến trúc mạng nơ-ron dựa trên cơ chế chú ý Kiến trúc nền tảng của các LLM hiện đại (GPT…): xử lý chuỗi token song song, mỗi token “nhìn” các token khác qua attention để tổng hợp ngữ cảnh.
Attention: Cơ chế chú ý Cơ chế cho mỗi token tính mức độ quan hệ với các token khác trong chuỗi rồi tổng hợp thông tin có trọng số. Chi phí tỷ lệ với bình phương độ dài chuỗi.
Multi-head attention: Chú ý đa đầu Chia attention thành nhiều “đầu” chạy song song, mỗi đầu học một khía cạnh quan hệ khác nhau rồi gộp kết quả lại; là thành phần chuẩn của transformer.
Scaled dot-product attention: Chú ý tích vô hướng có chia tỷ lệ Công thức Attention = softmax(Q·Kᵀ/√d)·V: nhân query với key, chia √chiều để ổn định gradient, qua softmax rồi nhân với value.
Self-attention: Tự chú ý Attention trong đó query, key và value đều xuất phát từ chính chuỗi đó (mỗi token so sánh với toàn bộ chuỗi), khác với attention chéo giữa encoder–decoder.
KV cache (KV-Cache): Bộ nhớ đệm Key–Value Lưu lại key và value của các token đã sinh để bước tạo token tiếp theo chỉ cần attention với phần mới, khỏi tính lại toàn chuỗi. Tốn bộ nhớ tỷ lệ với số token đã sinh × số layer.
Auto-regressive: Tự hồi quy Cách LLM sinh văn bản: mỗi bước dự đoán token tiếp theo dựa trên các token trước đó rồi nối vào chuỗi — chuỗi dài thêm đúng 1 token mỗi bước.
Logits: Điểm số thô trước softmax Giá trị đầu ra chưa chuẩn hóa của lớp cuối cùng; sau khi qua softmax trở thành phân phối xác suất trên toàn bộ từ vựng.
Softmax: Hàm chuẩn hóa xác suất Biến một vector điểm thành phân phối xác suất (tổng bằng 1); so sánh token tiếp theo và tính phân phối đều dựa trên nó.
Hidden state: Trạng thái ẩn Vector đại diện trạng thái của chuỗi sau mỗi lớp của model; tổng dung lượng cần lưu tỷ lệ với độ dài chuỗi × số layer.
Embedding: Ma trận nhúng Ánh xạ token sang vector số chiều cố định (thường gọi d_model) ở đầu model; là một trong những trọng số lớn nhất của model.
FFN (Feed-Forward Network): Mạng truyền thẳng Lớp hai tầng tuyến tính + hàm kích hoạt nằm trong mỗi khối transformer; chiếm phần lớn số tham số của model (trừ MoE).
Sequence length: Độ dài chuỗi Số token của chuỗi đang xử lý (đầu vào + đã sinh). Quyết định chi phí attention (tăng bình phương) và dung lượng KV cache cần giữ.
Context window: Cửa sổ ngữ cảnh Độ dài tối đa (tính theo token) mà model chấp nhận cho một chuỗi; vượt quá phải cắt chuỗi, tóm tắt hoặc nén.
MoE (Mixture of Experts): Hỗn hợp chuyên gia Kiến trúc gồm nhiều “chuyên gia” (các FFN nhỏ) và một router chọn một phần nhỏ chuyên gia để chạy cho mỗi token. Tăng tổng tham số mà giữ chi phí tính toán mỗi token thấp.
Expert: Chuyên gia Một trong các mạng FFN của MoE. Vì chỉ một phần expert hoạt động cho mỗi token nên bộ nhớ và tải giữa các expert phải được quản lý cẩn thận.
Dense model: Mô hình dày đặc Model dùng toàn bộ tham số cho mọi token (đối lập với MoE/sparse). Dung lượng bộ nhớ của dense model đúng bằng số tham số × số byte mỗi tham số.
Grouped-query attention: Chú ý nhóm query Các head key/value chia thành nhiều nhóm dùng chung (GQA); là trung dung giữa chất lượng của multi-head và tiết kiệm KV cache của multi-query.
Multi-query attention (MQA): Chú ý đa query Mọi head query dùng chung một bộ key/value để giảm mạnh dung lượng KV cache; ngày nay thường được thay bằng grouped-query attention.
Weight: Trọng số Tham số học được của model. Dung lượng một model thường được ước lượng theo số trọng số (7B, 70B…) nhân với số byte mỗi trọng số (2 byte với FP16/BF16).
Layer normalization: Chuẩn hóa lớp Chuẩn hóa activation qua từng token riêng lẻ (theo chiều đặc trưng) giúp training ổn định; là phép toán dạng di chuyển dữ liệu theo chiều dọc chuỗi.

3 Chương 3 · 9 thuật ngữ

Training: Huấn luyện Quá trình học trọng số từ dữ liệu lớn: lặp lại lượt truyền xuôi (forward), truyền ngược (backward) và cập nhật gradient. Tốn rất nhiều tính toán và băng thông.
Inference: Suy luận Dùng model đã huấn luyện để dự đoán hoặc sinh kết quả với dữ liệu mới; yêu cầu độ trễ thấp và thông lượng cao, chỉ cần lượt truyền xuôi.
Forward pass: Lượt truyền xuôi Tính đầu ra từ đầu vào đi qua các lớp của model; có mặt trong cả training lẫn inference. Với LLM sinh văn bản, forward cho 1 chuỗi dài L tokens tốn tính toán ngang một batch lớn.
Backward pass: Lượt truyền ngược Tính gradient từ hàm mất mát ngược về từng trọng số; chỉ có trong training. Tốn gấp khoảng 2 lần tính toán của forward, đồng thời cần giữ activation để tính đạo hàm.
Gradient: Độ dốc Đạo hàm riêng của hàm mất mát theo từng trọng số, chỉ hướng cập nhật. Backward tính ra gradient, optimizer dùng gradient để chỉnh trọng số.
Fine-tuning: Tinh chỉnh Tiếp tục huấn luyện một model đã pre-train trên dữ liệu chuyên biệt hơn. Nhẹ hơn pre-train nhưng vẫn tốn tài nguyên đáng kể.
Batch: Lô Nhóm nhiều sample (training) hoặc request (serving) xử lý cùng một lúc. Batch càng lớn càng tăng thông lượng và hiệu quả nhưng cần thêm bộ nhớ và tăng độ trễ.
Loss: Hàm mất mát Độ chênh giữa dự đoán của model và đáp án đúng; mục tiêu của training là tối thiểu hóa giá trị này.
Learning rate: Tốc độ học Bước nhảy khi cập nhật trọng số mỗi bước. Thường cần khởi động dần (warmup) rồi giảm dần (decay) để training hội tụ ổn định.

4 Chương 4 · 11 thuật ngữ

ASIC (Application-Specific Integrated Circuit): Chip tích hợp chuyên dụng Chip được thiết kế riêng cho một loại tác vụ (như TPU, chip inference cho mục đích riêng). Hiệu năng/Watt tốt nhất nhưng chi phí thiết kế và rủi ro cao.
FPGA: Chip lập trình lại được Chip có thể cấu hình lại mạch logic sau khi sản xuất; linh hoạt hơn ASIC nhưng hiệu năng/Watt thấp hơn.
TPU (Tensor Processing Unit): Bộ xử lý tensor Bộ tăng tốc của Google tối ưu cho nhân ma trận lớn (multiply-accumulate kiểu systolic; TPU v4, v5e…).
NPU (Neural Processing Unit): Bộ xử lý nơ-ron Bộ tăng tốc AI tích hợp, phổ biến trong điện thoại và thiết bị edge để chạy model nhỏ tại chỗ với điện năng thấp.
HBM (High Bandwidth Memory): Bộ nhớ băng thông cao Bộ nhớ xếp chồng (stacking) gắn cạnh chip qua lớp nối (interposer), đạt băng thông TB/s; là chuẩn bộ nhớ của các accelerator hiện đại.
SRAM: Bộ nhớ tĩnh Bộ nhớ nhanh, đắt, nằm ngay trên chip; được dùng làm vùng nhớ tốc độ cao (on-chip buffer/scratchpad) cho tính toán cục bộ.
DRAM (Dynamic Random Access Memory): Bộ nhớ động Bộ nhớ rẻ và dung lượng lớn hơn SRAM, nhưng chậm hơn; chip kết nối với DRAM qua một băng thông có giới hạn — nguồn gốc của “bức tường băng thông”.
Chiplet: Khuôn chip rời Chia một chip lớn thành nhiều khuôn nhỏ (dies) ghép lại qua lớp nối. Giúp giảm giá thành (tăng tỷ lệ sản phẩm tốt/yield) và cho phép trộn công nghệ khác nhau.
Memory bandwidth wall: Bức tường băng thông bộ nhớ Khoảng cách ngày càng lớn giữa tốc độ tính toán và băng thông bộ nhớ; khiến nhiều tác vụ thực tế bị giới hạn bởi bộ nhớ dù chip rất nhanh.
Utilization: Mức sử dụng Tỷ lệ phần cứng thực sự bận việc. Nâng utilization của chip đắt tiền lên cao là mục tiêu trung tâm của AI infra.
Power budget: Ngân sách điện năng Giới hạn điện năng mà chip hoặc máy chủ được phép tiêu thụ; thường thấp hơn mức tối đa về lý thuyết nên cần “điều tiết công suất” (power capping).

5 Chương 5 · 5 thuật ngữ

Operator (Kernel): Phép toán / kernel Hàm thực thi một phép tính cụ thể trên phần cứng (nhân ma trận, softmax, layernorm…). Hiệu năng hệ thống phụ thuộc lớn vào cách từng operator được triển khai.
Fusion (Kernel fusion): Hợp nhất kernel Gộp nhiều operator thành một kernel để tránh đọc/ghi dữ liệu trung gian xuống bộ nhớ; là kỹ thuật tối ưu quan trọng nhất của runtime inference.
Runtime: Môi trường thực thi Phần mềm biến đồ thị tính toán của model thành các lệnh chạy trên accelerator: quản lý bộ nhớ, lập lịch operator và gọi kernel. Ví dụ: vLLM, TensorRT, Triton.
Graph compiler: Trình biên dịch đồ thị Biên dịch đồ thị tính toán của model thành mã/kernel tối ưu cho phần cứng cụ thể (ví dụ AKG do tác giả cuốn sách đóng góp cho DeepSeek).
Memory reuse: Tái sử dụng bộ nhớ Cấp phát lại vùng nhớ của tensor đã kết thúc vòng đời cho tensor khác; giảm đáng kể nhu cầu bộ nhớ khi chạy nhiều operator liên tiếp.

6 Chương 6 · 5 thuật ngữ

Supernode: Siêu nút Tập hợp nhiều máy chủ GPU liên kết tốc độ cao và chặt chẽ thành một “máy tính khổng lồ” trong cùng một node/máy lớn; nền tảng để training và inference quy mô lớn.
NIC (Network Interface Card): Card giao tiếp mạng Phần cứng kết nối máy chủ vào mạng. Trong cụm AI thường dùng NIC tốc độ cao (400GbE, 800GbE…) hỗ trợ RDMA.
NVLink: Liên kết NVLink Bus kết nối trực tiếp giữa các GPU của NVIDIA, băng thông cao hơn hẳn PCIe; dùng cho traffic đồng bộ trong nội bộ node.
NVSwitch: Switch NVLink Thiết bị chuyển mạch NVLink cho phép nhiều GPU (8, 16…) kết nối thành lưới đầy đủ băng thông cao, không qua switch Ethernet.
PCIe (PCI Express): Chuẩn liên kết mở máy chủ Chuẩn kết nối phổ biến giữa CPU, GPU, NIC, NVMe trên máy chủ; băng thông thấp hơn NVLink nhưng tương thích rộng rãi.

7 Chương 7 · 9 thuật ngữ

RDMA (Remote Direct Memory Access): Truy cập bộ nhớ từ xa trực tiếp Cơ chế cho phép máy này đọc/ghi thẳng bộ nhớ máy khác mà không qua CPU, giảm độ trễ và tải CPU cho traffic đồng bộ AI.
RoCE (RDMA over Converged Ethernet): RDMA chạy trên Ethernet Triển khai RDMA trên Ethernet thông thường; rẻ hơn InfiniBand nhưng phải quản lý tắc nghẽn cẩn thận để không mất gói tin.
InfiniBand: Chuẩn mạng hiệu năng cao Kiến trúc mạng có cơ chế điều khiển luồng phần cứng đảm bảo không mất gói tin; được dùng rộng rãi trong HPC và trung tâm AI.
ECN (Explicit Congestion Notification): Thông báo tắc nghẽn tường minh Switch đánh dấu gói tin khi hàng đợi sắp đầy để bên gửi giảm tốc độ, tránh mất gói — chống “tắc nghẽn lan truyền” khi nhiều luồng cùng chạy.
PFC (Priority Flow Control): Điều khiển luồng theo ưu tiên Cơ chế báo “tạm dừng gửi” theo mức ưu tiên khi hàng đợi đầy, giúp RoCE không rơi gói; nhưng nếu lạm dụng có thể gây tắc nghẽn dây chuyền.
Congestion control: Điều khiển tắc nghẽn Thuật toán điều chỉnh tốc độ gửi theo mức tắc nghẽn của mạng; quyết định hiệu quả của các tác vụ đồng bộ toàn cục như training phân tán.
Fat tree: Topology cây béo Topology mạng hình cây có băng thông tăng dần lên các tầng trên, phổ biến trong trung tâm dữ liệu; mở rộng tốt nhưng chi phí thiết bị lớn.
Oversubscription: Tỷ lệ thuê bao vượt Tỷ lệ giữa tổng băng thông máy chủ và băng thông mạng lõi được cung cấp; 1:1 là không nghẽn nhưng đắt, tỷ lệ cao hơn rẻ hơn nhưng dễ nghẽn.
Flow: Luồng dữ liệu Chuỗi gói tin truyền giữa một cặp gửi–nhận. Phân bố kích thước và thời điểm của các flow quyết định mức tắc nghẽn của mạng.

8 Chương 8 · 13 thuật ngữ

Prefill: Giai đoạn nạp Xử lý đồng thời toàn bộ token đầu vào để tính KV cache ban đầu; tốn nhiều tính toán và quyết định chính độ trễ TTFT.
Decode: Giai đoạn sinh Sinh từng token một nối tiếp; mỗi bước chỉ cần tính attention với token mới, đọc KV cache đã có — tính toán thấp nhưng phải nối tiếp.
TTFT (Time To First Token): Thời gian đến token đầu tiên Khoảng thời gian từ lúc gửi yêu cầu đến khi nhận token đầu tiên; là cảm nhận trực tiếp của người dùng về độ phản hồi.
TPOT (Time Per Output Token): Thời gian mỗi token đầu ra Thời gian sinh một token tiếp theo; cùng với độ dài đầu ra quyết định tổng thời gian của một request.
Continuous batching: Gộp lô liên tục Cho request gia nhập hoặc rời khỏi lô ngay khi bắt đầu/kết thúc thay vì chờ lô đầy; vừa tăng thông lượng vừa giữ độ trễ ổn định.
Speculative decoding: Giải mã phỏng đoán Dùng model nhỏ dự đoán nhiều token, model lớn xác minh song song; giảm số bước nối tiếp phải chạy, tăng tốc sinh mà không đổi chất lượng.
Quantization: Lượng tử hóa Giảm số bit biểu diễn trọng số/activation (FP16 → INT8/INT4); giảm bộ nhớ, tăng tốc và giảm chi phí, nhưng có thể làm giảm chất lượng.
Pruning: Tỉa mô hình Loại bỏ các trọng số hoặc kênh ít quan trọng để model nhỏ và nhanh hơn; thường kết hợp với tinh chỉnh lại để phục hồi chất lượng.
Distillation: Chưng cất tri thức Huấn luyện model nhỏ “bắt chước” đầu ra của model lớn để thu gọn kiến thức vào model gọn nhẹ hơn, giảm chi phí inference.
Offloading: Chuyển tải (offload) Đưa tạm KV cache hoặc trọng số ra bộ nhớ rẻ hơn (CPU RAM, SSD) khi GPU không đủ dung lượng; đổi lấy độ trễ cao hơn do truyền dữ liệu.
Flash attention: Chú ý flash (tính attention theo khối) Kỹ thuật tính attention theo khối nhỏ nằm trong SRAM, không vật hóa ma trận trung gian lớn; giảm mạnh bộ nhớ và tăng tốc.
Paging (Paged attention): Phân trang KV cache Quản lý KV cache theo đơn vị trang giống bộ nhớ ảo để tránh phân mảnh và tăng mật độ lấp đầy; ý tưởng nền tảng của vLLM.
Chunked prefill: Nạp theo khối Cắt giai đoạn prefill dài thành nhiều khối nhỏ xen với decode; giúp request nạp lâu không chiếm lô quá lâu, giảm độ trễ cho các request khác.

9 Chương 9 · 7 thuật ngữ

Distributed inference: Inference phân tán Chia model hoặc request chạy trên nhiều máy chủ; phải cân nhắc đặt phép tính và trạng thái ở đâu, cùng cách mở rộng và phục hồi khi lỗi.
Sharding: Phân mảnh Chia model hoặc KV cache thành các phần phân bố trên nhiều thiết bị; cho phép chạy model vượt dung lượng một GPU.
Replica: Bản sao Bản sao của model/state đặt ở nhiều nơi; tăng thông lượng (nhiều bản xử lý song song) và khả năng chịu lỗi.
Load balancer: Bộ cân bằng tải Thành phần phân phối request tới các worker; cách phân phối quyết định mức dùng tài nguyên và độ trễ trung bình của hệ thống.
Locality: Tính cục bộ Xu hướng đặt phép tính gần dữ liệu/trạng thái mà nó cần. Locality tốt giúp giảm truyền thông mạng và độ trễ, nhất là với inference phân tán.
Tail latency: Độ trễ đuôi Độ trễ của các request chậm nhất (percentile cao như p95/p99). Trong hệ phân tán, việc mở rộng quy mô thường làm tăng đuôi độ trễ.
Fault tolerance: Chịu lỗi Khả năng tiếp tục phục vụ khi một node hỏng; cần replica, cơ chế phát hiện lỗi và chuyển failover mà không rớt request.

10 Chương 10 · 9 thuật ngữ

Data parallelism: Song song dữ liệu Nhân bản toàn bộ model lên mỗi thiết bị, mỗi thiết bị xử lý một phần batch rồi đồng bộ gradient với nhau; đơn giản nhưng cần bộ nhớ cho cả model trên mỗi GPU.
Model parallelism: Song song mô hình Chia các layer của model cho nhiều thiết bị, mỗi thiết bị giữ một phần; cần thiết khi model không vừa bộ nhớ một GPU.
Tensor parallelism: Song song tensor Chia một phép nhân ma trận lớn trong layer thành nhiều phần trên nhiều thiết bị; cân bằng tải tốt nhưng tạo nhiều traffic đồng bộ.
Pipeline parallelism: Song song pipeline Chia model thành các giai đoạn xử lý tuần tự như dây chuyền sản xuất; giảm traffic so với tensor parallelism nhưng sinh “khoảng trống” (bubble) của pipeline.
ZeRO: Chiến lược phân mảnh trạng thái huấn luyện Kỹ thuật (của DeepSpeed) phân bố optimizer state, gradient và tham số cho các GPU để mỗi GPU chỉ giữ một phần; giảm bộ nhớ gần tuyến tính theo số GPU.
Recompute: Tính lại Thay vì giữ toàn bộ activation để tính backward, xóa bớt rồi tính lại trong lượt ngược; giảm bộ nhớ nhưng thêm tính toán.
Checkpoint: Lưu trạng thái Định kỳ lưu trọng số và optimizer state xuống đĩa để khôi phục khi gặp lỗi; chi phí đọc/ghi lớn nên cần được tối ưu về tần suất và dung lượng.
All-reduce: Phép gộp toàn cục Phép toán đồng bộ: cộng gradient từ mọi thiết bị rồi trả kết quả về cho tất cả; chiếm phần lớn traffic trong training song song dữ liệu/tensor.
Pipeline bubble: Khoảng trống pipeline Thời gian rảnh của các giai đoạn khi dây chuyền khởi động/dừng; dùng micro-batch nhiều hơn giúp xếp kín các khoảng trống này.

11 Chương 11 · 6 thuật ngữ

Scheduling: Lập lịch Quyết định tác vụ nào chạy lúc nào, trên tài nguyên nào; mục tiêu là giảm thời gian chờ và tăng mức sử dụng tài nguyên.
Gang scheduling: Lập lịch theo nhóm Chỉ bắt đầu tác vụ khi đã cấp đủ toàn bộ tài nguyên nó yêu cầu cùng một lúc (chẳng hạn đủ 8 GPU cho một job); tránh chiếm giữ lẫn nhau gây chết chờ.
Bin packing: Đóng gói tài nguyên Xếp các tác vụ vào máy chủ một cách gọn gàng để ít tài nguyên rơi vãi; tăng utilization nhưng khó đảm bảo công bằng và độ trễ cho mọi tác vụ.
Preemption: Chiếm quyền Thu hồi tài nguyên của tác vụ ưu tiên thấp để nhường cho tác vụ quan trọng hơn; cần cơ chế lưu/khôi phục trạng thái để không phải chạy lại từ đầu.
Placement: Định vị tác vụ Chọn máy chủ nào sẽ chạy một tác vụ; thường cân nhắc locality dữ liệu, tài nguyên còn trống, điện năng và nhiệt độ.
Round-robin: Luân phiên Cách phân phát tác vụ lần lượt qua danh sách máy chủ; đơn giản, cân bằng trung bình nhưng không tính đến tải thực tế của từng máy.

12 Chương 12 · 6 thuật ngữ

Edge computing: Điện toán biên Chạy tác vụ tại thiết bị/gateway gần nơi phát sinh dữ liệu; giảm độ trễ và tiết kiệm băng thông nhưng tài nguyên tính toán hạn chế.
Cloud: Đám mây Trung tâm dữ liệu tập trung với tài nguyên gần như vô hạn và mở rộng linh hoạt; nhưng độ trễ mạng đến người dùng cao hơn khi làm việc ở biên.
Cold start: Khởi động nguội Thời gian tải model/tool từ đầu khi máy chưa có sẵn; là nguồn chính của độ trễ cao khi đặt một tác vụ sang máy mới.
Warm start: Khởi động nóng Tận dụng model/tool đã được nạp sẵn trên máy; quyết định lớn đến độ trễ khi chọn đặt tác vụ ở end/edge so với cloud.
Provisioning: Cấp phát chuẩn bị Chuẩn bị tài nguyên cho một tác vụ (tải model, khởi chạy container…); phải cân bằng giữa giữ sẵn (tốn chi phí) và khởi động nguội (chậm).
Data gravity: Trọng lực dữ liệu Xu hướng các tác vụ bị “kéo” về nơi khối dữ liệu lớn đang nằm, vì di chuyển tính toán rẻ hơn nhiều so với di chuyển dữ liệu qua mạng.