AI chạy trên laptop và render 3D: đọc token/s, chọn RAM, VRAM

Khi chạy mô hình AI trên máy, tốc độ chia làm hai giai đoạn. Prefill là lúc máy xử lý lời nhắc đầu vào. Decode là lúc máy sinh từng token trả lời. Ollama gọi hai chỉ số này là prompt eval rate và eval rate, còn llama.cpp ghi là pp và tg. Ngoài ra còn thời gian nạp mô hình từ SSD, gọi là load duration.

Thời gian chờ token đầu tiên, gọi là TTFT, tăng theo độ dài lời nhắc và ngữ cảnh. Vì thế đừng so tốc độ khi hai máy dùng lời nhắc dài ngắn khác nhau. Nếu bạn chưa quen các chỉ số này thì mở bài token mỗi giây, bài gốc có ví dụ đọc từng dòng thống kê.

• Mức khởi điểm: 16GB RAM kèm 4GB VRAM.
• Mô hình cỡ trung và RAG: 32GB RAM.
• Kho tài liệu lớn, ngữ cảnh dài: 64GB RAM.
• Mô hình 70B đến 120B: 128 đến 192GB bộ nhớ thống nhất.

Máy Apple Silicon 16GB chạy mô hình 7B hiệu quả hơn một số máy PC 16GB nhờ bộ nhớ thống nhất. Khi mô hình tràn VRAM, phần dư phải chuyển sang RAM và CPU, nên tốc độ tụt rõ.

Một điểm nhiều người nhầm: SSD ảnh hưởng thời gian nạp mô hình chứ không ảnh hưởng token mỗi giây khi đã nạp xong. Để chọn cấu hình đúng cỡ mô hình, hãy xem bài Local LLM cần RAM và VRAM bao nhiêu, bài gốc kèm bảng đối chiếu cỡ mô hình với dung lượng bộ nhớ.

Blender báo Out of memory nghĩa là bộ nhớ card đã hết. Phép thử đơn giản: chuyển Device sang CPU. Nếu cảnh chạy được trên CPU, gần như chắc chắn card bị tràn VRAM.

1. Biết rằng Blender tự dùng RAM hệ thống khi VRAM đầy. Tốc độ chậm hơn nhưng thường vẫn nhanh hơn CPU.
2. Cảnh nhiều cây cỏ hoặc tóc có thể tràn VRAM dù texture nhỏ, vì cấu trúc BVH và hình học chiếm bộ nhớ.
3. Redshift có out-of-core cho texture và hình học, nên tụt tốc độ thay vì báo lỗi. Tuy vậy vẫn có thông báo Irradiance cache points don't fit in VRAM.
4. Redshift mặc định giữ 90% bộ nhớ GPU, nên đóng ứng dụng khác dùng card trước khi render.

Khi cảnh của bạn báo lỗi bộ nhớ, đọc bài render 3D tràn VRAM để biết từng cách xử lý, nơi có các cách giảm tải cảnh theo từng phần mềm.

1. Chọn cỡ mô hình bạn muốn chạy hằng ngày.
2. Cộng dung lượng mô hình với phần ngữ cảnh, rồi so với VRAM của card.
3. Nếu VRAM thiếu, tìm máy có bộ nhớ thống nhất lớn hoặc card nhiều VRAM hơn.
4. Để SSD còn trống đủ cho nhiều mô hình, vì mỗi mô hình chiếm nhiều GB.

Với người dựng 3D kiêm chạy AI, tôi thường khuyên ưu tiên VRAM trước tốc độ lõi. Một card đủ bộ nhớ chạy đều tay luôn dễ chịu hơn card nhanh mà liên tục báo lỗi.

• Mô hình tải được nhưng chạy chậm: phần lớn do một phần mô hình bị đẩy sang RAM hệ thống, nên tốc độ rơi mạnh.
• Báo hết bộ nhớ giữa chừng: ngữ cảnh dài ăn thêm bộ nhớ, nên mô hình vừa khít lúc nạp vẫn có thể tràn khi hội thoại kéo dài.
• Máy nóng và quạt hú: chạy suy luận liên tục giữ card ở tải cao, nên cần đặt máy ở chỗ thoáng.

Cách xử lý đơn giản nhất là giảm cỡ mô hình hoặc dùng bản nén nhẹ hơn trước khi nghĩ đến chuyện đổi máy. Nhiều khách của tôi chỉ cần đổi sang bản lượng tử hóa thấp hơn là máy chạy mượt trở lại, mà chất lượng câu trả lời giảm không đáng kể cho việc thường ngày.

Nếu bạn vừa render vừa chạy AI, đừng mở hai việc cùng lúc. Cả hai đều tranh cùng một vùng VRAM, nên chạy lần lượt sẽ nhanh và ổn định hơn chạy song song. Đóng các cửa sổ không cần thiết, nhất là trình duyệt có nhiều thẻ, cũng giải phóng thêm một phần bộ nhớ đồ họa đáng kể.