LM Studio, ComfyUI và agent code cục bộ: chọn laptop từng bước

LM Studio và Ollama cho tốc độ gần như tương đồng trên cùng một laptop. Khi hai máy chạy AI cục bộ cho kết quả khác nhau, tôi tìm nguyên nhân ở băng thông bộ nhớ, dung lượng VRAM và giới hạn nhiệt trước khi đổ lỗi cho phần mềm.

Vẫn có bốn khác biệt nhỏ. Thứ nhất là backend: LM Studio cho chọn thủ công Vulkan hoặc CUDA, còn bài gốc nêu một issue của Ollama liên quan card RTX 5060M qua Vulkan. Thứ hai là mức RAM chiếm bởi giao diện. Thứ ba là cách xử lý khi model tràn VRAM. Thứ tư là quy trình cập nhật engine, chẳng hạn LM Studio 0.3.32 bật Flash Attention mặc định cho Vulkan và Metal sớm hơn.

Bốn model 7B đến 14B và cách đo tốc độ nằm trong bài so sánh LM Studio với Ollama, kèm phương pháp đo token để tự lặp lại.

ComfyUI vận hành theo đồ thị node, khác giao diện WebUI một ô nhập. Mỗi ảnh PNG xuất ra nhúng sẵn toàn bộ workflow kèm seed, kéo ảnh thả vào trình duyệt là dựng lại đúng sơ đồ. Đổi câu lệnh thì bước nạp model phía trước vẫn giữ kết quả cũ, nên thử nghiệm nhanh hơn.

Nhóm phát triển khuyến nghị người mới cài ứng dụng desktop, còn bản portable không dành cho số đông. Tôi vẫn chọn portable trên laptop vì nó gói sẵn Python và PyTorch trong một thư mục, không đụng Python hệ thống, xóa thư mục là gỡ sạch. Gói cho card NVIDIA kèm Python 3.13 và PyTorch CUDA 13.0, hỗ trợ từ RTX 20 trở lên. Card GTX 10 cần gói riêng dựng trên CUDA 12.6. File tải có đuôi .7z, File Explorer từ Windows 11 23H2 đã mở được.

• Đặt model đúng thư mục rồi nạp workflow mẫu đầu tiên.
• Laptop VRAM thấp: giảm độ phân giải và dùng tham số khởi động tiết kiệm bộ nhớ.

Từng bước cài ComfyUI portable trên Windows được hướng dẫn trong bài về ComfyUI, kèm cách xử lý lỗi thiếu custom node.

Một harness như DeepSeek Harness thực chất là lớp vỏ điều phối: nhận lệnh, gọi công cụ, đọc và ghi file. Tài liệu cấu hình cho phép thêm provider tùy chỉnh trỏ vào server tự dựng, khai báo base URL cùng giao thức openai-completions, openai-responses hoặc anthropic-messages. Server model chạy trên laptop phát đúng giao thức openai-completions nên harness cắm vào được.

Khi đó tiến trình Node chỉ chiếm vài trăm megabyte, còn bộ nhớ bị model ăn hết. Đây là ranh giới cần nắm trước khi chọn máy. Số đầu tiên tôi tra là dung lượng file trọng số, vì nó nằm gần như nguyên vẹn trong bộ nhớ: qwen3.5:4b khoảng 3,4 GB, qwen3.5:9b khoảng 6,6 GB, gemma4:12b khoảng 7,6 GB ở mức lượng tử hóa Q4_K_M.

Ngưỡng RAM và VRAM cho agent code cục bộ được tính trong bài về DeepSeek Harness, với ngưỡng cấu hình cho ba mức RAM phổ biến.

Quy tắc tôi dùng là dung lượng file model cộng phần dư cho KV cache và hệ điều hành phải nằm gọn trong bộ nhớ khả dụng. Ngữ cảnh dài làm KV cache phình nhanh hơn dự tính, nên đặt ngữ cảnh vừa đủ cho việc đang làm thay vì mở hết 256K token.

• Laptop đồ họa tích hợp 16 GB RAM: model 4B đến 9B, ngữ cảnh ngắn.
• Laptop đồ họa tích hợp 32 GB RAM: model tới 12B, chấp nhận tốc độ vừa phải.
• Laptop VRAM 8 GB: model 9B vừa gọn, 12B và 14B cần chia bớt sang RAM.
• Laptop VRAM 12 GB trở lên: thoải mái hơn với 14B và ngữ cảnh dài.

Model có nhãn tools mới gọi được lệnh và đọc file, điều kiện bắt buộc của agent. Tôi lọc theo nhãn này trước khi tải, tránh mất thời gian cho model không dùng được.

• Muốn thử chat với model cục bộ: LM Studio hoặc Ollama đều ổn, chọn theo thói quen giao diện.
• Làm ảnh AI theo quy trình: ComfyUI portable, ưu tiên VRAM.
• Chạy agent code tại chỗ: model có nhãn tools, RAM 32 GB hoặc VRAM từ 8 GB.
• Chưa chắc nhu cầu: chọn máy cân bằng, RAM nâng được.

Sau nhiều lần thử, tôi rút ra rằng AI cục bộ là bài toán bộ nhớ trước, tốc độ xung nhịp sau. Máy RAM rộng và VRAM đủ luôn cho trải nghiệm đỡ bực hơn máy xung cao mà thiếu bộ nhớ.

Với các mẫu đã được chấm khả năng chạy AI cục bộ, Bảng Điểm Laptop ghi riêng RAM và GPU.