Quảng cáo về AI chạy trên laptop thường nghe rất êm tai: miễn phí, không cần internet, dữ liệu không rời khỏi máy. Trải nghiệm thật lại chia thành hai nửa rõ rệt. Một nửa người dùng mở máy lên là chat mượt, nửa còn lại ngồi nhìn từng chữ hiện ra chậm đến mức bỏ cuộc giữa chừng. Khác biệt gần như không nằm ở phần mềm, vì LM Studio và Ollama đều miễn phí cho mọi người, mà nằm ở cấu hình máy và ở mô hình được chọn có vừa với máy đó hay không.
Bài viết này đi thẳng vào phần ít được nói rõ: máy nào chạy được ở mức dùng thoải mái, máy nào chỉ nên dừng ở mức thử cho biết, và nên bắt đầu bằng mô hình nào để không lãng phí vài GB tải về. Bài toán mẫu xuyên suốt bài là chiếc laptop Windows RAM 16GB khá phổ biến hiện nay, ghép với mô hình Qwen3 4B có file tải về 2,5GB, một điểm bắt đầu an toàn cho phần lớn nhu cầu thường ngày.
AI chạy trên laptop là gì: mô hình nằm ngay trong máy, dữ liệu không đi đâu
AI chạy trên máy (thường gọi là local AI) hoạt động theo cách khá đơn giản: bạn tải một mô hình AI mã nguồn mở về ổ cứng, cài thêm một ứng dụng chạy mô hình như LM Studio hoặc Ollama, và toàn bộ quá trình suy luận diễn ra trên CPU, card đồ họa của chính chiếc laptop đó. Các mô hình phổ biến nhất hiện nay đến từ Google (dòng Gemma), Meta (dòng Llama), Alibaba (dòng Qwen) và DeepSeek. Sau lần tải đầu tiên, máy ngắt internet vẫn chat, tóm tắt và soạn thảo bình thường, vì không còn bất kỳ dữ liệu nào phải gửi lên máy chủ.
Cái giá của sự riêng tư đó nằm ở kích thước. Mô hình chạy được trên laptop thường có từ 1 đến 14 tỷ tham số, trong khi các mô hình online mạnh nhất lớn hơn rất nhiều và chạy trên cụm máy chủ chuyên dụng. Bản local vì vậy xử lý tốt các việc thường ngày như tóm tắt tài liệu, soạn email, dịch đoạn văn, hỏi đáp trên tài liệu có sẵn, hỗ trợ viết code ở mức cơ bản. Khi gặp bài toán suy luận nhiều bước, kiến thức chuyên sâu hiếm gặp hoặc yêu cầu độ chính xác cao, khoảng cách với bản online mạnh nhất lộ ra khá rõ.
Đổi lại, phần được hưởng là quyền kiểm soát dữ liệu ở mức tuyệt đối. Theo tài liệu của Ollama, khi chạy mô hình local, nhà phát triển không nhìn thấy câu hỏi và dữ liệu của người dùng, và ứng dụng còn có tùy chọn tắt hẳn các tính năng đám mây để máy chỉ làm việc nội bộ. Đây là lý do AI trên máy đặc biệt hợp với những nội dung nhạy cảm mà nhiều người vẫn ngại dán lên các dịch vụ online, phần này sẽ được nói kỹ hơn ở mục công việc phù hợp phía dưới.
Tốc độ thật theo từng tầng máy: RAM và VRAM quyết định máy chạy mượt hay ì ạch
Tốc độ của AI trên laptop được đo bằng số token sinh ra mỗi giây, viết tắt là tok/s. Token là mẩu chữ mà mô hình sinh ra, một từ tiếng Việt thường tương đương khoảng 1 đến 2 token. Cảm giác sử dụng thay đổi rất rõ theo con số này: trên 10 tok/s chữ hiện nhanh hơn tốc độ đọc, khoảng 5 đến 7 tok/s chữ hiện ngang tốc độ đọc nên vẫn theo dõi được, còn 3 đến 5 tok/s là vùng rất chậm, đủ khiến người dùng mất kiên nhẫn với câu trả lời dài. Ngưỡng cảm giác này khớp với nhiều phép đo độc lập trên máy phổ thông, ví dụ một bài kiểm tra 8 mô hình trên laptop Intel i5 RAM 12GB chỉ bằng CPU cho kết quả bản 1B đạt khoảng 18,6 tok/s, nhóm 3B đạt khoảng 8,5 đến 9 tok/s, còn bản 7B và 8B tụt xuống chỉ còn khoảng 3 đến 4 tok/s.
Nguyên nhân nằm ở băng thông bộ nhớ. Mỗi token sinh ra đều buộc máy đọc lại gần như toàn bộ trọng số của mô hình từ RAM hoặc VRAM, nên bộ nhớ truyền dữ liệu càng nhanh thì chữ ra càng nhanh, số nhân CPU nhiều hay ít chỉ là yếu tố phụ. Mô hình vừa khít trong VRAM của card đồ họa sẽ chạy nhanh vượt trội, mô hình tràn khỏi VRAM phải chia một phần sang RAM hệ thống và tốc độ rơi xuống ngay. Bảng dưới đây tổng hợp kỳ vọng thực tế theo từng tầng máy, lấy mô hình bản lượng tử hóa Q4 làm chuẩn:
| Tầng máy | Mô hình nên chọn | Tốc độ sinh chữ tham khảo |
|---|---|---|
| RAM 8GB, không card rời | Bản 1B đến 3B (file 0,8 đến 2GB) | Khoảng 9 đến 19 tok/s tùy bản, đủ chat và tóm tắt ngắn |
| RAM 16GB, card onboard (Intel Iris Xe, Radeon 780M) | Bản 4B (file 2,5 đến 3,4GB) | Bản 7B đến 8B qua card onboard đạt khoảng 6 đến 10 tok/s, bản 4B nhanh hơn rõ rệt |
| RAM 16GB, card rời 8 đến 12GB VRAM (RTX 3060, RTX 4060 laptop) | Bản 8B vừa trong VRAM (file khoảng 5GB) | Khoảng 50 tok/s với bản 7B đến 8B |
| Mac Apple Silicon RAM 16GB | Bản 7B đến 8B | Khoảng 30 đến 45 tok/s nhờ bộ nhớ hợp nhất |
| RAM 32GB trở lên | Bản 14B (file 9,3GB) hoặc giữ 8B cho thật nhanh | Bản 8B rất thoải mái, bản 14B ở mức dùng tốt |
Trường hợp gây tranh cãi nhiều nhất trong cộng đồng người dùng cũng được giải thích bằng chính cơ chế trên. Một cấu hình nghe qua tưởng mạnh, RAM 24GB kèm card GTX 1650 4GB VRAM, vẫn cho trải nghiệm tệ khi chủ máy chọn nhầm mô hình thuộc dòng suy luận (reasoning). Card 4GB chỉ chứa nổi những bản rất nhỏ, phần việc còn lại tràn sang CPU. Tệ hơn, mô hình suy luận như các bản chưng cất từ DeepSeek R1 có thói quen sinh ra hàng nghìn token suy nghĩ ẩn trước khi gõ chữ trả lời đầu tiên, một câu trả lời vài dòng có thể tốn khoảng 2.000 token suy nghĩ. Ở tốc độ khoảng 5 tok/s của một chiếc máy yếu, chỉ riêng 1.500 token suy nghĩ đã ngốn trọn 5 phút chờ đợi, và đó là trước khi chữ trả lời bắt đầu hiện ra từng ký tự một. Kết luận rút ra khá rõ: laptop card onboard hoặc card rời VRAM thấp vẫn dùng AI local được, với điều kiện chọn mô hình chat thường cỡ nhỏ và tránh xa các mô hình suy luận khi máy không đủ khỏe.
LM Studio và Ollama: một bên giao diện sẵn, một bên dòng lệnh gọn
Hai ứng dụng phổ biến nhất để chạy AI trên laptop đều miễn phí, cùng tải mô hình từ kho Hugging Face hoặc thư viện có sẵn, và cùng cho phép dùng offline sau khi đã tải mô hình. Khác biệt chính nằm ở cách tương tác. LM Studio là ứng dụng đồ họa hoàn chỉnh: có ô tìm kiếm mô hình ở thẻ Discover, có nút tải, có cửa sổ chat trông gần giống ChatGPT, và có cơ chế gợi ý bản mô hình vừa với RAM của máy ngay trong danh sách kết quả. Ollama đi theo hướng dòng lệnh: cài xong, gõ một lệnh là mô hình tự tải về và mở phiên chat ngay trong terminal, đồng thời Ollama mở sẵn một cổng API local để các ứng dụng khác kết nối vào và dùng chung mô hình.
| Tiêu chí | LM Studio | Ollama |
|---|---|---|
| Cách dùng chính | Giao diện đồ họa, thẻ Discover tìm và tải mô hình, cửa sổ chat sẵn | Dòng lệnh, một lệnh vừa tải mô hình vừa mở chat |
| Máy hỗ trợ | Mac chip Apple Silicon (không hỗ trợ Mac Intel), Windows x64 có AVX2 hoặc ARM, Linux | macOS 14 trở lên, Windows 10 bản 22H2 trở lên, Linux |
| Yêu cầu bộ nhớ theo tài liệu chính thức | Khuyên dùng RAM 16GB trở lên, card rời nên có từ 4GB VRAM | Ứng dụng cài đặt chiếm khoảng 4GB ổ đĩa, dung lượng còn lại tùy mô hình tải về |
| Định dạng mô hình | GGUF và MLX, bản MLX trên Mac chip Apple thường cho tốc độ tốt hơn | Mô hình đóng gói sẵn trong thư viện Ollama, gọi bằng tên ngắn gọn |
| Chat với tài liệu | Có sẵn, gắn tài liệu vào cuộc trò chuyện và hỏi đáp hoàn toàn offline | Cần ứng dụng trung gian kết nối qua API, hoặc dán nội dung trực tiếp vào câu hỏi |
| Mở API cho ứng dụng khác | Có server local tương thích OpenAI ở cổng 1234 | Có API local tương thích OpenAI ở cổng 11434, nhiều ứng dụng bên thứ ba hỗ trợ sẵn |
| Mã nguồn | Phần mềm miễn phí, mã đóng | Mã nguồn mở |
Cách chọn khá đơn giản. Người mới bắt đầu, ngại gõ lệnh và muốn nhìn thấy mô hình nào vừa máy trước khi tải thì hợp với LM Studio, đặc biệt trên Mac chip Apple nhờ định dạng MLX. Người làm kỹ thuật, muốn nhúng mô hình vào script hoặc ứng dụng khác, hoặc thích mọi thứ gói gọn trong vài lệnh terminal thì hợp với Ollama. Cả hai đều chạy được trên cùng một chiếc máy, nên hoàn toàn có thể cài LM Studio để dùng hằng ngày và giữ Ollama làm đường API cho các công cụ khác.
Chọn mô hình theo RAM: bắt đầu từ bản 4B, lượng tử hóa Q4 là điểm cân bằng
Sai lầm phổ biến nhất của người mới là nhìn vào số tỷ tham số rồi tải bản lớn nhất mà RAM chứa nổi. Cách chọn đúng bắt đầu từ dung lượng RAM, sau đó mới đến tên mô hình. Bảng dưới đây dùng dung lượng file thật trong thư viện Ollama, nơi các bản mặc định đều đã lượng tử hóa ở mức Q4:
| RAM của máy | Mô hình gợi ý để bắt đầu | File tải về |
|---|---|---|
| 8GB | Gemma 3 1B hoặc Llama 3.2 3B | 0,8GB hoặc 2,0GB |
| 16GB | Qwen3 4B hoặc Gemma 3 4B | 2,5GB hoặc 3,4GB |
| 16GB kèm card rời 8GB VRAM trở lên, hoặc Mac Apple Silicon 16GB | Qwen3 8B hoặc Llama 3.1 8B | 5,2GB hoặc khoảng 4,9GB |
| 32GB | Qwen3 14B nếu cần chất lượng cao hơn | 9,3GB |
Lượng tử hóa (quantization) là kỹ thuật nén trọng số của mô hình xuống ít bit hơn để file nhẹ đi và đọc nhanh hơn. Cùng một mô hình Gemma 3 4B, bản gốc 16 bit nặng 8,6GB, bản Q8 còn 5,0GB, bản Q4 còn 3,4GB. Cái giá phải trả là độ chính xác giảm nhẹ: theo số liệu kiểm tra của dự án llama.cpp, bản Q4_K_M chỉ làm tăng khoảng 0,18 điểm perplexity (thước đo độ "lạc đề" của mô hình) so với bản gốc trên Llama 3 8B, một mức chênh lệch rất khó nhận ra trong công việc thường ngày. Xuống dưới 4 bit thì sai số tăng nhanh và mô hình bắt đầu trả lời vấp váp thấy rõ, nên Q4 được coi là điểm cân bằng chuẩn cho laptop. Riêng dòng Gemma 3 còn có bản QAT được huấn luyện kèm lượng tử hóa, giữ chất lượng gần bản gốc trong khi nhẹ hơn khoảng 3 lần, là lựa chọn đáng ưu tiên nếu bạn chọn Gemma.
Nguyên tắc vận hành sau khi chọn: nếu thấy chữ ra chậm dưới ngưỡng đọc kịp, hạ xuống một cỡ mô hình hoặc giữ nguyên cỡ và chọn bản Q4 nhẹ hơn bản Q8. Ngược lại, khi máy còn dư nhiều RAM và VRAM sau một thời gian dùng ổn định, nâng lên cỡ tiếp theo sẽ cho câu trả lời tốt hơn trông thấy, nhất là ở các tác vụ viết lách và tóm tắt dài.
Bắt đầu sử dụng: cài ứng dụng, tải mô hình đầu tiên, kiểm chứng offline
Với LM Studio, các bước gói gọn trong giao diện: tải bộ cài từ trang lmstudio.ai, mở ứng dụng, vào thẻ Discover, tìm "Qwen3 4B", chọn bản Q4 rồi bấm tải. Tải xong, chọn mô hình vừa tải ở đầu cửa sổ chat và bắt đầu hỏi. Ứng dụng tự trừ hao dung lượng theo cấu hình máy trong lúc gợi ý, nên khả năng tải nhầm bản quá nặng khá thấp.
Với Ollama, sau khi cài từ trang ollama.com, mọi việc diễn ra trong terminal bằng đúng một lệnh. Lệnh này tự tải mô hình về trong lần chạy đầu tiên, các lần sau mở lên là dùng ngay:
ollama run qwen3:4b
Muốn đổi sang mô hình khác, chỉ cần thay tên ở cuối lệnh, ví dụ tải bản Gemma 3 4B cho máy muốn thử thêm lựa chọn về hình ảnh và văn bản:
ollama run gemma3:4b
Gõ `/bye` để thoát phiên chat. Mô hình đã tải nằm trong thư mục `.ollama` ở thư mục người dùng và được giữ lại trong bộ nhớ khoảng 5 phút sau câu hỏi cuối để các câu hỏi tiếp theo phản hồi nhanh hơn.
Bước cuối cùng thường bị bỏ qua nhưng lại là bước quan trọng nhất: kiểm chứng offline thật. Hãy ngắt wifi, tắt dữ liệu mạng, thậm chí rút cáp nếu máy đang cắm dây, rồi đặt một câu hỏi mới hoàn toàn. Mô hình trả lời bình thường trong trạng thái đó là bằng chứng chắc chắn nhất rằng toàn bộ quá trình xử lý đang diễn ra trong máy. Với nhu cầu kín đáo ở mức cao hơn, Ollama có sẵn tùy chọn tắt các tính năng đám mây trong cấu hình, còn LM Studio theo tài liệu chính thức cũng vận hành hoàn toàn offline khi mô hình đã nằm sẵn trên máy.
Những việc đáng giao cho AI trên máy: tài liệu riêng tư và công việc thường ngày
Nhóm việc hợp nhất với AI trên laptop là những việc mà nội dung đầu vào vốn không nên rời khỏi máy. Nhật ký cá nhân cần tóm tắt cuối tuần, bản hợp đồng cần đọc trước khi ký, ghi chú y tế của người thân, hồ sơ khách hàng của một cửa hàng nhỏ, bảng số liệu doanh thu chưa công bố: tất cả đều là dữ liệu mà chỉ một lần dán lên dịch vụ online cũng đủ gây khó chịu về lâu dài. Đưa cho mô hình local xử lý, dữ liệu đó nằm yên trong ổ cứng từ đầu đến cuối, và người dùng giữ toàn quyền xóa sạch bất cứ lúc nào.
Một prompt tóm tắt tài liệu offline dùng được ngay cho cả hai ứng dụng, chỉ cần dán nội dung tài liệu vào phần cuối:
Tóm tắt tài liệu dưới đây thành 5 ý chính. Giữ nguyên mọi con số, ngày tháng và tên riêng như trong bản gốc, không tự thêm thông tin ngoài tài liệu: [dán nội dung tài liệu vào đây]
Nhóm việc thứ hai là các tác vụ thường ngày không đòi hỏi mô hình quá thông minh: soạn nháp email và tin nhắn, dịch đoạn văn hai chiều, sửa câu chữ trong báo cáo, lên dàn ý bài thuyết trình, hỏi đáp nhanh về kiến thức phổ thông, hỗ trợ viết và giải thích đoạn code ngắn. Các bản 4B đến 8B xử lý những việc này ở mức khá ổn định, đặc biệt khi câu hỏi rõ ràng và ngữ cảnh được cung cấp sẵn trong prompt. LM Studio còn cho gắn trực tiếp file tài liệu vào cuộc trò chuyện để hỏi đáp trên nội dung file mà không cần dán thủ công, tính năng này chạy hoàn toàn offline theo tài liệu của hãng.
Với nhu cầu trò chuyện bằng giọng nói, cần lưu ý rằng LM Studio và Ollama chỉ xử lý văn bản. Muốn nói chuyện trực tiếp với AI trên máy, bạn cần thêm một công cụ chuyển giọng nói thành văn bản chạy local (dòng công cụ Whisper mã nguồn mở là lựa chọn phổ biến) và một công cụ đọc văn bản thành tiếng ở chiều ngược lại. Ba mảnh ghép này độc lập với nhau, cài thêm được khi thật sự cần, còn phần lớn nhu cầu hiện tại vẫn dừng ở gõ chữ là đủ.
Ba kỳ vọng sai dễ gặp khi mới cài AI trên laptop
Kỳ vọng thứ nhất: chất lượng ngang các bản online mạnh nhất. Một mô hình 4B đến 8B nằm trong laptop không thể so độ sâu kiến thức và khả năng suy luận với các mô hình hàng trăm tỷ tham số chạy trên máy chủ chuyên dụng. Bản local thắng ở độ riêng tư, chi phí bằng không và khả năng dùng khi mất mạng; bản online thắng ở chất lượng câu trả lời cho câu hỏi khó. Trộn lẫn hai kỳ vọng này là nguồn thất vọng lớn nhất của người mới, và cũng là lý do nhiều bài quảng cáo kiểu "thay thế hoàn toàn ChatGPT bằng laptop" bị cộng đồng người dùng phản bác khá gay gắt sau khi cài thử.
Kỳ vọng thứ hai: máy nào cũng chạy được mọi mô hình, miễn là tải về được. File tải về được chỉ có nghĩa là ổ cứng chứa nổi, còn chạy nổi hay không phụ thuộc vào RAM, VRAM và tốc độ bộ nhớ như đã phân tích ở trên. Không ít trường hợp máy văn phòng card onboard bị khuyên cài bản 8B kèm mô hình suy luận, kết quả là quạt quay hết công suất mà chữ vẫn ra nhỏ giọt. Cộng đồng người dùng có kinh nghiệm thường khuyên ngược lại với quảng cáo: thà dùng bản 3B đến 4B chạy mượt cho việc hằng ngày, còn hơn ôm bản lớn để mỗi câu hỏi chờ vài phút.
Kỳ vọng thứ ba: cài xong là máy nhẹ nhàng như cũ. Chạy AI local là một tải nặng thật sự. CPU hoặc GPU phải làm việc gần như tối đa trong suốt thời gian sinh chữ, laptop mỏng nhẹ dễ nóng lên và tự hạ xung để bảo vệ phần cứng, khiến tốc độ sinh chữ giảm dần trong các phiên hỏi đáp dài. Ổ cứng cũng vơi nhanh hơn dự tính: mỗi mô hình tốn từ 2,5 đến 9,3GB, thử qua vài mô hình của vài hãng là thư mục chứa mô hình dễ dàng phình lên vài chục GB. Cả hai hiện tượng này đều bình thường về mặt kỹ thuật, chỉ cần được tính trước: dùng máy trên mặt phẳng thoáng, cắm sạc khi hỏi dài, và xóa bớt mô hình không dùng nữa bằng chính ứng dụng đã tải chúng về.
Checklist áp dụng nhanh
- Kiểm tra RAM và VRAM của máy trước khi tải bất cứ mô hình nào, rồi đối chiếu với bảng chọn mô hình ở trên để chốt một cỡ duy nhất cho lần thử đầu tiên.
- Bắt đầu bằng Qwen3 4B hoặc Gemma 3 4B bản Q4 trên máy RAM 16GB, chỉ nâng cỡ khi tốc độ sinh chữ đang ở mức thoải mái và máy còn dư bộ nhớ.
- Cài xong, ngắt toàn bộ kết nối mạng và đặt một câu hỏi mới để kiểm chứng máy chạy offline thật, trước khi đưa tài liệu nhạy cảm vào xử lý.
Câu hỏi thường gặp
Máy RAM 8GB, chỉ có card onboard thì có nên cài không?
Có, với kỳ vọng đặt đúng từ đầu. Máy ở tầng này nên dừng ở bản 1B đến 3B như Gemma 3 1B hoặc Llama 3.2 3B, tốc độ sinh chữ nằm trong khoảng 9 đến 19 tok/s tùy bản, đủ cho chat ngắn, tóm tắt đoạn văn và soạn thảo đơn giản. Đừng tải bản 8B và tránh các mô hình suy luận, vì VRAM của card onboard không chứa nổi mô hình và phần suy nghĩ ẩn sẽ kéo thời gian chờ lên rất dài.
AI trên laptop đọc tài liệu PDF và Word dài được không?
Được trong giới hạn cửa sổ ngữ cảnh. LM Studio cho gắn file tài liệu vào cuộc trò chuyện để hỏi đáp trực tiếp trên nội dung file, còn với Ollama, cách phổ biến là dùng ứng dụng trung gian có kết nối API hoặc dán từng đoạn nội dung vào câu hỏi. Điểm cần nhớ là cửa sổ ngữ cảnh mặc định của Ollama chỉ 4.096 token, tương đương vài trang văn bản, nên tài liệu dài hàng chục trang cần được chia nhỏ theo từng mục, hỏi từng phần rồi ghép kết quả lại. Bản mô hình càng nhỏ, khả năng nắm ý xuyên suốt tài liệu dài càng hạn chế, nên với văn bản quan trọng, kết quả tóm tắt vẫn cần được đọc đối chiếu lại với bản gốc.
Chạy offline có thật sự không gửi dữ liệu đi đâu không?
Với mô hình local, quá trình xử lý diễn ra hoàn toàn trong máy và bước kiểm chứng ngắt mạng ở trên cho thấy rõ điều đó. Theo chính sách được Ollama công bố trong tài liệu hỏi đáp, khi chạy local, hãng không nhìn thấy câu hỏi và dữ liệu của người dùng, đồng thời ứng dụng có tùy chọn tắt hẳn tính năng đám mây để loại bỏ mọi kết nối tới máy chủ của hãng. Phần mềm vẫn có thể tự kiểm tra bản cập nhật khi máy có mạng, nên trong tình huống cần kín đáo ở mức cao nhất, cách chắc chắn là chặn kết nối của ứng dụng ở tường lửa hệ điều hành và chỉ mở mạng khi cần tải mô hình mới.
Bài viết mang tính hướng dẫn kỹ thuật tham khảo, các con số tốc độ trong bài là khoảng giá trị đo trên những cấu hình cụ thể và sẽ thay đổi theo từng máy, phiên bản phần mềm cùng độ dài ngữ cảnh sử dụng.
