Trong kỷ nguyên số hóa, các chatbot AI dựa trên đám mây như ChatGPT hay Gemini mang đến sự tiện lợi vượt trội. Tuy nhiên, chúng cũng đi kèm với những đánh đổi về quyền riêng tư dữ liệu và khả năng truy cập. Việc chạy mô hình ngôn ngữ lớn (LLM) cục bộ, tức là công nghệ cốt lõi phía sau các chatbot AI, trao cho bạn quyền kiểm soát hoàn toàn, khả năng truy cập ngoại tuyến và bảo mật dữ liệu mạnh mẽ hơn. Mặc dù nghe có vẻ phức tạp về mặt kỹ thuật, nhưng với sự hỗ trợ của các ứng dụng phù hợp, bất kỳ ai cũng có thể dễ dàng bắt đầu khám phá thế giới AI cục bộ ngay trên thiết bị của mình.
5. Ollama
Ollama là một ứng dụng thân thiện với người dùng, được thiết kế để giúp các cá nhân vận hành LLM cục bộ một cách hiệu quả mà không đòi hỏi chuyên môn kỹ thuật sâu. Nó cho phép bạn chạy các mô hình AI mạnh mẽ ngay trên phần cứng thông thường như một chiếc laptop. Ollama nổi bật nhờ sự đơn giản và dễ tiếp cận, không cần thiết lập phức tạp.
Ứng dụng này hỗ trợ đa dạng các mô hình và có sẵn phiên bản dành cho máy tính để bàn trên macOS, Windows và Linux, đảm bảo khả năng tương thích với hầu hết các nền tảng phổ biến. Quá trình thiết lập đơn giản và bạn sẽ sẵn sàng để chạy LLM trên thiết bị của mình chỉ trong thời gian ngắn.
Để khởi chạy một mô hình, bạn sử dụng lệnh ollama run [model identifier]. Bạn có thể chỉ định một trong các LLM được hỗ trợ ở cuối lệnh. Ví dụ, để chạy mô hình Phi 4 của Microsoft, bạn chỉ cần nhập lệnh sau:
ollama run phi4Đối với Llama 4, bạn nhập:
ollama run llama4Mô hình đã chỉ định sẽ được tải xuống và bắt đầu chạy. Sau đó, bạn có thể trò chuyện trực tiếp với nó từ giao diện dòng lệnh. Chẳng hạn, bạn có thể chạy DeepSeek cục bộ trên laptop của mình bằng cách sử dụng Ollama.
Giao diện DeepSeek-R1 đang chạy trong cửa sổ Terminal của Ollama
4. Msty
Tương tự như Ollama, Msty là một ứng dụng thân thiện với người dùng, giúp đơn giản hóa việc chạy LLM cục bộ. Có sẵn cho Windows, macOS và Linux, Msty loại bỏ những phức tạp thường liên quan đến việc vận hành LLM cục bộ, như cấu hình Docker hay giao diện dòng lệnh.
Ứng dụng này cung cấp nhiều mô hình mà bạn có thể chạy trên thiết bị của mình, với các tùy chọn phổ biến như Llama, DeepSeek, Mistral và Gemma. Bạn cũng có thể tìm kiếm các mô hình trực tiếp trên Hugging Face. Sau khi cài đặt, ứng dụng sẽ tự động tải xuống một mô hình mặc định về thiết bị của bạn.
Sau đó, bạn có thể tải xuống bất kỳ mô hình nào bạn thích từ thư viện. Nếu bạn muốn tránh giao diện dòng lệnh bằng mọi giá, Msty là ứng dụng hoàn hảo dành cho bạn. Giao diện dễ sử dụng của nó mang lại trải nghiệm cao cấp.
Ứng dụng này cũng bao gồm một thư viện các gợi ý (prompts) với nhiều tùy chọn được tạo sẵn mà bạn có thể sử dụng để hướng dẫn các mô hình LLM và tinh chỉnh phản hồi. Msty cũng tích hợp các không gian làm việc (workspaces) để giúp bạn tổ chức các cuộc trò chuyện và nhiệm vụ của mình.
Msty đang chạy mô hình ngôn ngữ lớn cục bộ trên hệ điều hành macOS
3. AnythingLLM
AnythingLLM là một ứng dụng máy tính tiện dụng được thiết kế cho những người dùng muốn chạy LLM cục bộ mà không cần thiết lập phức tạp. Từ cài đặt đến lời nhắc đầu tiên của bạn, quá trình này diễn ra trôi chảy và trực quan. Nó mang lại cảm giác như bạn đang sử dụng một LLM dựa trên đám mây.
Trong quá trình thiết lập, bạn có thể tải xuống các mô hình mình lựa chọn. Một số LLM offline tốt nhất, bao gồm DeepSeek R1, Llama 4, Microsoft Phi 4, Phi 4 Mini và Mistral, đều có sẵn để tải xuống.
Giống như hầu hết các ứng dụng trong danh sách này, AnythingLLM hoàn toàn là mã nguồn mở. Nó bao gồm nhà cung cấp LLM riêng và cũng hỗ trợ nhiều nguồn bên thứ ba, bao gồm Ollama, LM Studio và Local AI, cho phép bạn tải xuống và chạy các mô hình từ các nguồn này. Nhờ đó, nó cho phép bạn chạy hàng trăm, nếu không phải hàng nghìn mô hình LLM có sẵn trên web.
Màn hình chính ứng dụng AnythingLLM trên macOS với các tùy chọn mô hình AI
2. Jan.ai
Jan tự quảng bá mình là một giải pháp thay thế ChatGPT mã nguồn mở có thể chạy AI offline. Ứng dụng này cung cấp một giao diện máy tính để bàn đẹp mắt để chạy các mô hình LLM khác nhau cục bộ trên thiết bị của bạn. Bắt đầu với Jan rất dễ dàng. Khi bạn cài đặt ứng dụng (có sẵn trên Windows, macOS và Linux), bạn sẽ được cung cấp nhiều mô hình LLM để tải xuống.
Mặc dù chỉ một số mô hình được hiển thị mặc định, nhưng bạn có thể tìm kiếm hoặc nhập URL của Hugging Face nếu không thấy mô hình mình đang tìm kiếm. Bạn cũng có thể nhập một tệp mô hình (ở định dạng GGUF) nếu bạn đã có sẵn cục bộ. Không có cách nào dễ hơn thế. Ứng dụng này cũng bao gồm các LLM dựa trên đám mây trong danh sách của nó, vì vậy hãy đảm bảo áp dụng bộ lọc thích hợp để loại trừ chúng.
Giao diện ứng dụng Jan.ai hiển thị cuộc trò chuyện với mô hình Qwen LLM cục bộ
1. LM Studio
LM Studio là một ứng dụng khác cung cấp một trong những cách tiếp cận dễ dàng nhất để chạy LLM cục bộ trên thiết bị của bạn. Ứng dụng máy tính để bàn này (có sẵn trên macOS, Windows và Linux) cho phép bạn dễ dàng chạy các mô hình ngôn ngữ lớn trên thiết bị của mình.
Sau khi thiết lập, bạn có thể duyệt và tải các mô hình phổ biến như Llama, Mistral, Gemma, DeepSeek, Phi và Qwen trực tiếp từ Hugging Face chỉ với vài cú nhấp chuột. Khi đã tải, mọi thứ đều chạy ngoại tuyến, đảm bảo các lời nhắc và cuộc trò chuyện của bạn luôn được bảo mật trên thiết bị.
Ứng dụng này tự hào có giao diện người dùng trực quan, quen thuộc, vì vậy bạn sẽ cảm thấy hoàn toàn thoải mái nếu đã từng sử dụng các LLM dựa trên đám mây như Claude.
Màn hình chào mừng và hướng dẫn khởi động của LM Studio
Có nhiều cách để chạy mô hình ngôn ngữ lớn trên Linux, Windows, macOS hoặc bất kỳ hệ điều hành nào bạn sử dụng. Tuy nhiên, các ứng dụng được liệt kê ở đây cung cấp một số cách dễ dàng và tiện lợi nhất để thực hiện điều đó. Một số yêu cầu một chút tiếp xúc với giao diện dòng lệnh, trong khi những ứng dụng khác, như AnythingLLM và Jan, cho phép bạn thực hiện mọi thứ từ giao diện người dùng đồ họa (GUI).
Tùy thuộc vào mức độ thoải mái về kỹ thuật của bạn, hãy thử một vài ứng dụng và gắn bó với ứng dụng phù hợp nhất với nhu cầu của bạn. Đừng ngần ngại khám phá và chia sẻ trải nghiệm của bạn với cộng đồng Thủ Thuật Mới!
