Có những việc bạn muốn giao cho AI nhưng chưa yên tâm gửi dữ liệu ra ngoài: hợp đồng, hồ sơ khách, chứng từ kế toán. Local AI là cách đặt mô hình AI trên máy chủ có GPU của chính doanh nghiệp, để AI làm việc với dữ liệu mà dữ liệu vẫn ở trong nhà. 1stX đang thử nghiệm chế độ này trong AX và sẵn lòng cùng bạn xem nó có hợp với công việc của mình không.
Khi nói tới AI, nhiều người nghĩ ngay tới chatbot. Nhưng trên một máy chủ đặt tại doanh nghiệp, AI còn có thể đọc giấy tờ, tìm trong kho tài liệu, nghe ghi âm, và học thêm từ chính dữ liệu của bạn. Dưới đây là những việc thường gặp, kèm lúc nào nên dùng Local AI.
Hóa đơn, phiếu nhập, hợp đồng, căn cước của khách: AI đọc ảnh chụp hoặc bản scan rồi điền sẵn thông tin vào phần mềm, người làm chỉ cần soát lại.
Nên dùng Local AI khi giấy tờ có thông tin cá nhân hoặc điều khoản không được gửi ra ngoài.Quy trình, chính sách, bảng giá, tài liệu kỹ thuật: nhân viên hỏi bằng lời thường và nhận câu trả lời kèm chỗ trích trong tài liệu gốc.
Nên dùng Local AI khi kho tài liệu là bí quyết riêng của công ty.Tra giá, tồn kho, chính sách bảo hành, tình trạng đơn; soạn sẵn câu trả lời để nhân viên duyệt hoặc gửi luôn với câu hỏi quen thuộc.
Nên dùng Local AI khi câu hỏi lặp lại nhiều và chứa dữ liệu khách.Huấn luyện thêm (fine-tuning) một mô hình mở nhỏ để làm thật tốt một việc hẹp, ví dụ phân loại yêu cầu hay lập phiếu theo mẫu của công ty. Mô hình học xong thuộc về doanh nghiệp.
Nên dùng Local AI khi dữ liệu huấn luyện là hội thoại, hồ sơ hay số liệu nội bộ.Chuyển ghi âm cuộc họp, cuộc gọi tổng đài thành văn bản rồi tóm tắt việc cần làm.
Nên dùng Local AI khi nội dung cuộc gọi hay cuộc họp là thông tin nhạy cảm.Kế toán, kinh doanh, kỹ thuật mỗi nơi một trợ lý, chỉ thấy đúng phần dữ liệu bộ phận đó được phép xem.
Nên dùng Local AI khi quy định nội bộ yêu cầu dữ liệu không rời khỏi công ty.Trong AX, 1stX đã chạy thử trên GPU của máy chủ riêng phần trợ lý, đọc ảnh khách gửi và huấn luyện thêm một mô hình nhỏ. Với những việc còn lại, chúng tôi cùng bạn thử trên dữ liệu thật trước khi hứa hẹn điều gì.
Cả hai cách đều có chỗ mạnh. Bảng dưới đây giúp bạn thấy khác nhau ở đâu.
Local AI chỉ đổi nơi mô hình chạy. Những thứ khác vẫn như cũ: tin nhắn Zalo vẫn đi qua Zalo, phần mềm kế toán hay bán hàng vẫn ở chỗ của nó, AX vẫn lấy dữ liệu từ các phần mềm đó như trước.
Chọn một mô hình và một GPU, bạn sẽ thấy ngay mô hình có vừa máy không, mỗi người nhận câu trả lời nhanh cỡ nào và một máy phục vụ được bao nhiêu người.
VRAM = trọng số + KV cache + 1 GB mỗi GPU. Trọng số = tổng tham số × bit ÷ 8; MoE nạp mọi expert. KV mỗi người = 2 × KV head × head dim × lớp giữ toàn bộ context × token; lớp cửa sổ trượt chỉ giữ cửa sổ, lớp linear hay Mamba giữ trạng thái cố định.
Tốc độ: cận trên = bandwidth ÷ byte đọc mỗi bước; MoE chỉ đọc tham số active. Thực tế cộng 2,2 ms mỗi bước, khớp từ hai số đo trên RTX 3090 Ti của 1stX (Qwen3.8-27B Q4: 54 tok/s; Qwen3 4B Q8: 150 tok/s).
Số máy = người dùng ÷ giây giữa 2 tin × 1,5 × token mỗi câu ÷ (khả năng một máy × 70%).
Giới hạn. Ước tính theo bandwidth, không phải benchmark; chưa tính thời gian đọc prompt trên máy khác, giới hạn compute khi rất đông người, khác biệt giữa phần mềm chạy model. GB = 1024³ byte, GB/s = 10⁹ byte/giây.
Bạn không phải chọn một kiểu cho cả công ty. Trong AX, mỗi trợ lý dùng mô hình riêng, nên việc đơn giản có thể chạy Local AI, việc khó vẫn dùng cloud. Phần chạy trên cloud thì dữ liệu vẫn đi ra ngoài như bình thường.
Chọn một việc cụ thể và một bộ dữ liệu thật của doanh nghiệp, chạy trên cả mô hình chạy Local AI và mô hình cloud rồi so từng kết quả. Việc nào Local AI làm đủ tốt mới chuyển.
Cấu hình theo mô hình cần chạy và số người dùng cùng lúc, không mua thừa. Máy đặt ở văn phòng hoặc phòng máy của doanh nghiệp.
Cài mô hình lên máy, nối với AX, chuyển từng việc sang chạy trên máy chủ của doanh nghiệp. Việc nào chưa đạt thì vẫn để trên cloud.
Mô hình mở ra bản mới khá thường xuyên. Khi có bản tốt hơn, chúng tôi chạy lại cùng bộ dữ liệu rồi mới thay.