Kiến thức AI Agent#rủi ro khi triển khai AI Agent

5 rủi ro khi triển khai AI Agent và cách doanh nghiệp kiểm soát

NaventicNaventic··10 phút đọc

Có 5 rủi ro khi triển khai AI Agent mà doanh nghiệp nào cũng nên tính trước: AI trả lời sai, dữ liệu bị lộ, hành động sai lặp lại hàng loạt, phụ thuộc vào nhà cung cấp và chi phí vượt dự tính. Cả 5 đều kiểm soát được nếu được nhận diện từ giai đoạn thiết kế. Phần lớn sự cố xảy ra vì doanh nghiệp chỉ nghĩ đến chúng sau khi hệ thống đã chạy. Bài viết đi qua từng rủi ro, nêu biểu hiện cụ thể và biện pháp tương ứng.

Nhìn nhanh 5 rủi ro và mức độ của từng loại

Nhìn nhanh 5 rủi ro và mức độ của từng loại
Nhìn nhanh 5 rủi ro và mức độ của từng loại

Các rủi ro khi triển khai AI Agent không nặng như nhau. Bảng dưới đây giúp bạn hình dung khả năng xảy ra và mức thiệt hại, để biết nên dồn sức vào đâu.

Rủi ro

Khả năng xảy ra

Mức thiệt hại

Dễ phát hiện không

AI trả lời sai hoặc bịa thông tin

Cao

Trung bình

Khó, nếu không ai xem lại

Lộ dữ liệu khách hàng hoặc nội bộ

Thấp

Rất cao

Khó

Hành động sai lặp lại hàng loạt

Thấp

Cao

Dễ, nhưng thường đã muộn

Phụ thuộc vào nhà cung cấp

Trung bình

Trung bình, tăng dần theo thời gian

Chỉ thấy khi muốn thay đổi

Chi phí vượt dự tính

Trung bình

Trung bình

Dễ, nếu có theo dõi

Các mức trong bảng là đánh giá chung. Tùy ngành nghề, thứ tự có thể thay đổi. Một phòng khám sẽ xếp rủi ro lộ dữ liệu lên hàng đầu, còn một cửa hàng bán lẻ thường lo nhất chuyện AI báo sai giá.

Rủi ro 1, AI trả lời sai một cách rất tự tin

Đây là rủi ro hay gặp nhất. AI có thể báo một mức giá đã cũ, mô tả một chính sách không tồn tại, hoặc hứa thời gian giao hàng mà kho không đáp ứng được. Điều đáng ngại là câu trả lời sai vẫn trôi chảy và thuyết phục như câu trả lời đúng. Khách không có lý do gì để nghi ngờ.

Nguyên nhân ít khi nằm ở chỗ AI kém. Thường thì tài liệu đầu vào đã cũ, có 2 phiên bản mâu thuẫn nhau, hoặc câu hỏi nằm ngoài phạm vi dữ liệu và AI cố trả lời thay vì nói "tôi chưa có thông tin".

Có 3 biện pháp kiểm soát hiệu quả:

  • Giới hạn AI chỉ trả lời dựa trên tài liệu chính thức, và yêu cầu nó nói rõ khi không tìm thấy thông tin.

  • Chỉ định người cập nhật tài liệu mỗi khi giá hoặc chính sách thay đổi.

  • Mỗi tuần đọc lại ngẫu nhiên 20 đến 30 cuộc trò chuyện để phát hiện câu trả lời sai mà khách không phản ánh.

Biện pháp cuối tốn ít công nhất và thường bị bỏ qua nhất. Một câu trả lời sai không ai phát hiện có thể lặp lại hàng trăm lần trong 1 tháng.

Rủi ro 2, dữ liệu khách hàng hoặc nội bộ bị lộ

Rủi ro này ít xảy ra hơn, nhưng một lần là đủ gây thiệt hại nặng về uy tín và pháp lý.

Phổ biến nhất là AI tiết lộ thông tin của người này cho người khác. Một khách hỏi về đơn hàng và nhận được địa chỉ giao hàng của khách khác, vì hệ thống không xác minh người hỏi. Cũng có khi AI được cấp quyền đọc quá rộng: nó chỉ cần bảng giá nhưng lại truy cập được cả bảng lương. Ngoài ra còn mối nguy từ bên ngoài, khi có người cố tình gõ những câu lệnh nhằm dụ AI bỏ qua quy tắc và đưa ra thông tin không được phép.

Cách kiểm soát xoay quanh một nguyên tắc: AI chỉ được thấy đúng những gì nó cần. Mỗi yêu cầu tra cứu thông tin cá nhân phải đi kèm bước xác minh, ví dụ số điện thoại đặt hàng. Dữ liệu nhạy cảm nên được tách khỏi kho tài liệu mà AI dùng để trả lời khách. Ngoài ra, doanh nghiệp cần hỏi rõ đơn vị triển khai dữ liệu được lưu ở đâu và có được dùng để huấn luyện mô hình hay không.

Các yêu cầu kỹ thuật cụ thể đã được liệt kê trong bài bảo mật dữ liệu AI Agent, bạn có thể dùng làm danh sách câu hỏi khi làm việc với nhà cung cấp.

Rủi ro 3, một hành động sai được lặp lại hàng trăm lần

AI Agent khác chatbot ở chỗ nó làm được việc: tạo đơn, gửi tin nhắn, cập nhật dữ liệu. Khả năng này cũng là nguồn của một loại rủi ro riêng. Con người mắc lỗi thì chậm, và thường tự nhận ra sau vài lần. AI mắc lỗi thì nhanh và đều.

Hãy thử nghĩ đến một AI được giao gửi tin nhắc lịch hẹn. Do một lỗi cấu hình, nó gửi cho mỗi khách 5 tin thay vì 1. Trong 1 giờ, 400 khách nhận 2.000 tin nhắn. Tình huống này là giả định, nhưng cơ chế thì rất thật: tốc độ của AI nhân lỗi lên trước khi ai đó kịp can thiệp.

Biện pháp kiểm soát gồm 3 lớp bổ trợ cho nhau. Hạn mức giữ cho AI không thực hiện quá một số lượng thao tác nhất định trong 1 giờ. Bước duyệt chặn những hành động khó hoàn tác như hoàn tiền hay gửi thông báo hàng loạt. Và một nút dừng cho phép người phụ trách tắt AI ngay, không cần chờ đội kỹ thuật.

Trước khi vận hành, các tình huống xấu cần được thử trong môi trường an toàn. Bài kiểm thử AI Agent qua 4 vòng hướng dẫn cách tổ chức việc này.

Rủi ro 4, phụ thuộc vào một nhà cung cấp

Rủi ro này không gây sự cố ngay. Nó lớn dần theo thời gian và chỉ lộ ra khi doanh nghiệp muốn thay đổi.

Sự phụ thuộc xuất hiện ở 2 tầng. Tầng dưới là mô hình AI. Nhà phát triển mô hình có thể thay đổi giá, ngừng một phiên bản cũ hoặc cập nhật khiến AI trả lời khác đi. Hiện tượng chất lượng thay đổi theo thời gian này được giải thích trong bài model drift là gì. Tầng trên là đơn vị triển khai hoặc nền tảng. Nếu toàn bộ kịch bản, tài liệu và lịch sử hội thoại chỉ nằm trên hệ thống của họ, việc chuyển đi gần như là làm lại từ đầu.

Doanh nghiệp không thể loại bỏ hoàn toàn sự phụ thuộc, nhưng có thể giữ quyền chủ động bằng vài điều khoản rõ ràng từ lúc ký hợp đồng. Bản gốc tài liệu luôn được lưu ở phía doanh nghiệp. Lịch sử hội thoại xuất được ra file. Hợp đồng ghi rõ ai sở hữu phần cấu hình và kịch bản đã xây dựng. Và hệ thống được thiết kế để có thể đổi sang mô hình AI khác khi cần.

Một câu hỏi đơn giản giúp bạn đo mức phụ thuộc: nếu ngày mai nhà cung cấp ngừng dịch vụ, bạn mất bao lâu để chạy lại?

Rủi ro 5, chi phí vượt dự tính

Chi phí ban đầu thường được báo rõ. Phần dễ vượt kế hoạch là chi phí vận hành, vì nó phụ thuộc vào lượng sử dụng.

AI tính tiền theo lượng chữ phải đọc và viết. Khi số cuộc trò chuyện tăng gấp đôi, chi phí tăng theo. Có những nguyên nhân khó thấy hơn. Một kho tài liệu cồng kềnh khiến AI phải đọc nhiều hơn ở mỗi lượt trả lời. Một kịch bản thiết kế chưa gọn khiến AI gọi phần mềm nhiều lần cho cùng một yêu cầu. Chi phí tăng dần mỗi tháng mà chất lượng không tăng theo.

Còn một dạng khác của rủi ro này: chi phí đúng dự tính nhưng lợi ích không đạt. Doanh nghiệp bỏ tiền triển khai, AI chạy ổn, nhưng không ai đo được nó tiết kiệm bao nhiêu thời gian hay mang lại bao nhiêu đơn hàng.

Để kiểm soát, bạn cần đặt ngân sách tối đa mỗi tháng kèm cảnh báo khi chạm 80%. Bạn cũng cần xác định từ đầu 2 đến 3 chỉ số chứng minh hiệu quả, như thời gian phản hồi hay tỷ lệ yêu cầu AI tự xử lý. Các cách giảm chi phí mà không giảm chất lượng có trong bài tối ưu chi phí vận hành AI Agent.

Nên xử lý rủi ro nào trước?

Nên xử lý rủi ro nào trước?
Nên xử lý rủi ro nào trước?

Nguồn lực có hạn. Với các rủi ro khi triển khai AI Agent, thứ tự ưu tiên quan trọng không kém biện pháp.

Rủi ro lộ dữ liệu và hành động sai hàng loạt cần được xử lý trước khi hệ thống chạy thật. Hậu quả của 2 loại này khó khắc phục, và biện pháp phòng ngừa phải được cài sẵn trong thiết kế. Phân quyền hay hạn mức rất khó bổ sung cho gọn khi hệ thống đã vận hành.

Rủi ro trả lời sai và chi phí vượt dự tính được xử lý liên tục trong quá trình chạy. Chúng không biến mất sau một lần thiết lập. Doanh nghiệp cần một thói quen: xem lại hội thoại mỗi tuần và xem báo cáo chi phí mỗi tháng.

Rủi ro phụ thuộc nhà cung cấp được xử lý ở thời điểm ký hợp đồng. Sau thời điểm đó, vị thế thương lượng của doanh nghiệp yếu đi nhiều.

Điều cần tránh là để nỗi lo về rủi ro khiến doanh nghiệp không dám bắt đầu. Đứng yên trong khi khách vẫn phải chờ tin nhắn và nhân viên vẫn quá tải cũng là một lựa chọn có cái giá của nó. Những rủi ro khi triển khai AI Agent ở trên đều có cách kiểm soát rõ ràng, và phần lớn chỉ cần sự kỷ luật chứ không cần công nghệ phức tạp.

Câu hỏi thường gặp

Doanh nghiệp nhỏ có gặp đủ 5 rủi ro này không?

Có, nhưng ở mức độ nhẹ hơn. Doanh nghiệp nhỏ thường ít dữ liệu nhạy cảm và ít thao tác tự động, nên rủi ro đáng chú ý nhất là AI trả lời sai và phụ thuộc nhà cung cấp.

Có thể loại bỏ hoàn toàn rủi ro AI trả lời sai không?

Không. Tỷ lệ sai có thể giảm xuống rất thấp nhờ tài liệu chuẩn và việc xem lại định kỳ. Vì vậy những câu trả lời quan trọng, như báo giá lớn hay cam kết đặc biệt, vẫn nên có người xác nhận.

Khi AI Agent gây thiệt hại, ai chịu trách nhiệm?

Doanh nghiệp vận hành AI chịu trách nhiệm trước khách hàng. Trách nhiệm giữa doanh nghiệp và đơn vị triển khai phụ thuộc vào hợp đồng, nên các điều khoản về sự cố cần được thỏa thuận rõ từ đầu.

Kết bài

Điều cần nhớ

Rủi ro khi triển khai AI Agent không phải lý do để trì hoãn. Nó là danh sách những việc cần làm trước và trong khi vận hành. Phân quyền chặt, đặt hạn mức, giữ bản gốc dữ liệu, theo dõi chi phí và xem lại hội thoại mỗi tuần là 5 thói quen tương ứng với 5 rủi ro. Nếu bạn muốn rà soát kế hoạch của mình theo danh sách này, đội ngũ tư vấn AI Agent cho doanh nghiệp của Naventic có thể cùng bạn xem xét từng điểm.

#rủi ro khi triển khai AI Agent
Naventic

Người đăng

Naventic

Liên hệ
5 rủi ro khi triển khai AI Agent và cách kiểm soát