Kiểm thử AI Agent qua 4 vòng trước khi cho gặp khách thật

Vì sao 1 lần thử là không đủ

AI Agent khác phần mềm thông thường ở một điểm quan trọng. Phần mềm truyền thống nhận cùng một thao tác thì cho cùng một kết quả. AI thì không hẳn. Cùng một ý, khách hỏi theo 5 cách khác nhau có thể nhận về 5 câu trả lời với chất lượng không đồng đều.

Chưa kể, một AI Agent thường có 3 phần làm việc cùng nhau. Phần tìm tài liệu, thường dùng RAG, lấy ra đoạn thông tin liên quan. Phần suy nghĩ đọc thông tin đó và quyết định cần làm gì. Phần hành động gọi sang phần mềm khác như CRM hay hệ thống đơn hàng. Lỗi có thể nằm ở bất kỳ phần nào, và khi thử cả hệ thống cùng lúc, rất khó biết câu trả lời sai là do tìm nhầm tài liệu, do hiểu sai câu hỏi hay do phần mềm trả về dữ liệu lỗi.

Vì thế, kiểm thử AI Agent hiệu quả luôn bắt đầu từ nhỏ đến lớn. Tách từng phần ra thử trước. Ghép lại thử sau. Cuối cùng mới đưa ra môi trường thật.

Vòng 1, thử riêng từng phần trong phòng kín

Vòng đầu tiên của quá trình kiểm thử AI Agent nhằm tìm lỗi ở từng bộ phận, khi chưa có khách nào nhìn thấy.

Với phần tìm tài liệu, cách thử đơn giản là đưa vào 1 câu hỏi và xem hệ thống lấy ra những đoạn nào, chưa cần quan tâm AI trả lời gì. Nếu hỏi về chính sách đổi trả mà hệ thống lấy ra đoạn giới thiệu công ty, thì dù AI giỏi đến đâu, câu trả lời cũng khó đúng. Tách bước này ra thử riêng giúp phát hiện ngay tài liệu cũ, tài liệu trùng hoặc bị chia đoạn không hợp lý.

Với phần trả lời, doanh nghiệp cần một bộ câu hỏi mẫu kèm đáp án mong đợi được chốt trước. Cách soạn và chấm bộ câu hỏi này đã có hướng dẫn chi tiết trong bài đo chất lượng AI chatbot bằng bộ câu hỏi kiểm thử. Ở vòng 1, chỉ cần khoảng 50 đến 100 câu, lấy từ tin nhắn thật của khách trong 1 đến 2 tháng gần nhất.

Với phần hành động, mỗi công cụ được gọi thử với dữ liệu đúng, dữ liệu thiếu và dữ liệu sai định dạng. Tạo lead thiếu số điện thoại thì AI có hỏi lại không. Gửi mã đơn không tồn tại thì AI phản ứng ra sao.

Vòng 1 thường phát hiện nhiều lỗi nhất. Cũng là vòng sửa lỗi rẻ nhất.

Vòng 2, ghép lại và chạy toàn luồng trên môi trường thử

Các phần chạy tốt riêng lẻ chưa chắc đã chạy tốt khi ghép lại. Vòng 2 cho AI Agent xử lý trọn vẹn từng tình huống, từ lúc nhận tin nhắn đến lúc hoàn tất công việc, nhưng trên môi trường thử: phần mềm bản thử, dữ liệu khách giả, email gửi về hộp thư nội bộ.

Đây là lúc kiểm tra những tình huống khó như câu hỏi ngoài phạm vi, yêu cầu vượt quyền hạn, phần mềm phản hồi chậm hay khách gửi cùng một yêu cầu 2 lần. Danh sách đầy đủ các tình huống nên thử có trong bài checklist nghiệm thu AI Agent với 12 tình huống.

Một gợi ý thực tế khi kiểm thử AI Agent ở vòng này: mời vài nhân viên tuyến đầu tham gia đóng vai khách hàng. Đội kỹ thuật thường hỏi theo cách "đúng mẫu", vì họ biết hệ thống được thiết kế thế nào. Nhân viên bán hàng hay chăm sóc khách hàng thì hỏi như khách thật: viết tắt, sai chính tả, hỏi 3 ý trong 1 tin nhắn, đổi ý giữa chừng. Nhóm người này tìm ra lỗi mà đội kỹ thuật không nghĩ tới.

Một điều cần tránh là thử toàn luồng trên phần mềm thật với dữ liệu thật. Một lần AI tạo nhầm 200 đơn hàng giả trong hệ thống đang chạy sẽ tốn rất nhiều công dọn dẹp, chưa kể nguy cơ gửi nhầm tin nhắn đến khách thật.

Vòng 3, chạy song song và để nhân viên duyệt

Trong cả quá trình kiểm thử AI Agent, vòng này hay bị rút ngắn nhất vì doanh nghiệp nóng lòng đưa AI vào vận hành. Thật ra đây lại là vòng đáng giá nhất.

Cách làm như sau. AI Agent nhận tin nhắn thật của khách và soạn câu trả lời, nhưng không gửi đi. Nhân viên đọc bản nháp, gửi nguyên nếu đúng, sửa nếu chưa ổn, và đánh dấu lý do sửa. Khách không hề biết có AI tham gia. Doanh nghiệp thì có dữ liệu thật về việc AI làm tốt ở đâu, yếu ở đâu.

Sau 1 đến 2 tuần, nhìn vào tỷ lệ bản nháp được gửi nguyên không cần sửa là biết khá rõ mức độ sẵn sàng. Nhóm câu hỏi nào có tỷ lệ sửa cao thì chưa nên giao cho AI tự xử lý. Nhóm nào gần như không phải sửa thì có thể mở ở vòng sau.

Vòng 3 còn mang lại lợi ích cho chính đội ngũ. Nhân viên được làm quen với AI trong vai trò người kiểm duyệt, thay vì bị đặt trước việc đã rồi. Khi AI chính thức vận hành, chính họ là người hiểu rõ nhất AI hay sai ở chỗ nào, và biết lúc nào cần chuyển hội thoại từ AI sang nhân viên.

Vòng 4, mở cho nhóm khách nhỏ và giữ sẵn nút tắt

Qua vòng 3, AI Agent mới bắt đầu tự trả lời khách, nhưng trong phạm vi hẹp. Có nhiều cách thu hẹp:

• Chỉ mở trên 1 kênh, ví dụ website trước, fanpage sau.

• Chỉ xử lý các nhóm câu hỏi đã đạt ở vòng 3.

• Chỉ chạy trong giờ hành chính, khi có người trực sẵn sàng hỗ trợ.

• Chỉ nhận khoảng 10% đến 20% lượng tin nhắn, phần còn lại vẫn do nhân viên xử lý như cũ.

Quan trọng nhất là có sẵn cách tắt AI nhanh, trả toàn bộ hội thoại về cho nhân viên chỉ bằng 1 thao tác. Chưa chắc sẽ phải dùng tới. Nhưng khi chương trình khuyến mãi bị cập nhật sai hay phần mềm đơn hàng gặp sự cố, nút tắt này giúp doanh nghiệp dừng thiệt hại trong vài phút thay vì vài giờ.

Phạm vi được nới dần theo tuần, dựa trên số liệu thật chứ không dựa trên cảm giác.

Một ví dụ về lỗi được phát hiện ở từng vòng

Bảng dưới đây mang tính minh họa, tổng hợp những dạng lỗi thường gặp và vòng kiểm thử nào có khả năng bắt được chúng:

Mỗi vòng kiểm thử AI Agent bắt một loại lỗi khác nhau. Bỏ bất kỳ vòng nào, loại lỗi tương ứng sẽ lộ ra khi đã có khách thật.

Khi nào được coi là đạt để chuyển vòng

Không có con số chung cho mọi doanh nghiệp, nhưng nên chốt tiêu chí trước khi bắt đầu kiểm thử AI Agent, không chờ đến lúc xem kết quả rồi mới quyết định. Một bộ tiêu chí tham khảo:

• Vòng 1 đạt khi ít nhất 90% câu hỏi mẫu được trả lời đúng, và không có câu nào bịa thông tin.

• Vòng 2 đạt khi mọi tình huống nhạy cảm như vượt quyền, hoàn tiền, khiếu nại đều được xử lý đúng quy trình.

• Vòng 3 đạt khi tỷ lệ bản nháp gửi nguyên không sửa ổn định trong 2 tuần liên tiếp.

• Vòng 4 đạt khi các chỉ số vận hành như tỷ lệ chuyển nhân viên và mức độ hài lòng của khách không kém hơn trước khi có AI.

Chú ý tiêu chí "không có câu nào bịa thông tin" ở vòng 1. Một câu trả lời "tôi chưa có thông tin này" không làm hỏng việc. Một con số bịa thì có.

Kiểm thử AI Agent cũng không dừng lại khi đã vận hành. Mỗi lần cập nhật tài liệu, đổi cách viết hướng dẫn cho AI hay thêm công cụ mới, nên chạy lại bộ câu hỏi mẫu cũ để chắc chắn phần đang chạy tốt không bị ảnh hưởng. Trong lộ trình 90 ngày triển khai AI Agent, việc chạy lại này được xếp thành hoạt động định kỳ chứ không phải việc làm một lần.

Câu hỏi thường gặp

Kiểm thử AI Agent mất bao lâu?

Không có thời gian cố định. Với một AI Agent phạm vi vừa phải, 4 vòng thường kéo dài từ 3 đến 6 tuần. Vòng 3 chạy song song nên được giữ ít nhất 1 đến 2 tuần.

Doanh nghiệp nhỏ có cần làm đủ 4 vòng không?

Có, nhưng mỗi vòng có thể gọn hơn. Doanh nghiệp nhỏ có thể dùng ít câu hỏi mẫu hơn và rút ngắn vòng 3. Không nên bỏ hẳn vòng nào.

Có thể kiểm thử trực tiếp trên khách thật cho nhanh không?

Không nên. Lỗi xuất hiện trước mặt khách khó sửa hơn nhiều so với lỗi phát hiện trong nội bộ. Vòng 3 và vòng 4 đã là cách tiếp cận khách thật một cách an toàn.

Ai nên tham gia kiểm thử AI Agent?

Không chỉ đội kỹ thuật. Nhân viên tuyến đầu như bán hàng, chăm sóc khách hàng nên tham gia từ vòng 2. Họ hiểu cách khách hỏi và biết câu trả lời nào nghe đúng nhưng vẫn chưa ổn.

Sau khi vận hành có cần kiểm thử lại không?

Có. Mỗi lần cập nhật tài liệu, sửa hướng dẫn cho AI hoặc thêm công cụ mới, nên chạy lại bộ câu hỏi mẫu. Việc này giúp phát hiện sớm những thay đổi làm hỏng phần đang chạy tốt.