Đo chất lượng AI chatbot bằng bộ câu hỏi kiểm thử: Mẫu tiêu chí cho doanh nghiệp

Nhiều chatbot được nghiệm thu sau vài câu hỏi thử do chính đội triển khai chọn. Câu trả lời trôi chảy, mọi người hài lòng. Đến khi lên website, khách hỏi theo cách khác, hỏi thứ không có trong tài liệu, và chatbot bắt đầu đoán.

Muốn đo chất lượng chatbot, cần một bộ câu hỏi đại diện cho người dùng thật và một thang chấm mọi người cùng hiểu. Bộ câu hỏi phải có cả câu dễ, câu khó và câu ngoài phạm vi. Thang chấm phải phân biệt được trả lời đúng, trả lời thiếu và từ chối đúng.

Bài viết đưa ra các nhóm câu hỏi nên có, cách gắn đáp án mong đợi và cách chạy lại bộ thử sau mỗi thay đổi.

1. Cách nhìn đúng về kiểm thử AI chatbot

Khi chatbot trả lời sai, lỗi có thể nằm ở ba chỗ. Lớp dữ liệu thiếu hoặc mâu thuẫn. Lớp truy xuất và suy luận lấy nhầm đoạn tài liệu hoặc hiểu sai câu hỏi. Lớp kiểm soát không chặn câu trả lời khi thiếu căn cứ, hoặc không chuyển nhân viên đúng lúc. Bộ kiểm thử tốt giúp chỉ ra lỗi thuộc lớp nào, thay vì chỉ ghi chung “chatbot trả lời sai”.

Cũng cần tách điều chatbot có thể làm khỏi điều đã được kiểm chứng. Trả lời được một câu trong buổi trình diễn không có nghĩa là trả lời đúng với mọi cách hỏi tương tự. Chỉ những nhóm câu hỏi đã đạt tiêu chí trên bộ thử đã duyệt mới nên đưa vào phạm vi vận hành. Với AI Chatbot doanh nghiệp, phạm vi này nên được ghi thành văn bản khi bàn giao.

2. Các vấn đề cần xử lý

1. Câu hỏi có dữ liệu rõ

Đây là nhóm câu hỏi mà tài liệu có sẵn đáp án, như giờ làm việc hay điều kiện bảo hành. Chatbot phải trả lời đúng nội dung, đủ điều kiện kèm theo và khớp với nguồn. Nếu nhóm này chưa đạt thì chưa nên thử nhóm khó hơn, vì lỗi thường nằm ở dữ liệu hoặc cách truy xuất.

2. Câu hỏi diễn đạt khác tài liệu

Khách ít khi dùng đúng thuật ngữ trong tài liệu. Họ viết tắt, dùng tiếng lóng, gõ không dấu hoặc sai chính tả. Mỗi câu hỏi chuẩn nên có vài biến thể như vậy. Nếu chatbot chỉ đúng khi câu hỏi giống hệt tài liệu, phần truy xuất cần được cải thiện.

3. Câu hỏi không có dữ liệu

Đây là nhóm hay bị bỏ qua nhất. Khi tài liệu không có thông tin, chatbot phải nói rõ là chưa có và gợi ý bước tiếp theo, không được tự tạo câu trả lời nghe hợp lý. Từ chối đúng cần được chấm như một câu trả lời đạt, không phải một lỗi.

4. Nhập sai và thiếu thông tin

Khách có thể hỏi “đơn của tôi đâu” mà không đưa mã đơn, hoặc nhập mã sai định dạng. Chatbot cần hỏi lại đúng thông tin còn thiếu, không đoán và không trả dữ liệu của người khác. Bộ thử nên có mã sai, mã không tồn tại và mã thuộc khách khác.

5. Câu hỏi nhiều ý

Một tin nhắn có thể hỏi cùng lúc giá, thời gian giao và chính sách đổi trả. Chatbot hay trả lời ý đầu và bỏ sót ý sau. Tiêu chí chấm cần kiểm tra từng ý đã được trả lời, hoặc đã được nói rõ là chưa có thông tin.

6. Thu lead và xác nhận

Nếu chatbot thu thông tin liên hệ, cần kiểm tra nó hỏi đủ trường bắt buộc, kiểm tra định dạng số điện thoại, email và đọc lại để khách xác nhận. Cũng cần thử trường hợp khách từ chối cung cấp. Bản ghi cuối cùng phải xuất hiện đúng chỗ trong hệ thống nhận lead.

7. Chuyển nhân viên

Kiểm tra chatbot chuyển nhân viên khi khách yêu cầu, khi câu hỏi ngoài phạm vi và khi khách phàn nàn. Người nhận phải có tóm tắt hội thoại để không hỏi lại từ đầu. Cần thử cả ngoài giờ làm việc, khi không có ai trực.

8. Lỗi tích hợp

Nếu chatbot tra đơn hàng hay lịch hẹn qua API, cần thử khi API chậm, lỗi hoặc trả dữ liệu rỗng. Kết quả mong đợi là chatbot báo chưa tra được và đưa hướng xử lý, không bịa trạng thái. Nếu chatbot còn thực hiện hành động, các ca thử cần bám theo quy trình phê duyệt đã thống nhất. Lỗi tích hợp nên được ghi riêng để không lẫn với lỗi nội dung.

3. Quy trình triển khai đề xuất

Bước 1: Lấy câu hỏi thật từ vận hành

Trích câu hỏi từ lịch sử chat, email, tổng đài và ghi chú của nhân viên. Giữ nguyên cách khách viết, kể cả lỗi chính tả. Đầu ra là danh sách câu hỏi đã nhóm theo chủ đề và tần suất, được trưởng bộ phận chăm sóc khách hàng duyệt.

Bước 2: Gắn đáp án mong đợi và nguồn

Với mỗi câu, người nghiệp vụ ghi đáp án đúng, các ý bắt buộc phải có và tài liệu làm căn cứ. Với câu ngoài phạm vi, đáp án mong đợi là từ chối hoặc chuyển nhân viên. Đáp án phải được chốt trước khi chạy thử để tránh chấm theo cảm tính.

Bước 3: Chấm đúng nội dung, đúng nguồn, an toàn và hành động

Mỗi câu trả lời được chấm theo bốn tiêu chí tách riêng: nội dung đúng và đủ, dựa đúng nguồn, không nói điều cấm hay lộ dữ liệu, và làm đúng hành động như chuyển nhân viên hay ghi lead. Chấm tách tiêu chí giúp biết cần sửa ở đâu. Với câu rủi ro cao, nên có hai người chấm độc lập.

Bước 4: Chạy lại sau mọi thay đổi dữ liệu hoặc cấu hình

Mỗi lần sửa tài liệu, đổi prompt, đổi mô hình hay sửa tích hợp, chạy lại toàn bộ bộ thử và so với lần trước. Sửa một câu có thể làm hỏng câu khác. Kết quả từng lần chạy nên được lưu để theo dõi xu hướng.

4. Ví dụ giả định

Bộ kiểm thử bảo hành gồm câu hỏi trực tiếp, cách nói thông tục, sản phẩm không tồn tại và yêu cầu ngoại lệ. Chatbot đạt điểm nội dung ở câu chuẩn nhưng bị trừ vì không nêu điều kiện loại trừ. Nhóm dự án sửa nguồn và chạy lại nguyên bộ để kiểm tra hồi quy.

Ví dụ cho thấy một câu trả lời “nghe đúng” vẫn có thể bị trừ điểm vì thiếu điều kiện quan trọng. Chạy lại cả bộ thay vì chỉ thử lại câu bị lỗi giúp phát hiện trường hợp sửa chỗ này làm hỏng chỗ khác. Mỗi câu trong ví dụ nên có đáp án mong đợi, tài liệu đối chiếu và người nghiệp vụ xác nhận.

5. Rủi ro và giới hạn cần kiểm soát

• Không thay đổi đáp án mong đợi để hợp thức hóa kết quả
• Tách lỗi dữ liệu khỏi lỗi hệ thống
• Giữ mẫu thử chưa dùng trong quá trình tinh chỉnh
• Đánh giá cả khả năng từ chối đúng

Kỷ luật kiểm thử cũng cần thành quy trình. Đáp án mong đợi chỉ được sửa khi nghiệp vụ thay đổi và phải có người duyệt. Một phần câu hỏi nên được giữ riêng, không dùng khi tinh chỉnh, để kết quả không bị “học tủ”. Nếu bộ thử lấy từ hội thoại có dữ liệu khách thật, cần ẩn danh trước khi dùng.

6. Chỉ số nên theo dõi sau khi vận hành

• Tỷ lệ yêu cầu hoàn thành đúng theo bộ tiêu chí đã duyệt
• Tỷ lệ thiếu dữ liệu, từ chối đúng và chuyển người thật
• Số lỗi tích hợp, thời gian phản hồi và thời gian khắc phục
• Số lần nhân viên sửa kết quả và nguyên nhân sửa

Số hội thoại tăng không nói lên chatbot trả lời tốt hơn. Nên đặt kết quả bộ thử cạnh dữ liệu vận hành thật: nhóm câu hỏi nào bị nhân viên sửa nhiều, nhóm nào phải chuyển người nhiều. Câu hỏi mới phát sinh trong vận hành nên được bổ sung vào bộ thử định kỳ.

7. Checklist trước khi đưa vào sử dụng

• Nguồn dữ liệu và chủ sở hữu đã được xác nhận
• Quyền đọc ghi và phạm vi người dùng đã được kiểm thử
• Ngoại lệ có đường chuyển người phụ trách
• Nhật ký lưu đủ đầu vào nguồn và kết quả
• Bộ câu hỏi hoặc tình huống kiểm thử có đáp án mong đợi
• Có lịch cập nhật dữ liệu và kiểm thử lại

8. Câu hỏi thường gặp

Bao nhiêu câu hỏi là đủ? Không có số cố định. Bộ thử phải bao phủ rủi ro, tần suất và các nhánh chính.

Có nên dùng câu hỏi do AI tạo? Có thể bổ sung biến thể, nhưng cần câu hỏi thật và người nghiệp vụ xác nhận đáp án.

Kết luận

Chất lượng chatbot chỉ đo được khi có bộ câu hỏi đại diện, đáp án chốt trước và thang chấm tách tiêu chí. Bộ thử không dùng một lần lúc nghiệm thu mà là công cụ chạy lại sau mọi thay đổi.

Khi phần hỏi đáp đã ổn định, doanh nghiệp có thể mở rộng sang tư vấn sản phẩm trên website với bộ thử tương ứng cho từng danh mục.

Trao đổi với Naventic để xây dựng bộ câu hỏi kiểm thử cho chatbot của doanh nghiệp. Đọc thêm: AI Chatbot doanh nghiệp.