AI Evaluation là gì và doanh nghiệp nên đo những gì ở một hệ thống AI?

AI Evaluation là gì và khác kiểm thử ở điểm nào?

Đánh giá AI là quá trình cho hệ thống xử lý một bộ tình huống đã chuẩn bị sẵn, rồi chấm kết quả theo những tiêu chí được thống nhất từ trước. Sản phẩm cuối cùng là các điểm số: bao nhiêu phần trăm câu trả lời đúng, bao nhiêu phần trăm bám sát tài liệu, bao nhiêu trường hợp AI từ chối đúng lúc.

Việc này dễ bị nhầm với kiểm thử, và 2 việc đúng là đi cùng nhau. Khác biệt nằm ở câu hỏi mà mỗi việc trả lời. Kiểm thử hỏi "hệ thống đã sẵn sàng vận hành chưa", đi qua từng giai đoạn từ phòng kín ra khách thật, như lộ trình trong bài kiểm thử AI Agent qua 4 vòng. Đánh giá hỏi "hệ thống tốt đến mức nào, và tốt hơn hay kém hơn phiên bản trước". Kiểm thử cho ra kết luận đạt hoặc chưa đạt. Đánh giá cho ra thước đo để so sánh.

Chính thước đo này làm nên giá trị. Khi đội triển khai đổi mô hình AI, sửa hướng dẫn hay cập nhật tài liệu, họ cần biết thay đổi đó làm hệ thống tốt lên hay tệ đi. Không có điểm số trước và sau, mọi nhận xét chỉ là cảm giác.

Phần mềm thông thường ít cần đến việc này, vì cùng một thao tác luôn cho cùng một kết quả. AI thì khác. Câu trả lời của nó có thể đúng 9 lần và sai lần thứ 10 với cùng một câu hỏi được diễn đạt hơi khác đi. Chất lượng của AI vì thế phải được nói bằng tỷ lệ, không phải bằng "chạy được" hay "không chạy được".

Chất lượng của một hệ thống AI gồm những chiều nào?

Khi tìm hiểu AI Evaluation là gì, nhiều người chỉ dừng ở câu hỏi "AI trả lời đúng không". Một câu trả lời có thể đúng mà vẫn hỏng việc, vì quá dài, vì sai giọng, hoặc vì đáng lẽ AI không nên trả lời câu đó. Một đợt đánh giá đầy đủ thường nhìn vào 6 chiều:

Với AI Agent, tức loại AI không chỉ trả lời mà còn thực hiện công việc, cần thêm một chiều nữa: việc có được hoàn thành đúng không. Lịch hẹn có được tạo đúng ngày, đúng bác sĩ không. Thông tin khách có vào đúng ô trong CRM không. Một AI nói rất hay nhưng tạo nhầm lịch thì vẫn là hỏng việc.

Không phải doanh nghiệp nào cũng cần cân 6 chiều ngang nhau. Phòng khám sẽ đặt nặng "đúng phạm vi". Cửa hàng thời trang quan tâm hơn đến giọng điệu và tốc độ. Xác định chiều nào quan trọng nhất với mình là quyết định của doanh nghiệp, không phải của bên kỹ thuật.

3 cách chấm điểm và khi nào dùng cách nào

Có bộ tình huống và tiêu chí rồi, phần còn lại của câu hỏi AI Evaluation là gì nằm ở việc ai chấm và chấm bằng cách nào.

Cách thứ nhất là con người chấm. Một nhân viên hiểu nghiệp vụ đọc từng câu trả lời và cho điểm theo thang tiêu chí. Đây là cách đáng tin nhất, đặc biệt với những chiều khó đo như giọng điệu hay mức độ đầy đủ. Nhược điểm là chậm và tốn công. Chấm 200 câu có thể mất trọn 1 ngày làm việc.

Cách thứ 2 là chấm tự động bằng quy tắc. Máy kiểm tra những điều có thể xác định rõ ràng: câu trả lời có chứa đúng con số không, có dẫn nguồn không, AI có gọi đúng công cụ không, thời gian phản hồi bao nhiêu giây. Nhanh, rẻ, chạy lại bao nhiêu lần cũng được. Nhưng quy tắc không hiểu nghĩa, nên một câu trả lời diễn đạt khác đi mà vẫn đúng có thể bị chấm sai.

Cách thứ 3 là dùng một AI khác để chấm. AI chấm điểm được đưa câu hỏi, câu trả lời, đáp án mong đợi và thang tiêu chí, rồi cho điểm kèm lý do. Cách này nhanh gần bằng quy tắc mà hiểu nghĩa gần bằng người. Tuy vậy nó chỉ đáng tin khi đã được đối chiếu: lấy khoảng 50 đến 100 câu cho cả người và AI cùng chấm, nếu 2 bên lệch nhau nhiều thì phải sửa thang tiêu chí trước khi dùng rộng.

Trên thực tế, các đội làm tốt thường kết hợp cả 3. Quy tắc tự động lo những gì đếm được. AI chấm phần lớn câu trả lời. Con người chấm mẫu định kỳ và xem lại những câu bị điểm thấp. Cách soạn bộ câu hỏi và đáp án mong đợi đã được hướng dẫn trong bài đo chất lượng AI chatbot bằng bộ câu hỏi kiểm thử.

4 hiểu lầm khiến kết quả đánh giá mất giá trị

Demo tốt nghĩa là hệ thống tốt

Demo do người hiểu hệ thống thực hiện, với những câu hỏi họ biết AI trả lời được. Đánh giá thật phải dùng câu hỏi lấy từ tin nhắn của khách, gồm cả câu sai chính tả, câu hỏi lửng lơ và câu nằm ngoài phạm vi. Một bộ đánh giá mà AI đạt 100% thường là bộ đánh giá quá dễ.

Một con số tổng là đủ

"Độ chính xác 92%" là con số đẹp, cho đến khi tách ra từng nhóm. Có thể AI đạt 99% ở câu hỏi về giờ mở cửa và chỉ 70% ở câu hỏi về hoàn tiền, trong khi nhóm sau mới là nơi gây thiệt hại. Điểm số luôn nên được xem theo từng nhóm câu hỏi, và nhóm nào rủi ro cao cần ngưỡng đạt cao hơn.

Đánh giá 1 lần trước khi triển khai là xong

Tài liệu thay đổi, sản phẩm mới ra mắt, nhà cung cấp cập nhật mô hình AI. Mỗi thay đổi đều có thể làm chất lượng dịch chuyển mà không ai hay biết. Bộ đánh giá vì thế cần được chạy lại định kỳ và sau mỗi lần cập nhật. Hiện tượng chất lượng giảm dần theo thời gian đã được phân tích riêng trong bài model drift là gì và khi nào cần đánh giá lại AI Agent.

Bên triển khai tự chấm là được

Bên triển khai nên là người chạy đánh giá, vì họ có công cụ. Nhưng đáp án mong đợi và tiêu chí đạt phải do doanh nghiệp duyệt. Chỉ người trong doanh nghiệp mới biết câu trả lời nào là đúng với chính sách của mình, và sai ở đâu thì không chấp nhận được. Nếu để bên triển khai vừa ra đề vừa chấm bài, kết quả khó tránh khỏi thiên lệch, dù không ai cố ý.

Đọc một báo cáo đánh giá AI như thế nào?

Người ra quyết định không cần nắm AI Evaluation là gì ở mức kỹ thuật, cũng không cần tự chạy đánh giá. Nhưng họ nên biết đặt câu hỏi khi nhận báo cáo. 5 câu sau thường đủ để phân biệt một báo cáo nghiêm túc với một trang số liệu cho đẹp.

1. Bộ tình huống lấy từ đâu và có bao nhiêu câu? Câu hỏi thật của khách đáng tin hơn câu hỏi tự nghĩ ra. Vài chục câu là quá ít để kết luận.

2. Điểm được tách theo nhóm nào? Phải thấy được nhóm yếu nhất, không chỉ con số trung bình.

3. Ai chấm, và cách chấm đã được đối chiếu với người chưa?

4. Có xem được những câu AI trả lời sai không? Đọc 10 câu sai cụ thể thường cho nhiều thông tin hơn mọi biểu đồ.

5. So với lần đánh giá trước, điểm nào tăng, điểm nào giảm?

Nếu báo cáo trả lời được cả 5 câu, doanh nghiệp có cơ sở để quyết định. Nếu chỉ có một con số tổng in đậm ở trang đầu, hãy yêu cầu thêm chi tiết.

Sau khi hệ thống vận hành, các chỉ số theo dõi hằng ngày sẽ tiếp nối vai trò của đợt đánh giá ban đầu. Những chỉ số nên có trên màn hình theo dõi được liệt kê trong bài dashboard chatbot nên theo dõi những chỉ số nào.