Dashboard chatbot nên theo dõi những chỉ số nào?

Nhiều doanh nghiệp đưa chatbot vào vận hành rồi nhận một báo cáo mỗi tháng gồm tổng số hội thoại, số tin nhắn và một biểu đồ đi lên. Con số trông khả quan nhưng không ai biết phải làm gì với nó: chủ đề nào bot đang trả lời kém, khách hỏi gì mà bot không có dữ liệu, bao nhiêu lead thật sự đến tay Sales. Một dashboard tốt trả lời được những câu đó và dẫn thẳng tới việc cần sửa.

Bài viết bàn về cách thiết kế dashboard cho chatbot doanh nghiệp: ai xem, xem gì, bố trí thế nào để từ con số đi tới hành động. Định nghĩa và cách tính các KPI chung của AI Agent như tỷ lệ hoàn thành đúng, tỷ lệ chuyển người, chi phí trên tác vụ đã được trình bày ở bài KPI đo hiệu quả AI Agent; ở đây chỉ nói những chỉ số đặc thù của chatbot và cách đặt chúng lên màn hình.

1. Dashboard chatbot dùng để làm gì

Dashboard không phải để chứng minh chatbot hiệu quả. Nó có ba việc: phát hiện sớm khi có gì đó hỏng, chỉ ra chỗ nên cải thiện tiếp theo, và cho quản lý đủ thông tin để quyết định mở rộng hay thu hẹp phạm vi. Mỗi con số trên màn hình nên phục vụ ít nhất một trong ba việc này. Con số không phục vụ việc nào là nhiễu, dù nhìn đẹp đến đâu.

Chatbot khác các agent làm việc nền ở chỗ mỗi hội thoại là một khách hàng thật đang chờ. Vì vậy dashboard chatbot cần gần thời gian thực hơn, và cần giữ được đường dẫn từ con số tổng hợp tới từng cuộc trò chuyện cụ thể, có che thông tin cá nhân theo quyền người xem.

2. Hai màn hình, hai nhịp xem

Gộp mọi thứ vào một màn là lỗi thiết kế phổ biến nhất. Người vận hành chatbot và người quản lý cần những thứ khác nhau, ở nhịp khác nhau.

Màn vận hành nên mở ra là thấy việc cần làm. Màn quản lý nên đọc được trong vài phút và có câu chú thích ngắn về thay đổi lớn, ví dụ “tỷ lệ chuyển người tăng do thêm chủ đề bảo hành từ tuần trước”.

3. Tám khối chỉ số đặc thù chatbot

1. Lượt hội thoại và phiên có nội dung

Tổng số hội thoại nên tách ra phiên có nội dung thật với phiên chỉ mở khung chat rồi đóng, phiên chỉ chào, phiên thử nghiệm của nhân viên. Không tách, con số tăng khi đặt khung chat ở vị trí nổi hơn dù không ai được giúp thêm. Hiển thị theo kênh và theo giờ giúp đội vận hành biết lúc nào cần người trực chuyển tiếp.

2. Chủ đề

Mỗi hội thoại được gắn một hoặc vài chủ đề theo danh sách doanh nghiệp tự định nghĩa: giá, giao hàng, bảo hành, đặt lịch, khiếu nại. Chủ đề là trục quan trọng nhất của dashboard, vì hầu hết chỉ số khác chỉ có ý nghĩa khi tách theo chủ đề. Danh sách chủ đề cần một nhóm “khác” và người vận hành nên xem nhóm này định kỳ để phát hiện chủ đề mới.

3. Tỷ lệ giải quyết theo chủ đề

Tỷ lệ giải quyết chung dễ che mất vấn đề: bot giỏi trả lời giờ mở cửa sẽ kéo con số lên trong khi chủ đề bảo hành đang kém. Đặt tỷ lệ này theo từng chủ đề, cạnh số lượt, để thấy chủ đề nào vừa nhiều vừa kém. Định nghĩa “đã giải quyết” phải ghi ngay trên màn hình để người xem không hiểu mỗi người một kiểu.

4. Chuyển người theo chủ đề và lý do

Chuyển người không phải lúc nào cũng xấu; với khiếu nại hay yêu cầu hoàn tiền, chuyển là đúng thiết kế. Vì vậy chỉ số hữu ích là tỷ lệ chuyển theo chủ đề và theo lý do: bot không có dữ liệu, khách yêu cầu, quy tắc bắt buộc chuyển, bot hiểu sai nhiều lần. Chuyển vì thiếu dữ liệu là việc cần sửa; chuyển vì quy tắc là việc cần giữ. Cách thiết kế luồng chuyển có ở bài chuyển chatbot sang nhân viên.

5. Danh sách câu hỏi thất bại

Đây là khối đáng giá nhất của màn vận hành: danh sách câu hỏi bot không trả lời được, trả lời bị khách chê, hoặc bị nhân viên đánh dấu sai, gom theo nhóm câu hỏi tương tự và xếp theo số lần xuất hiện. Mỗi nhóm có trạng thái xử lý: chưa xem, đang bổ sung dữ liệu, đã sửa, không thuộc phạm vi. Phân tích vì sao bot trả lời sai được trình bày ở bài chatbot AI trả lời sai.

6. Lead

Với chatbot có nhiệm vụ thu thông tin khách tiềm năng, dashboard cần theo dõi cả chuỗi: số phiên có nhu cầu mua, số phiên để lại thông tin liên hệ hợp lệ, số lead đã vào CRM, số lead được Sales liên hệ và kết quả nếu có dữ liệu trả về. Nếu chỉ đếm lead thu được, bot có thể được tối ưu để xin số điện thoại của cả người không có nhu cầu. Tiêu chí phân loại lead nên theo đúng quy tắc ở bài AI phân loại khách hàng tiềm năng.

7. Độ trễ

Thời gian chờ đến chữ đầu tiên và tổng thời gian trả lời, xem theo phân vị và theo giờ trong ngày. Lượt có gọi tra cứu dữ liệu nên tách riêng vì thường chậm hơn. Khối này thuộc màn vận hành, kèm ngưỡng cảnh báo, vì độ trễ tăng đột ngột thường là dấu hiệu sớm của sự cố ở nhà cung cấp mô hình hoặc hệ thống được gọi.

8. Chi phí

Chi phí mô hình và dịch vụ đi kèm, quy ra trên mỗi phiên có nội dung và trên mỗi hội thoại được giải quyết, xem theo chủ đề. Chủ đề nào tốn nhiều mà tỷ lệ giải quyết thấp là ứng viên đầu tiên để xem lại. Khối này thuộc màn quản lý; màn vận hành chỉ cần cảnh báo khi chi phí trong ngày vượt mức bất thường.

4. Thiết kế để con số dẫn tới hành động

Ba đặc điểm quyết định dashboard có được dùng hay không:

• Bấm từ số xuống hội thoại mẫu. Mỗi ô chỉ số theo chủ đề nên mở được danh sách vài hội thoại đại diện, đã che thông tin cá nhân theo quyền người xem. Người vận hành đọc mười hội thoại sẽ hiểu vấn đề nhanh hơn nhìn biểu đồ cả tuần.
• Ghi rõ độ tươi dữ liệu. Góc màn hình cần hiện dữ liệu được cập nhật lúc nào. Dashboard đứng im vì đường dữ liệu hỏng mà không ai biết là chuyện thường gặp và nguy hiểm, vì mọi người vẫn tin vào con số cũ.
• Ngưỡng cảnh báo có người nhận. Mỗi cảnh báo, như độ trễ vượt ngưỡng hay tỷ lệ chuyển người của một chủ đề tăng mạnh, cần ghi rõ ai nhận và người nhận làm gì đầu tiên. Cảnh báo không có người nhận sẽ sớm bị tắt.

Nếu dashboard lấy dữ liệu từ nhật ký của agent, cấu trúc nhật ký quyết định dashboard làm được gì. Nhật ký thiếu mã phiên, chủ đề hay lý do chuyển người thì không công cụ báo cáo nào bù lại được.

5. Chỉ số phù phiếm nên tránh

• Tổng số tin nhắn: tăng khi bot trả lời vòng vo hoặc khách phải hỏi lại nhiều lần
• Thời lượng hội thoại trung bình: dài có thể là khách quan tâm, cũng có thể là bot không hiểu
• Số câu hỏi bot đã trả lời: không phân biệt trả lời đúng với trả lời sai một cách tự tin
• Điểm hài lòng tổng khi rất ít khách chấm: số ít người bấm thường không đại diện

Những chỉ số này không sai, chỉ là dễ hiểu sai. Nếu vẫn muốn giữ, hãy đặt chúng cạnh chỉ số chất lượng tương ứng và không dùng làm mục tiêu.

6. Quy trình dựng dashboard

Bước 1: Viết ra các câu hỏi cần trả lời

Trước khi chọn biểu đồ, người vận hành và người quản lý mỗi bên viết năm câu hỏi họ muốn dashboard trả lời. Chỉ số nào không trả lời câu hỏi nào thì không đưa lên.

Bước 2: Chốt danh sách chủ đề và định nghĩa

Thống nhất danh sách chủ đề, định nghĩa đã giải quyết, lý do chuyển người, tiêu chí lead. Ghi thành một trang định nghĩa gắn kèm dashboard. Thay đổi định nghĩa sau này phải ghi ngày để không so sánh lệch.

Bước 3: Bảo đảm nhật ký có đủ trường

Kiểm tra nhật ký hội thoại đã có mã phiên, kênh, chủ đề, kết quả, lý do chuyển, độ trễ, chi phí chưa. Thiếu trường nào thì bổ sung ở agent trước khi dựng biểu đồ. Việc gắn chủ đề nên được kiểm tra trên mẫu hội thoại, vì gắn sai chủ đề làm hỏng mọi chỉ số tách theo chủ đề.

Bước 4: Dùng thử rồi cắt bớt

Cho người vận hành dùng màn hình mới trong vài tuần, ghi lại khối nào được mở, khối nào không ai nhìn. Cắt những khối không dùng. Dashboard tốt thường ngắn hơn bản đầu tiên.

7. Ví dụ giả định

Một trung tâm đào tạo có chatbot tư vấn khóa học trên website và fanpage. Báo cáo cũ chỉ có tổng hội thoại tăng đều. Khi dựng lại dashboard theo chủ đề, màn vận hành cho thấy chủ đề lịch khai giảng có tỷ lệ chuyển người cao bất thường, lý do chủ yếu là bot không có dữ liệu. Bấm xuống hội thoại mẫu, người vận hành thấy lịch khai giảng trên kho kiến thức đã cũ vì bộ phận tuyển sinh cập nhật lịch ở một bảng tính khác.

Sau khi nối bot với bảng tính đó, tỷ lệ chuyển người ở chủ đề này giảm, và danh sách câu hỏi thất bại chuyển sang nhóm hỏi về học phí trả góp, một chủ đề chưa có trong kho kiến thức. Màn quản lý tháng đó có một dòng chú thích giải thích thay đổi, thay vì chỉ một biểu đồ đi lên.

8. Rủi ro, giới hạn và người phụ trách

• Hội thoại mẫu hiển thị lộ thông tin cá nhân cho người không có quyền xem
• Gắn chủ đề sai khiến mọi chỉ số theo chủ đề sai theo mà không ai nhận ra
• Đổi định nghĩa giữa chừng làm xu hướng gãy, dẫn tới kết luận sai
• Dùng dashboard làm mục tiêu thưởng phạt, khiến người vận hành tối ưu con số thay vì chất lượng

Người vận hành chatbot sở hữu màn vận hành, danh sách câu hỏi thất bại và việc cập nhật kho kiến thức. Trưởng bộ phận sở hữu định nghĩa, danh sách chủ đề và màn quản lý. Đội kỹ thuật lo nhật ký, đường dữ liệu, độ tươi và phân quyền xem hội thoại. Khi cần đánh giá chất lượng sâu hơn theo nhiều tiêu chí, hãy dùng thêm bộ chấm điểm ở bài scorecard AI Agent.

9. Checklist trước khi đưa dashboard vào dùng

• Tách màn vận hành và màn quản lý, mỗi màn có người sở hữu
• Danh sách chủ đề và định nghĩa đã giải quyết ghi ngay trên dashboard
• Danh sách câu hỏi thất bại có trạng thái xử lý
• Bấm được xuống hội thoại mẫu, đã che thông tin cá nhân theo quyền
• Hiện thời điểm cập nhật dữ liệu, có cảnh báo khi dữ liệu ngừng đổ về
• Mỗi ngưỡng cảnh báo có người nhận và việc cần làm đầu tiên

10. Câu hỏi thường gặp

Dashboard chatbot có nên đặt trong công cụ báo cáo sẵn có của doanh nghiệp không? Nên, nếu doanh nghiệp đã quen xem báo cáo ở đó và công cụ đọc được dữ liệu hội thoại đã được gắn nhãn. Điều quan trọng là từ con số bấm được xuống hội thoại mẫu; nếu công cụ sẵn có không làm được việc này thì cần thêm một màn tra cứu hội thoại đi kèm.

Chỉ số nào nên xem đầu tiên mỗi sáng? Danh sách câu hỏi thất bại mới và tỷ lệ chuyển người theo chủ đề so với hôm trước. Hai thứ này cho biết ngay chủ đề nào đang có vấn đề và cần sửa dữ liệu hay quy tắc, trong khi tổng số hội thoại gần như không gợi ý việc gì cần làm.

Dashboard có thay được việc đọc hội thoại không? Không. Dashboard chỉ chỉ ra chỗ cần đọc. Tỷ lệ giải quyết có thể trông ổn trong khi bot đang trả lời tự tin nhưng sai ở một chủ đề nhỏ, và chỉ đọc hội thoại mẫu mới phát hiện được. Nên dành thời gian cố định mỗi tuần để đọc mẫu theo chủ đề.

Làm sao biết một hội thoại đã được giải quyết? Không có định nghĩa chung. Có thể dựa vào việc khách không hỏi lại cùng chủ đề trong một khoảng thời gian, không yêu cầu gặp nhân viên, bấm xác nhận đã được hỗ trợ, hoặc hoàn thành hành động như để lại thông tin. Doanh nghiệp nên chọn một định nghĩa, ghi rõ trên dashboard và giữ ổn định để so sánh qua thời gian.

Kết luận

Dashboard chatbot có giá trị khi mỗi con số dẫn tới một việc cụ thể: sửa dữ liệu cho một chủ đề, chỉnh quy tắc chuyển người, bổ sung câu trả lời cho nhóm câu hỏi thất bại. Tách màn vận hành với màn quản lý, lấy chủ đề làm trục chính, cho phép bấm xuống hội thoại mẫu và bỏ bớt chỉ số phù phiếm là bốn quyết định giúp dashboard được dùng thật thay vì chỉ được trình chiếu.

Trao đổi với Naventic để thiết kế nhật ký và dashboard cho chatbot. Đọc thêm: AI Chatbot doanh nghiệp.