Đo ROI danh mục dự án AI: gộp nhiều dự án vào một bức tranh

Sau hai năm làm AI, ban điều hành một doanh nghiệp có thể nhận được năm báo cáo ROI từ năm dự án, mỗi báo cáo đều cho thấy kết quả tích cực. Nhưng khi giám đốc tài chính hỏi “tổng cộng chúng ta đã chi bao nhiêu cho AI và thu lại được gì”, không ai trả lời được. Dự án chatbot tính lợi ích bằng số giờ nhân viên tiết kiệm, dự án đọc hóa đơn tính bằng số chứng từ xử lý, dự án dự báo tồn kho tính bằng tiền vốn giải phóng. Chi phí máy chủ, kho kiến thức và đội vận hành dùng chung không nằm trong báo cáo nào. Hai dự án cùng nhận công giảm thời gian xử lý của một phòng.

Bài này nói về việc đo ROI ở cấp danh mục: gộp nhiều dự án AI vào một bức tranh nhất quán để ra quyết định đầu tư tiếp. Nội dung gồm phương pháp đo thống nhất, mốc trước triển khai, phân bổ chi phí nền tảng dùng chung, ba nhóm lợi ích, mức tin cậy của số đo, chu kỳ xem lại và quyết định mở rộng, sửa hoặc dừng. Cách tính ROI cho một dự án đơn lẻ có ở bài ROI của AI Agent, còn chỉ số đo hiệu quả vận hành của từng agent có ở bài KPI cho AI Agent. Ở đây, câu hỏi là làm sao cho các con số đó cộng được với nhau.

1. ROI danh mục không phải tổng ROI của từng dự án

Có ba lý do khiến không thể cộng thẳng ROI các dự án. Thứ nhất, phương pháp khác nhau: một dự án quy giờ tiết kiệm ra tiền theo lương bình quân, dự án khác chỉ tính khi thực sự giảm được chi phí thuê ngoài. Thứ hai, chi phí chung bị xử lý không nhất quán: dự án đầu tiên gánh toàn bộ chi phí dựng nền tảng, các dự án sau dùng miễn phí và có ROI rất đẹp. Thứ ba, lợi ích chồng lấn: khi agent phân loại email và agent soạn phản hồi cùng hoạt động trong phòng chăm sóc khách hàng, mỗi dự án đều nhận phần lớn công rút ngắn thời gian xử lý.

ROI danh mục vì vậy là một bài toán quản trị chứ không chỉ là phép cộng: thống nhất luật chơi để mọi dự án được đo cùng một cách, có thể so sánh và tổng hợp. Mục tiêu không phải tìm ra một con số tuyệt đối chính xác, mà là có bức tranh đủ tin cậy để quyết định tiền tiếp theo nên đổ vào đâu. Đây là phần việc thường do đơn vị điều phối AI đảm nhận, như mô tả ở bài AI Center of Excellence, phối hợp với bộ phận tài chính.

2. Các yếu tố cần thiết kế

1. Sổ tay phương pháp đo thống nhất

Sổ tay phương pháp là văn bản ngắn quy định mọi dự án phải đo theo cùng một cách: đơn vị lợi ích là gì, quy đổi thời gian ra tiền theo nguyên tắc nào, kỳ đo bao lâu, chi phí nào bắt buộc tính, cách xử lý dự án chưa ổn định. Ví dụ, sổ tay có thể quy định thời gian tiết kiệm chỉ được quy ra tiền khi có bằng chứng nguồn lực được dùng cho việc khác hoặc chi phí thật sự giảm; nếu không, nó được báo cáo như năng lực giải phóng, tách riêng.

Sổ tay do bộ phận tài chính và đơn vị điều phối AI cùng soạn, ban điều hành duyệt. Khi phương pháp thay đổi, các kỳ trước được tính lại nếu dữ liệu cho phép, hoặc ghi rõ điểm gãy trong chuỗi số liệu để người đọc không so sánh nhầm.

2. Mốc trước triển khai

Không có mốc trước triển khai thì không đo được thay đổi. Mỗi dự án cần ghi mốc trước khi bật agent: khối lượng việc, thời gian xử lý, tỷ lệ lỗi, chi phí hiện tại, mức hài lòng nếu có. Mốc nên đo trên một khoảng đủ dài để tránh nhiễu mùa vụ, và đo bằng cùng định nghĩa sẽ dùng sau triển khai.

Với các dự án đã chạy mà không có mốc, có thể dựng mốc từ dữ liệu lịch sử nếu hệ thống còn lưu, hoặc so với một nhóm chưa triển khai như chi nhánh khác, bộ phận khác. Trường hợp không dựng được mốc tin cậy, dự án vẫn nằm trong danh mục nhưng lợi ích được gắn mức tin cậy thấp.

3. Phân bổ chi phí nền tảng dùng chung

Danh mục AI có những chi phí không thuộc riêng dự án nào: hợp đồng với nhà cung cấp mô hình, hạ tầng kho kiến thức, công cụ giám sát và nhật ký, đội vận hành chung, chi phí an toàn thông tin. Có ba cách xử lý: phân bổ theo mức sử dụng đo được như số lượt gọi mô hình, số tài liệu, số người dùng; chia đều theo số dự án; hoặc giữ ở cấp danh mục và chỉ tính vào ROI tổng.

Phân bổ theo mức sử dụng công bằng nhất nhưng cần dữ liệu đo theo dự án, nên hạ tầng cần gắn nhãn dự án cho từng lượt gọi ngay từ đầu. Dù chọn cách nào, phải nhất quán qua các kỳ. Cách lập ngân sách tách khoản một lần, định kỳ và dự phòng có ở bài lập ngân sách AI Agent; ROI danh mục dùng cùng cách phân loại chi phí đó để đối chiếu kế hoạch với thực tế.

4. Lợi ích cứng

Lợi ích cứng là lợi ích đo được bằng tiền và có dấu vết trong sổ sách: chi phí thuê ngoài giảm, chi phí làm thêm giờ giảm, doanh thu tăng có thể quy cho agent qua thử nghiệm có nhóm đối chứng, tiền phạt hoặc chi phí sai sót giảm, vốn lưu động giải phóng nhờ tồn kho thấp hơn. Mỗi khoản cần chỉ rõ tài khoản hoặc báo cáo nào phản ánh nó.

Quy tắc loại trừ trùng lặp cần nằm ở đây: khi hai dự án cùng tác động vào một chỉ số, lợi ích được phân chia theo một quy tắc đã thống nhất, hoặc báo cáo chung cho nhóm dự án thay vì từng dự án. Bộ phận tài chính xác nhận số liệu lợi ích cứng trước khi đưa vào báo cáo danh mục.

5. Lợi ích mềm

Lợi ích mềm có thật nhưng khó quy ra tiền: nhân viên bớt việc lặp lại, khách hàng nhận phản hồi nhanh hơn ngoài giờ, quản lý có thông tin sớm hơn để ra quyết định, năng lực giải phóng chưa được dùng vào việc cụ thể. Những lợi ích này nên được trình bày bằng chỉ số và mô tả, không quy đổi ra tiền bằng những giả định dài.

Lý do là quy đổi lợi ích mềm ra tiền dễ trở thành cuộc thi giả định: dự án nào giả định mạnh tay hơn thì ROI đẹp hơn. Tách riêng giúp người ra quyết định thấy rõ đâu là số đã kiểm chứng, đâu là giá trị cần phán đoán, và giữ uy tín cho toàn bộ báo cáo danh mục.

6. Lợi ích giảm rủi ro

Một số dự án AI tạo giá trị chủ yếu bằng cách giảm rủi ro: agent kiểm tra chứng từ trước khi gửi ngân hàng, agent rà điều khoản hợp đồng, agent theo dõi hạn nghĩa vụ. Giá trị của chúng là những sự cố không xảy ra, rất khó đo trực tiếp. Có thể trình bày bằng số lỗi được phát hiện trước khi gây hậu quả, mức độ nghiêm trọng của từng lỗi, và so sánh với tần suất sự cố trước đây.

Không nên dùng con số kiểu “tránh được thiệt hại tiềm năng” cộng thẳng vào lợi ích cứng. Nhóm lợi ích này nên có cột riêng trong báo cáo danh mục, được bộ phận quản lý rủi ro hoặc kiểm toán nội bộ xác nhận về mặt định tính.

7. Mức tin cậy của số đo

Mỗi con số lợi ích trong báo cáo danh mục cần kèm mức tin cậy, để người đọc biết nên dựa vào nó đến đâu. Một thang ba mức đơn giản đủ dùng cho phần lớn doanh nghiệp.

Một danh mục có nhiều lợi ích ở mức tin cậy thấp là tín hiệu cần đầu tư vào đo lường trước khi đầu tư thêm dự án. Mức tin cậy cũng giúp tránh tranh cãi: thay vì cãi con số đúng hay sai, các bên thống nhất con số đó đáng tin đến đâu.

8. Quyết định mở rộng, sửa hoặc dừng

Báo cáo danh mục tồn tại để phục vụ quyết định. Với mỗi dự án, buổi xem lại nên đi đến một trong bốn kết luận: mở rộng phạm vi hoặc nhân rộng sang bộ phận khác; giữ nguyên và tiếp tục theo dõi; sửa vì giá trị thấp hơn kỳ vọng nhưng có nguyên nhân rõ và sửa được; dừng vì không tạo giá trị hoặc chi phí sửa lớn hơn lợi ích. Tiêu chí cho từng kết luận nên được viết trước, gắn với mục tiêu trong chiến lược AI Agent.

Dừng dự án là quyết định khó vì chi phí đã bỏ ra và người đã gắn bó. Tách rõ chi phí đã chi, không lấy lại được, khỏi chi phí sẽ phải chi tiếp giúp quyết định khách quan hơn. Dự án dừng vẫn để lại bài học và thành phần tái sử dụng, nên cần được ghi nhận chứ không bị xem là thất bại cá nhân.

3. Quy trình triển khai thực tế

Bước 1: Kiểm kê dự án và chuẩn hóa hồ sơ

Lập danh sách mọi dự án AI đang chạy, đang làm và đã dừng, kể cả các thử nghiệm nhỏ do bộ phận tự làm. Mỗi dự án có hồ sơ chuẩn: mục tiêu, chủ sở hữu, phạm vi, chi phí đã chi và đang chi, chỉ số đang đo, mốc trước triển khai nếu có. Bước này thường làm lộ ra chi phí không ai theo dõi và dự án trùng nhau.

Bước 2: Chốt sổ tay phương pháp và quy tắc phân bổ

Bộ phận tài chính cùng đơn vị điều phối AI soạn sổ tay: cách quy đổi lợi ích, quy tắc loại trừ trùng lặp, cách phân bổ chi phí chung, thang mức tin cậy. Thống nhất với chủ sở hữu các dự án lớn trước khi ban hành, vì phương pháp mới có thể làm ROI một số dự án kém đẹp hơn trước.

Bước 3: Dựng bảng danh mục và đo lại theo phương pháp mới

Áp sổ tay cho từng dự án, tính lại chi phí và lợi ích, gắn mức tin cậy. Dựng bảng danh mục với các cột chi phí trực tiếp, chi phí phân bổ, lợi ích cứng, lợi ích mềm, lợi ích giảm rủi ro, mức tin cậy, xu hướng. Gắn nhãn dự án cho hạ tầng dùng chung để kỳ sau phân bổ được theo mức sử dụng thật. Những cách giảm chi phí vận hành khi phát hiện dự án tốn kém bất thường có ở bài tối ưu chi phí AI Agent.

Bước 4: Họp xem lại định kỳ và ghi quyết định

Tổ chức buổi xem lại danh mục theo chu kỳ đã chốt. Mỗi dự án được kết luận mở rộng, giữ, sửa hoặc dừng, ghi rõ lý do, người chịu trách nhiệm và điều kiện xem lại. Biên bản quyết định được lưu cùng bảng danh mục để kỳ sau đối chiếu: quyết định kỳ trước có được thực hiện không, kết quả ra sao.

4. Ví dụ giả định

Một tập đoàn dịch vụ tài chính tiêu dùng có sáu dự án AI do ba khối khác nhau triển khai. Khi kiểm kê, đơn vị điều phối phát hiện dự án chatbot chăm sóc khách hàng gánh toàn bộ chi phí hợp đồng mô hình, trong khi bốn dự án khác dùng chung hợp đồng đó. Hai dự án ở trung tâm liên lạc, agent phân loại yêu cầu và agent soạn phản hồi, đều báo cáo cùng một mức giảm thời gian xử lý. Một dự án dự báo tỷ lệ khách trả chậm chưa từng có mốc trước triển khai.

Sau khi áp sổ tay phương pháp, chi phí mô hình được phân bổ theo số lượt gọi của từng dự án, hai dự án trung tâm liên lạc được báo cáo chung như một nhóm, và dự án dự báo được gắn mức tin cậy thấp kèm yêu cầu dựng nhóm đối chứng ở vài chi nhánh. Bức tranh mới cho thấy chatbot hiệu quả hơn báo cáo cũ, còn một dự án tóm tắt hồ sơ tín dụng có mức sử dụng thấp và chi phí vận hành đáng kể. Buổi xem lại quyết định sửa dự án tóm tắt hồ sơ với điều kiện xem lại sau một kỳ, và mở rộng chatbot sang kênh nhắn tin mới. Đây là ví dụ giả định để minh họa.

5. Rủi ro và giới hạn

• Phương pháp đo bị điều chỉnh theo hướng làm đẹp dự án của bộ phận có tiếng nói lớn
• Lợi ích mềm và lợi ích giảm rủi ro bị quy ra tiền bằng giả định khó kiểm chứng rồi cộng vào lợi ích cứng
• Chi phí dùng chung bị bỏ sót, làm ROI danh mục cao hơn thực tế
• Dự án mới bị đánh giá quá sớm, khi chưa đủ thời gian ổn định

ROI danh mục là công cụ ra quyết định chứ không phải bảng xếp hạng thi đua. Nếu chủ sở hữu dự án cảm thấy báo cáo dùng để phán xét họ, họ sẽ tìm cách làm đẹp số liệu và bức tranh mất giá trị. Cũng cần chấp nhận rằng một số giá trị chiến lược, như năng lực nội bộ được xây dựng hay dữ liệu được chuẩn hóa nhờ dự án AI, không lên được bảng ROI; chúng cần được nêu bằng lời trong báo cáo.

6. Phân chia trách nhiệm vận hành

Bộ phận tài chính sở hữu sổ tay phương pháp, xác nhận chi phí và lợi ích cứng, và bảo đảm số liệu khớp với sổ sách. Đơn vị điều phối AI hoặc CoE dựng và duy trì bảng danh mục, chuẩn bị buổi xem lại và theo dõi việc thực hiện quyết định. Chủ sở hữu từng dự án cung cấp số đo, giải trình biến động và đề xuất kết luận cho dự án của mình. Bộ phận quản lý rủi ro xác nhận lợi ích giảm rủi ro. Ban điều hành ra quyết định mở rộng, sửa hoặc dừng, và phân bổ ngân sách kỳ tiếp theo dựa trên kết quả.

7. Chỉ số nên theo dõi

• Tổng chi phí danh mục, tách chi phí trực tiếp và chi phí dùng chung đã phân bổ
• Lợi ích cứng đã được tài chính xác nhận so với tổng chi phí, theo kỳ
• Tỷ lệ lợi ích ở mức tin cậy cao trong tổng lợi ích báo cáo
• Số dự án theo từng kết luận mở rộng, giữ, sửa, dừng và tỷ lệ quyết định được thực hiện đúng hạn

Chỉ số đáng chú ý nhất thường là tỷ lệ lợi ích ở mức tin cậy cao. Một danh mục có ROI tổng rất đẹp nhưng phần lớn dựa vào ước tính cần được đọc thận trọng hơn một danh mục ROI khiêm tốn nhưng phần lớn đã được kiểm chứng.

8. Checklist trước khi vận hành

• Danh sách đầy đủ dự án AI, kể cả thử nghiệm do bộ phận tự làm
• Sổ tay phương pháp đo đã được tài chính soạn và ban điều hành duyệt
• Quy tắc phân bổ chi phí dùng chung và loại trừ lợi ích trùng lặp đã chốt
• Mỗi dự án có mốc trước triển khai hoặc được gắn mức tin cậy tương ứng
• Hạ tầng dùng chung gắn nhãn dự án cho từng lượt sử dụng
• Tiêu chí mở rộng, sửa, dừng và chu kỳ xem lại đã viết trước

9. Câu hỏi thường gặp

Có thể cộng ROI của từng dự án lại để ra ROI danh mục không? Không nên cộng thẳng. Các dự án thường dùng cách đo khác nhau, có chi phí nền tảng dùng chung bị tính trùng hoặc bị bỏ sót, và có lợi ích chồng lên nhau trên cùng một quy trình. Cần chuẩn hóa phương pháp, phân bổ chi phí chung và loại trừ lợi ích tính trùng trước khi tổng hợp.

Lợi ích mềm như nhân viên hài lòng hơn có nên đưa vào ROI không? Nên ghi nhận nhưng tách riêng khỏi lợi ích tính được bằng tiền. Trình bày lợi ích mềm bằng chỉ số và mô tả, kèm mức tin cậy, thay vì quy đổi ra tiền bằng giả định khó kiểm chứng. Người ra quyết định cần thấy rõ phần nào là số cứng và phần nào là nhận định.

Chi phí nền tảng dùng chung nên phân bổ cho các dự án theo cách nào? Có thể phân bổ theo mức sử dụng đo được như số lượt gọi mô hình hay số tài liệu trong kho kiến thức, theo số dự án dùng chung, hoặc giữ ở cấp danh mục không phân bổ. Cách nào cũng được, miễn là dùng nhất quán và ghi rõ, vì phân bổ thay đổi giữa các kỳ sẽ làm ROI từng dự án biến động không có thật.

Bao lâu nên xem lại danh mục dự án AI một lần? Thường theo quý cho chỉ số vận hành và chi phí, và nửa năm hoặc mỗi năm cho quyết định mở rộng, sửa hay dừng. Dự án mới cần thời gian ổn định trước khi đánh giá ROI, nên không nên kết luận quá sớm từ dữ liệu vài tuần đầu.

Kết luận

Đo ROI danh mục dự án AI là việc đặt chung một luật chơi cho mọi dự án: cùng sổ tay phương pháp, cùng mốc trước triển khai, cùng quy tắc phân bổ chi phí dùng chung, tách lợi ích cứng, mềm và giảm rủi ro, và gắn mức tin cậy cho từng con số. Khi các con số so sánh được với nhau, buổi xem lại định kỳ mới có thể đưa ra quyết định mở rộng, sửa hay dừng một cách khách quan.

Một bức tranh danh mục trung thực, kể cả khi nó kém đẹp hơn tổng các báo cáo riêng lẻ, là nền tảng để doanh nghiệp đầu tư AI tiếp theo đúng chỗ.

Trao đổi với Naventic để rà soát danh mục AI Agent hiện có và chuẩn hóa cách đo giá trị trước đợt đầu tư tiếp theo. Đọc thêm: Dịch vụ.