Tối ưu chi phí vận hành AI Agent mà không giảm chất lượng

Sau vài tháng chạy thật, nhiều doanh nghiệp nhận ra hóa đơn mô hình AI tăng nhanh hơn số yêu cầu được xử lý. Nguyên nhân hiếm khi là một lỗi lớn. Thường đó là tổng của nhiều thứ nhỏ: mọi câu hỏi đều đi qua mô hình mạnh nhất, prompt ngày càng dài vì mỗi lần sửa lỗi lại thêm một đoạn hướng dẫn, truy xuất kéo về quá nhiều tài liệu, và cùng một câu hỏi phổ biến được tính tiền lại từ đầu mỗi lần.

Bài này chỉ bàn các kỹ thuật giảm chi phí khi AI Agent đã vận hành, kèm điều kiện bắt buộc là chất lượng không được tụt. Cơ cấu các khoản chi và cách lập ngân sách ban đầu đã có ở bài lập ngân sách AI Agent và chi phí triển khai AI Agent. Bài không đưa con số giá hay mức tiết kiệm, vì chúng phụ thuộc mô hình, nhà cung cấp và khối lượng của từng doanh nghiệp.

1. Chi phí vận hành AI Agent đến từ đâu

Phần biến động nhất là chi phí gọi mô hình, tính theo lượng token đầu vào và đầu ra. Đầu vào không chỉ là câu hỏi của người dùng mà gồm cả prompt hệ thống, lịch sử hội thoại, đoạn tài liệu truy xuất được và kết quả trả về từ các công cụ. Trong nhiều agent, phần câu hỏi thật chỉ chiếm một phần nhỏ của đầu vào. Ngoài ra còn chi phí tạo vector cho kho kiến thức, lưu trữ, hạ tầng chạy workflow và các API bên thứ ba.

Nguyên tắc của tối ưu chi phí AI Agent là giảm lượng việc thừa chứ không giảm việc cần làm. Mỗi kỹ thuật dưới đây đều có một cái giá về độ phức tạp hoặc rủi ro chất lượng. Vì vậy thứ tự luôn là đo trước, sửa chỗ tốn nhất, rồi kiểm thử lại bằng cùng bộ ca thử đã dùng khi nghiệm thu.

2. Tám kỹ thuật giảm chi phí khi đã vận hành

1. Phân loại tác vụ và đo chi phí trên tác vụ

Nếu chỉ nhìn tổng hóa đơn theo tháng, doanh nghiệp không biết nên sửa chỗ nào. Mỗi lượt gọi mô hình cần được gắn nhãn loại tác vụ: hỏi chính sách, tra đơn hàng, tóm tắt hội thoại, trích thông tin từ tệp. Từ nhật ký, tính chi phí trung bình trên một tác vụ hoàn thành của từng loại, không phải trên một lượt gọi, vì một tác vụ có thể cần nhiều lượt. Bảng xếp hạng này cho biết loại việc nào đáng tối ưu và loại nào đã đủ rẻ.

2. Định tuyến mô hình theo độ khó

Không phải việc nào cũng cần mô hình mạnh nhất. Phân loại ý định, trích số điện thoại, chuẩn hóa địa chỉ hay kiểm tra câu trả lời có đủ trường chưa là những việc mô hình nhỏ thường làm tốt. Mô hình lớn để dành cho suy luận nhiều bước, viết nội dung dài hay xử lý câu hỏi mơ hồ. Bộ định tuyến có thể dựa trên quy tắc theo loại tác vụ, và chuyển lên mô hình lớn khi mô hình nhỏ báo không chắc. Tiêu chí chọn mô hình nói chung đã có ở bài chọn mô hình AI cho AI Agent.

3. Cache câu trả lời và kết quả tra cứu

Nhiều câu hỏi lặp lại gần như nguyên văn: giờ làm việc, chính sách đổi trả, cách đặt lịch. Cache câu trả lời cho nhóm câu hỏi ổn định giúp khỏi gọi lại mô hình. Ngoài ra, nhiều nhà cung cấp mô hình có cơ chế cache phần đầu prompt giống nhau giữa các lượt gọi; đặt phần cố định như hướng dẫn hệ thống lên đầu và phần thay đổi xuống cuối sẽ tận dụng được cơ chế này. Tuyệt đối không cache câu trả lời phụ thuộc dữ liệu thời gian thực như giá, tồn kho hay trạng thái đơn.

4. Rút gọn ngữ cảnh và truy xuất

Đây thường là chỗ lãng phí lớn nhất. Prompt hệ thống phình ra sau nhiều lần vá lỗi nên được rà lại, gộp các hướng dẫn trùng và bỏ những đoạn không còn tác dụng. Truy xuất nên lấy ít đoạn nhưng đúng hơn, có ngưỡng độ liên quan thay vì luôn lấy một số lượng cố định. Lịch sử hội thoại dài có thể được tóm tắt thay vì gửi nguyên văn. Kết quả API trả về nên được lọc chỉ còn các trường agent cần, thay vì đưa cả bản ghi vào ngữ cảnh.

5. Gom lô tác vụ không gấp

Những việc không cần trả lời ngay như phân loại lại ticket cũ, tóm tắt hội thoại cuối ngày, gắn nhãn phản hồi khách hay làm giàu dữ liệu CRM có thể gom lại chạy theo lô. Một số nhà cung cấp mô hình có chế độ xử lý theo lô với đơn giá thấp hơn, đổi lại kết quả trả về chậm hơn. Gom lô còn giúp tránh chạm giới hạn tốc độ gọi API vào giờ cao điểm, khi các tác vụ trực tiếp với khách cần được ưu tiên.

6. Hạn mức theo người dùng và theo tác vụ

Hạn mức bảo vệ chi phí khỏi những tình huống bất thường: một người dùng gửi hàng trăm yêu cầu, một vòng lặp gọi công cụ không dừng, hay một tệp rất lớn được tải lên để tóm tắt. Nên đặt giới hạn số lượt trên phiên, độ dài đầu vào tối đa, số bước tối đa agent được chạy cho một tác vụ và trần chi phí theo ngày cho từng kênh. Khi chạm hạn mức, agent cần thông báo rõ ràng và chuyển người, không im lặng thất bại.

7. Giám sát chi phí và cảnh báo bất thường

Chi phí nên được theo dõi gần như cùng nhịp với chất lượng. Bảng theo dõi tối thiểu gồm chi phí theo ngày, theo loại tác vụ, theo kênh và theo phiên bản prompt. Cảnh báo tự động khi chi phí ngày vượt ngưỡng hoặc chi phí trên tác vụ của một loại tăng đột ngột, vì đó thường là dấu hiệu của vòng lặp lỗi hay một thay đổi prompt làm ngữ cảnh dài ra. Nhật ký phải đủ chi tiết để truy ngược từng lượt gọi tốn kém bất thường.

8. Bộ kiểm thử chất lượng trước và sau mỗi thay đổi

Mọi thay đổi nhằm giảm chi phí đều phải chạy qua cùng một bộ ca thử: câu hỏi chuẩn, câu hỏi khó, câu hỏi dụ bịa, yêu cầu vượt quyền và tác vụ có ghi dữ liệu. So kết quả trước và sau theo các tiêu chí đã chốt khi nghiệm thu. Nếu chất lượng tụt ở một loại tác vụ, hoàn tác thay đổi cho riêng loại đó. Tối ưu chi phí mà không có bộ kiểm thử thì chỉ là chuyển chi phí từ hóa đơn mô hình sang thời gian sửa lỗi của nhân viên.

3. Quy trình tối ưu chi phí theo từng vòng

Bước 1: Gắn nhãn và đo trong một chu kỳ

Bổ sung nhãn loại tác vụ, kênh, phiên bản prompt và mô hình vào nhật ký mỗi lượt gọi. Thu dữ liệu trong một chu kỳ đủ đại diện, có cả ngày cao điểm và ngày thường. Kết quả là bảng chi phí trên tác vụ và khối lượng của từng loại.

Bước 2: Chọn một hai điểm tối ưu

Chọn loại tác vụ có tổng chi phí cao nhất và kỹ thuật phù hợp nhất với nó: tác vụ đơn giản khối lượng lớn thì định tuyến mô hình nhỏ, câu hỏi lặp lại thì cache, ngữ cảnh dài thì rút gọn. Mỗi vòng chỉ nên đổi một hai thứ để biết thay đổi nào tạo ra kết quả.

Bước 3: Chạy song song và so sánh

Chạy phiên bản mới với bộ ca thử, sau đó cho một phần nhỏ lưu lượng thật đi qua phiên bản mới trong khi phần còn lại vẫn dùng bản cũ. So chi phí trên tác vụ, tỷ lệ trả lời đúng, tỷ lệ chuyển người và phản hồi của người dùng giữa hai nhóm.

Bước 4: Áp dụng hoặc hoàn tác

Nếu chi phí giảm mà chất lượng giữ nguyên, áp dụng cho toàn bộ và cập nhật tài liệu vận hành. Nếu chất lượng tụt, hoàn tác và ghi lại lý do để vòng sau không thử lại cùng hướng. Việc rà soát chi phí nên trở thành một mục cố định trong lịch bảo trì AI Agent.

4. Ví dụ giả định

Một agent chăm sóc khách hàng dùng một mô hình lớn cho mọi lượt, gửi kèm năm đoạn tài liệu và toàn bộ lịch sử hội thoại.

Đo trong một chu kỳ cho thấy nhóm câu hỏi về giờ mở cửa, phí giao hàng và chính sách đổi trả chiếm phần lớn khối lượng, trong khi khiếu nại phức tạp ít nhưng tốn nhiều token nhất mỗi lượt. Đội vận hành chuyển bước phân loại ý định sang mô hình nhỏ, cache câu trả lời cho các câu hỏi chính sách ổn định với thời hạn gắn theo ngày cập nhật tài liệu, và giảm số đoạn truy xuất bằng ngưỡng liên quan. Nhóm khiếu nại vẫn giữ mô hình lớn. Bộ ca thử được chạy lại và phát hiện một lỗi: câu hỏi về phí giao hàng khu vực xa bị trả lời bằng câu cache của khu vực nội thành. Nhóm tách câu hỏi phí giao hàng khỏi cache vì nó phụ thuộc địa chỉ, rồi mới áp dụng.

5. Rủi ro và giới hạn

• Mô hình nhỏ trả lời trôi chảy nhưng sai ở các trường hợp biên, và lỗi chỉ lộ ra khi khách phàn nàn
• Cache giữ câu trả lời cũ sau khi chính sách đã đổi nếu không có cơ chế xóa theo tài liệu nguồn
• Cắt ngữ cảnh quá tay khiến agent quên thông tin khách đã cung cấp ở đầu hội thoại
• Hạn mức đặt quá chặt chặn cả người dùng hợp lệ vào giờ cao điểm

Rủi ro lớn nhất là tối ưu theo con số dễ đo. Chi phí trên lượt gọi giảm nhưng số lượt chuyển người tăng, hay khách phải hỏi lại nhiều lần, thì tổng chi phí của quy trình có thể còn cao hơn. Vì vậy luôn đặt chi phí cạnh các chỉ số chất lượng khi báo cáo.

6. Phân chia trách nhiệm vận hành

Chủ sở hữu nghiệp vụ quyết định loại tác vụ nào được phép đổi sang cấu hình rẻ hơn và mức chất lượng tối thiểu chấp nhận được. Đội kỹ thuật lo gắn nhãn nhật ký, bộ định tuyến, cache, hạn mức và cảnh báo. Người vận hành chạy bộ ca thử, đọc kết quả so sánh và đề xuất hoàn tác khi cần. Bộ phận tài chính nhận báo cáo chi phí theo loại tác vụ thay vì chỉ một con số tổng, để thấy được chi phí gắn với kết quả nào. Khi đánh giá hiệu quả đầu tư chung, dùng khung ở bài ROI AI Agent.

7. Chỉ số nên theo dõi

• Chi phí trên một tác vụ hoàn thành, tách theo loại tác vụ và kênh
• Lượng token đầu vào trung bình, tách phần prompt, lịch sử, tài liệu truy xuất và kết quả công cụ
• Tỷ lệ lượt trả lời lấy từ cache và tỷ lệ cache bị xóa do tài liệu nguồn đổi
• Tỷ lệ tác vụ được mô hình nhỏ xử lý xong mà không phải chuyển lên mô hình lớn
• Tỷ lệ trả lời đúng và tỷ lệ chuyển người trước và sau mỗi thay đổi
• Số lần chạm hạn mức và số cảnh báo chi phí bất thường

8. Checklist trước khi áp dụng một thay đổi

• Nhật ký đã gắn nhãn loại tác vụ, phiên bản prompt và mô hình cho từng lượt gọi
• Có bảng chi phí trên tác vụ trước thay đổi để so sánh
• Bộ ca thử có đủ câu khó, câu dụ bịa và tác vụ ghi dữ liệu
• Câu trả lời phụ thuộc dữ liệu thời gian thực đã được loại khỏi cache
• Có cách hoàn tác nhanh cho riêng từng loại tác vụ
• Người duyệt chất lượng đã xác nhận kết quả so sánh

9. Câu hỏi thường gặp

Nên bắt đầu tối ưu chi phí AI Agent từ đâu? Bắt đầu từ việc đo, chưa sửa gì vội. Gắn mỗi lượt gọi mô hình với loại tác vụ, đếm lượng token vào và ra, rồi xếp các loại tác vụ theo tổng chi phí. Thường chỉ vài loại chiếm phần lớn chi phí, và đó là chỗ nên tối ưu trước.

Đổi sang mô hình rẻ hơn có làm AI Agent trả lời kém đi không? Có thể, nên không đổi đồng loạt. Cách an toàn là chỉ chuyển những loại tác vụ đơn giản như phân loại hay trích trường sang mô hình nhỏ, chạy cùng bộ ca thử với mô hình cũ và so kết quả. Loại tác vụ nào tụt chất lượng thì giữ ở mô hình lớn.

Cache có nguy cơ trả lời thông tin cũ không? Có, nếu cache cả những câu phụ thuộc dữ liệu thay đổi như giá, tồn kho hay trạng thái đơn. Chỉ nên cache câu trả lời từ tài liệu ổn định, gắn thời hạn hết hiệu lực và xóa cache ngay khi tài liệu nguồn được cập nhật.

Bao lâu nên rà soát chi phí AI Agent một lần? Nên có báo cáo chi phí theo loại tác vụ hằng tuần trong giai đoạn đầu và cảnh báo tự động khi chi phí ngày vượt ngưỡng. Ngoài ra cần rà lại mỗi khi đổi mô hình, đổi prompt, thêm nguồn dữ liệu hay mở thêm kênh, vì các thay đổi này thường làm chi phí dịch chuyển.

Kết luận

Tối ưu chi phí AI Agent hiệu quả nhất khi bắt đầu từ dữ liệu: biết loại tác vụ nào tốn bao nhiêu trên mỗi lần hoàn thành. Từ đó mới chọn đúng kỹ thuật, dù là định tuyến mô hình nhỏ, cache câu hỏi ổn định, rút gọn ngữ cảnh, gom lô hay đặt hạn mức. Điều kiện không được bỏ qua là bộ kiểm thử chạy trước và sau mỗi thay đổi, để phần tiết kiệm trên hóa đơn không phải trả lại bằng lỗi với khách hàng.

Trao đổi với Naventic để rà soát chi phí vận hành AI Agent đang chạy. Đọc thêm: Dịch vụ.