Quản lý phiên bản kho kiến thức AI Agent để tránh dùng tài liệu cũ

Phòng nhân sự ban hành quy định công tác phí mới, gửi email cho toàn công ty và đưa lên thư mục chung. Nhưng bản cũ vẫn nằm trong kho kiến thức của AI Agent, nên khi nhân viên hỏi mức phụ cấp, agent trả lời theo bản cũ, kèm trích dẫn nghe rất đáng tin. Lỗi này không do mô hình, mà do kho kiến thức không biết tài liệu nào đang có hiệu lực.

Dựng kho lần đầu mới là một nửa công việc; cách chọn nguồn và làm sạch nội dung đã có trong bài xây dựng kho kiến thức cho AI Agent. Nửa còn lại là giữ kho đúng theo thời gian, khi chính sách, bảng giá và quy trình liên tục thay đổi.

Bài viết tập trung vào nửa sau: thông tin phiên bản cần gắn cho mỗi tài liệu, cách thay và thu hồi bản cũ, và cách kiểm thử để chắc agent đang dùng đúng bản.

1. Bản chất của phiên bản kho kiến thức AI

AI Agent tìm đoạn tài liệu gần nghĩa nhất với câu hỏi rồi dựa vào đó để trả lời. Bộ tìm kiếm không tự biết đoạn nào mới hơn: hai bản quy định gần giống nhau sẽ cùng được lấy ra, và mô hình có thể chọn nhầm hoặc trộn nội dung của cả hai. Quản lý phiên bản là gắn cho mỗi tài liệu đủ thông tin để hệ thống lọc bỏ bản hết hiệu lực trước khi mô hình nhìn thấy.

Ba loại việc chịu ảnh hưởng khác nhau. Hỏi đáp chính sách phụ thuộc hoàn toàn vào việc kho giữ đúng bản. Tra cứu thời gian thực như giá hay tồn kho nên đọc thẳng từ hệ thống nguồn thay vì chép vào kho, để khỏi phải quản lý phiên bản cho dữ liệu đổi hằng ngày. Còn khi agent làm hành động ghi dựa trên một quy định, chẳng hạn duyệt đề nghị theo hạn mức, dùng bản cũ sẽ gây hậu quả trực tiếp, nên log phải ghi rõ agent đã dựa vào phiên bản nào.

2. Các yếu tố cần thiết kế

1. Mã phiên bản

Mỗi tài liệu có một mã định danh cố định và một số phiên bản tăng dần mỗi khi nội dung đổi. Mã này đi theo mọi đoạn được cắt ra từ tài liệu, để khi agent trích dẫn, người đọc biết đó là bản nào. Đặt tên file kiểu “quy-dinh-moi-nhat-final” không thay được mã phiên bản, vì sau vài lần sửa không ai còn biết bản nào mới nhất.

2. Ngày hiệu lực

Nhiều chính sách được công bố trước và chỉ có hiệu lực từ một ngày sau đó. Kho cần lưu ngày bắt đầu và, nếu có, ngày hết hiệu lực, rồi lọc theo ngày tại thời điểm trả lời. Nhờ vậy agent trả lời đúng cả câu hỏi “từ tháng sau có gì thay đổi” mà không áp bản mới quá sớm.

3. Chủ sở hữu

Mỗi tài liệu có một bộ phận chịu trách nhiệm nội dung, ví dụ nhân sự với quy chế lương thưởng, kế toán với quy định thanh toán. Chủ sở hữu là người duy nhất được đưa bản mới lên và là đầu mối khi agent trả lời sai do tài liệu. Tài liệu không có chủ thường là tài liệu bị bỏ quên và lỗi thời đầu tiên.

4. Trạng thái duyệt

Tài liệu đi qua các trạng thái nháp, chờ duyệt, đã ban hành và đã thu hồi. Chỉ bản đã ban hành mới vào phần agent truy xuất. Dấu hiệu làm sai là đồng bộ nguyên thư mục làm việc vào kho, khiến agent trả lời theo một bản nháp chưa ai ký.

5. Tài liệu thay thế

Khi có bản mới, hệ thống ghi rõ nó thay thế bản nào, toàn bộ hay một phần. Trường hợp khó là văn bản sửa đổi chỉ thay vài điều khoản của quy định gốc: nếu không ghi quan hệ này, agent có thể lấy điều khoản cũ từ bản gốc và bỏ qua phần sửa. Cách an toàn là hợp nhất thành một bản đầy đủ trước khi đưa vào kho.

6. Thu hồi nguồn

Thu hồi là gỡ bản hết hiệu lực khỏi phần agent truy xuất, gồm cả các đoạn đã cắt và chỉ mục tìm kiếm. Xóa file trong thư mục chung chưa chắc đã xóa bản sao trong kho. Sau mỗi lần thu hồi, nên hỏi thử agent vài câu đặc trưng của bản cũ để chắc nội dung đó không còn xuất hiện.

7. Lịch sử thay đổi

Bản cũ không bị xóa hẳn mà chuyển sang lưu trữ, kèm ghi chú ai đổi, đổi gì và vì sao. Lịch sử này cần khi có khiếu nại: nhân viên hỏi agent ngày nào, agent trả lời theo bản nào, và bản đó lúc ấy còn hiệu lực không. Phần lưu trữ được phân quyền riêng và agent không truy xuất vào đây.

8. Kiểm thử hồi quy

Mỗi tài liệu quan trọng có một nhóm câu hỏi kiểm thử với đáp án theo bản hiện hành. Khi có bản mới, chủ sở hữu cập nhật đáp án rồi chạy lại cả nhóm. Câu nào vẫn ra đáp án cũ cho thấy bản cũ chưa thu hồi hết, hoặc còn tài liệu khác như slide đào tạo đang nhắc lại nội dung cũ.

3. Quy trình triển khai thực tế

Bước 1: Xác định phạm vi và kết quả cần đo

Kiểm kê những tài liệu hay thay đổi và gây hậu quả khi dùng nhầm bản: chính sách giá, quy chế nhân sự, quy trình an toàn. Chọn một nhóm làm trước và ghi lại những lần agent từng trả lời theo bản cũ để làm mốc so sánh. Kết quả là danh sách tài liệu trong phạm vi, tài liệu nào cũng có chủ sở hữu.

Bước 2: Chuẩn hóa dữ liệu cùng quyền truy cập

Gắn cho từng tài liệu mã, số phiên bản, ngày hiệu lực, trạng thái và quan hệ thay thế. Tìm và xử lý các bản trùng, bản nháp đã lọt vào kho. Quyền đưa bản mới lên chỉ cấp cho chủ sở hữu, quyền xem lịch sử cấp cho kiểm soát nội bộ; IT xác nhận cấu hình.

Bước 3: Thiết kế tích hợp ngoại lệ và phê duyệt

Nối kho với nơi ban hành tài liệu chính thức để bản mới vào kho ngay sau khi được duyệt, không chép tay. Quy định cách xử lý ngoại lệ: hai bản cùng có hiệu lực cho hai nhóm đối tượng, văn bản sửa đổi một phần, tài liệu đã hết hạn mà chưa có bản thay. Với trường hợp cuối, agent nói rõ chưa có quy định hiện hành và chuyển cho bộ phận phụ trách.

Bước 4: Kiểm thử vận hành rồi cải thiện theo log

Mô phỏng trọn một lần thay chính sách: đưa bản mới lên, thu hồi bản cũ, chạy bộ câu hỏi. Khi đã vận hành, lọc log tìm những câu trả lời trích tài liệu đã thu hồi hoặc đã quá ngày hết hiệu lực. Mỗi trường hợp tìm thấy là một lỗi của quy trình cập nhật, cần sửa ở đúng bước tương ứng.

4. Ví dụ giả định

Một chính sách mới thay bản cũ; hệ thống loại bản hết hiệu lực khỏi truy xuất nhưng vẫn giữ lịch sử cho kiểm toán.

Tình huống này cần ít nhất bốn ca thử. Hỏi trước ngày hiệu lực thì agent trả lời theo bản cũ và báo có thay đổi sắp tới; hỏi sau ngày hiệu lực thì trả lời theo bản mới. Hỏi một nội dung chỉ bản cũ mới có thì agent không được lấy lại nội dung đó. Người kiểm toán tra lịch sử phải thấy cả hai bản cùng mốc chuyển đổi. Ca nào sai sẽ chỉ ra lỗi nằm ở ngày hiệu lực, ở bước thu hồi hay ở phân quyền lưu trữ.

5. Rủi ro và giới hạn

• Không tự động hóa khi dữ liệu hoặc thẩm quyền chưa rõ
• Giới hạn quyền đọc ghi theo nhu cầu tối thiểu
• Giữ người phụ trách cho ngoại lệ và quyết định quan trọng
• Theo dõi log và kiểm thử lại sau mỗi thay đổi

Rủi ro lớn nhất là agent trả lời sai nhưng trích nguồn trông hợp lệ, khiến người dùng tin và làm theo. Rủi ro thứ hai đến từ tài liệu phụ như slide đào tạo, email hướng dẫn hay bài hỏi đáp nội bộ nhắc lại nội dung cũ, vẫn nằm trong kho sau khi văn bản gốc đã thay. Ngoài ra, kho lưu trữ lịch sử có thể chứa thông tin nhạy cảm đã hết hiệu lực nhưng vẫn cần bảo vệ, nên không mở cho agent hay người dùng thông thường.

6. Phân chia trách nhiệm vận hành

Chủ sở hữu tài liệu ở từng bộ phận chịu trách nhiệm nội dung, ngày hiệu lực và việc báo khi có bản mới. Người quản trị kho, thường thuộc đội vận hành AI hoặc bộ phận quản lý văn bản, lo đưa bản vào, thu hồi bản cũ và chạy kiểm thử. IT phụ trách đồng bộ, chỉ mục tìm kiếm và phân quyền. Pháp chế hoặc kiểm soát nội bộ tham gia với những tài liệu có hệ quả pháp lý hay tài chính.

Cập nhật kho nên là một bước trong quy trình ban hành văn bản, không phải việc làm thêm khi nhớ ra. Văn bản vừa được ký thì bước kế tiếp là cập nhật kho và chạy kiểm thử. Nếu phát hiện agent dùng bản sai, người quản trị kho có quyền tạm gỡ cả nhóm tài liệu liên quan và để agent chuyển câu hỏi cho bộ phận phụ trách cho tới khi sửa xong.

7. Chỉ số nên theo dõi

• Tỷ lệ câu trả lời trích đúng bản đang hiệu lực
• Tỷ lệ từ chối đúng và chuyển người phụ trách
• Lỗi đồng bộ, độ trễ cập nhật và số tài liệu phải sửa
• Chi phí cùng tác động kinh doanh của quy trình

Số tài liệu trong kho không nói lên kho đúng hay sai. Nên đo số câu trả lời trích tài liệu đã hết hiệu lực, khoảng thời gian từ lúc ban hành đến lúc bản mới có trong kho, tỷ lệ tài liệu có đủ thông tin phiên bản và tỷ lệ câu hỏi kiểm thử đạt sau mỗi lần cập nhật. Tách theo bộ phận sở hữu để biết nơi nào đang cập nhật chậm.

8. Checklist trước khi vận hành

• Nguồn tài liệu và chủ sở hữu đã xác nhận
• Quyền đọc ghi đã thử với nhiều vai trò
• Có phương án khi hệ thống lỗi hoặc thiếu dữ liệu
• Có log, phê duyệt và cơ chế chống thao tác trùng
• Có bộ kiểm thử hồi quy và người vận hành

9. Câu hỏi thường gặp

Có thể quản lý phiên bản kho kiến thức AI ngay không? Có thể bắt đầu ngay với nhóm tài liệu hay thay đổi nhất, bằng cách gắn mã, ngày hiệu lực và chủ sở hữu cho từng tài liệu. Việc tự động đồng bộ có thể làm sau, khi quy trình ban hành văn bản đã rõ.

Nên bắt đầu quản lý phiên bản từ đâu? Bắt đầu từ những tài liệu mà dùng nhầm bản sẽ gây hậu quả, như chính sách giá, quy chế nhân sự hay quy định thanh toán. Trước khi làm gì khác, hãy kiểm kê xem mỗi tài liệu đang có bao nhiêu bản nằm trong kho.

Khi nào tài liệu mới cần người duyệt trước khi vào kho? Mọi tài liệu agent dùng để trả lời chính thức đều cần chủ sở hữu duyệt. Văn bản có hệ quả tài chính, pháp lý hoặc liên quan quyền lợi người lao động nên có thêm pháp chế hoặc kiểm soát nội bộ xác nhận.

Có nên xóa hẳn tài liệu cũ khỏi kho không? Nên gỡ khỏi phần agent truy xuất nhưng giữ trong kho lưu trữ có phân quyền. Khi có khiếu nại hay kiểm toán, doanh nghiệp cần biết tại thời điểm đó agent đã dựa vào bản nào.

Kết luận

Một kho kiến thức đúng ở ngày ra mắt có thể trở thành nguồn sai chỉ sau vài lần đổi chính sách. Mã phiên bản, ngày hiệu lực, chủ sở hữu và quy trình thu hồi giúp agent luôn trả lời theo bản đang áp dụng, trong khi lịch sử vẫn đủ để đối chiếu khi cần. Khi người dùng báo agent dùng tài liệu cũ, hãy xử lý theo vòng được mô tả ở bài human feedback loop cho AI Agent.

Trao đổi với Naventic để rà soát kho kiến thức và quy trình cập nhật tài liệu. Đọc thêm: AI Agent nội bộ.