Data lineage giúp kiểm chứng câu trả lời của AI Agent ra sao?

Một nhân viên kinh doanh hỏi agent nội bộ về chính sách chiết khấu cho đơn hàng lớn, nhận được câu trả lời và báo lại cho khách. Hai tuần sau khách khiếu nại vì mức chiết khấu không đúng. Câu hỏi lúc đó không còn là agent có sai không, mà là sai ở khâu nào: agent đọc nhầm đoạn, tài liệu nguồn đã cũ, bản PDF bị nhận dạng chữ sai một con số, hay quy trình nạp tài liệu bỏ sót bản cập nhật. Nếu không truy ngược được từ câu trả lời về tới từng bước, cuộc điều tra chỉ còn là đoán.

Data lineage, tức dòng gốc của dữ liệu, là khả năng truy ngược một câu trả lời về đoạn tài liệu hay bảng số liệu nó dựa vào, rồi tiếp tục về phiên bản tài liệu, hệ thống nguồn và các bước biến đổi đã qua. Bài này đi qua các mắt xích cần ghi, cách làm riêng cho câu trả lời có con số, cách hiển thị trích nguồn và cách dùng lineage khi có khiếu nại. Cách tổ chức tìm kiếm tài liệu để giữ đúng nguồn có ở bài tìm kiếm tài liệu nội bộ bằng AI; cách quản lý phiên bản kho kiến thức có ở bài phiên bản kho kiến thức. Ở đây ta nhìn từ phía ngược lại: khi đã có một câu trả lời, làm sao chứng minh nó đến từ đâu.

1. Câu trả lời của agent là điểm cuối của một chuỗi biến đổi

Trước khi tới tay người dùng, một câu trả lời đã đi qua nhiều tầng. Tài liệu gốc nằm trong hệ thống quản lý văn bản hoặc ổ chia sẻ. Một tiến trình nạp lấy tài liệu về, chuyển định dạng, nhận dạng chữ nếu là bản quét, tách thành đoạn, có khi dịch hoặc tóm tắt, rồi tạo chỉ mục để tìm kiếm. Khi người dùng hỏi, bộ truy xuất chọn vài đoạn, mô hình đọc và viết câu trả lời. Mỗi tầng đều có thể làm sai lệch: chọn nhầm phiên bản, nhận dạng sai chữ số, cắt đoạn làm mất điều kiện áp dụng ở câu trước, mô hình suy diễn quá đoạn nguồn.

Với câu trả lời có con số, chuỗi còn dài hơn: dữ liệu từ ERP được đồng bộ vào kho dữ liệu theo lịch, qua bước làm sạch và tính chỉ số, agent viết câu truy vấn, chạy trên bảng đã tính, rồi diễn giải kết quả. Một con số doanh thu lệch có thể do định nghĩa chỉ số, do bộ lọc thời gian, do đồng bộ chưa chạy, hoặc do agent viết truy vấn sai.

Lineage biến chuỗi đó thành dữ liệu có thể đọc lại. Nó không ngăn sai sót, nhưng giúp tìm ra sai ở đâu, và quan trọng hơn là giúp biết những câu trả lời nào khác cũng bị ảnh hưởng bởi cùng nguyên nhân. Cách giảm câu trả lời bịa ngay từ đầu có ở bài giảm hallucination.

2. Các mắt xích cần ghi

1. Mã định danh ổn định cho từng đoạn

Mỗi đoạn trong kho kiến thức cần một mã không đổi khi kho được nạp lại, gắn với tài liệu gốc và vị trí trong tài liệu, ví dụ mã tài liệu, phiên bản, số trang hoặc mục, thứ tự đoạn. Nếu mỗi lần nạp lại các đoạn được đánh số mới ngẫu nhiên, bản ghi của câu trả lời cũ sẽ trỏ tới đoạn không còn tồn tại hoặc tệ hơn là trỏ nhầm sang đoạn khác.

Mã đoạn nên kèm dấu băm của nội dung đoạn. Khi điều tra, đội vận hành so dấu băm trong bản ghi với dấu băm hiện tại để biết đoạn đó đã thay đổi hay chưa kể từ lúc trả lời.

2. Phiên bản tài liệu tại thời điểm trả lời

Câu trả lời phải ghi được phiên bản của tài liệu đã dùng, không chỉ tên tài liệu. Chính sách chiết khấu có thể đã có ba bản trong năm, và câu hỏi khiếu nại cần biết agent đã đọc bản nào. Các trường cần có gồm mã phiên bản, ngày hiệu lực, ngày hết hiệu lực nếu có, và trạng thái duyệt của bản đó tại thời điểm trả lời.

Nếu kho kiến thức chỉ giữ bản mới nhất và ghi đè bản cũ, lineage không thể dựng lại nội dung agent đã đọc. Vì vậy cần giữ bản cũ ở dạng lưu trữ trong thời gian đủ để xử lý khiếu nại, kể cả khi bản đó đã bị loại khỏi chỉ mục tìm kiếm.

3. Hệ thống nguồn và đường nạp

Mỗi tài liệu trong kho cần ghi nó đến từ đâu: hệ thống quản lý văn bản nào, thư mục nào, mã tài liệu bên hệ thống đó, ai là chủ sở hữu, nạp vào lúc nào, bằng tiến trình nào. Khi phát hiện tài liệu sai, thông tin này giúp báo đúng người sửa ở nguồn, thay vì sửa tạm trong kho của agent rồi lần nạp sau lại bị ghi đè.

Có những tài liệu không có nguồn chính thức, như tệp được ai đó tải lên trực tiếp lúc làm thử. Lineage làm lộ ra những tài liệu này, và đây là lúc quyết định đưa chúng về một nguồn có chủ hoặc loại khỏi kho.

4. Các bước biến đổi

Giữa tài liệu gốc và đoạn trong chỉ mục là các bước như chuyển định dạng, nhận dạng chữ, tách đoạn, dịch, tóm tắt, gắn nhãn. Mỗi bước có thể đổi nội dung, nên lineage cần ghi bước nào đã chạy, phiên bản công cụ nào, và với bước có rủi ro cao như nhận dạng chữ thì có thể ghi cả điểm tin cậy. Khi một con số trong bảng giá bị đọc sai từ bản quét, biết rằng đoạn đó qua nhận dạng chữ với điểm tin cậy thấp giúp xác định nguyên nhân rất nhanh.

Bước tóm tắt hoặc dịch đáng chú ý nhất vì nó tạo ra nội dung mới. Nếu agent trả lời dựa trên bản tóm tắt thay vì văn bản gốc, trích nguồn cần chỉ về cả bản tóm tắt lẫn đoạn gốc tương ứng.

5. Truy vấn, bảng và định nghĩa chỉ số với câu trả lời có con số

Khi agent trả lời bằng con số lấy từ cơ sở dữ liệu, lineage gồm câu truy vấn thực tế đã chạy, các bảng và cột được dùng, bộ lọc thời gian, chi nhánh, kênh bán, và định nghĩa chỉ số được áp, ví dụ doanh thu đã trừ hàng trả hay chưa. Câu truy vấn nên được lưu nguyên văn, vì cùng một câu hỏi bằng lời có thể sinh ra truy vấn khác nhau giữa các lần.

Cách chuẩn bị từ điển chỉ số và đối chiếu tổng với báo cáo chuẩn có ở bài hỏi đáp dữ liệu doanh thu. Lineage bổ sung một điều: ghi lại chính xác phiên bản định nghĩa đã dùng, để khi định nghĩa thay đổi vẫn giải thích được con số cũ.

6. Thời điểm làm mới dữ liệu

Một con số đúng với dữ liệu lúc tám giờ sáng có thể sai với thực tế lúc ba giờ chiều. Lineage cần ghi thời điểm dữ liệu trong bảng được làm mới lần cuối, không chỉ thời điểm câu hỏi được trả lời. Với kho tài liệu cũng vậy: ngày tiến trình nạp chạy gần nhất cho biết agent có thể đã bỏ lỡ bản cập nhật nào.

Thời điểm làm mới nên được hiển thị cho người dùng cùng câu trả lời có con số, kiểu “số liệu tính đến cuối ngày hôm qua”. Nhiều khiếu nại về số liệu lệch thật ra là người dùng so với một báo cáo cập nhật ở thời điểm khác.

7. Hiển thị trích nguồn cho người dùng

Phần lineage người dùng nhìn thấy nên gọn: tên tài liệu, phiên bản hoặc ngày hiệu lực, mục hoặc trang, và đường dẫn mở đúng chỗ nếu người dùng có quyền. Với con số, hiển thị phạm vi dữ liệu, bộ lọc chính và thời điểm làm mới. Không đổ toàn bộ chuỗi kỹ thuật lên màn hình, nhưng cho phép người dùng bấm xem chi tiết khi cần.

Trích nguồn phải trỏ đúng đoạn đã dùng, không phải tài liệu liên quan chung chung. Một câu trả lời trích tài liệu dài hàng chục trang mà không chỉ mục nào thì người dùng không kiểm chứng được, và trích nguồn mất ý nghĩa.

8. Hồ sơ lineage khi có khiếu nại

Khi có khiếu nại về một câu trả lời, đội vận hành cần dựng lại được toàn bộ: câu hỏi, câu trả lời, các đoạn đã truy xuất kèm nội dung tại thời điểm đó, phiên bản tài liệu, các bước biến đổi, truy vấn và thời điểm dữ liệu nếu có. Hồ sơ này là căn cứ để phân loại lỗi về đúng tầng: nguồn sai, nạp sai, truy xuất sai, hay mô hình diễn giải sai.

Sau khi tìm ra nguyên nhân, lineage còn giúp trả lời câu hỏi tiếp theo: còn những câu trả lời nào khác đã dùng cùng đoạn sai, cùng phiên bản lỗi hay cùng định nghĩa cũ. Đó là danh sách cần rà để chủ động báo lại cho người dùng bị ảnh hưởng.

3. Quy trình triển khai thực tế

Bước 1: Chọn loại câu trả lời cần truy ngược được

Không phải mọi câu trả lời đều cần cùng mức chi tiết. Câu trả lời ảnh hưởng tới tiền, cam kết với khách, nghĩa vụ pháp lý hay số liệu báo cáo cần lineage đầy đủ. Câu trả lời chào hỏi hay hướng dẫn sử dụng phần mềm có thể chỉ cần mã tài liệu. Liệt kê các luồng của agent, gắn mức lineage cần có cho từng luồng, và thống nhất với chủ nghiệp vụ.

Bước 2: Gắn định danh từ lúc nạp dữ liệu

Sửa tiến trình nạp để mọi đoạn có mã ổn định, dấu băm, mã tài liệu nguồn, phiên bản, hệ thống nguồn và danh sách bước biến đổi đã chạy. Giữ bản cũ của tài liệu ở dạng lưu trữ thay vì ghi đè. Với dữ liệu có cấu trúc, đảm bảo mỗi bảng có trường thời điểm làm mới và định nghĩa chỉ số có phiên bản. Đây là bước tốn công nhất, nhưng nếu không làm từ lúc nạp thì không thể bổ sung sau.

Bước 3: Ghi bản ghi lineage cho từng câu trả lời

Khi agent trả lời, lớp xử lý ghi một bản ghi gồm mã câu trả lời, các mã đoạn đã truy xuất và đã được trích, phiên bản tài liệu, câu truy vấn và thời điểm dữ liệu nếu có, phiên bản prompt và mô hình. Bản ghi chủ yếu là mã tham chiếu, nên nhẹ. Gắn mã câu trả lời vào nhật ký hội thoại để từ một tin nhắn cụ thể có thể mở ngay hồ sơ lineage. Khi một yêu cầu đi qua nhiều dịch vụ, mã câu trả lời có thể đi cùng mã trace, xem bài tracing cho AI Agent.

Bước 4: Diễn tập truy ngược từ một khiếu nại

Chọn vài câu trả lời cũ, giả định có khiếu nại, và để người chưa tham gia dựng hệ thống thử điều tra chỉ bằng công cụ đã có. Ghi lại chỗ nào bị đứt chuỗi: đoạn không còn, phiên bản không xác định, truy vấn không được lưu. Sửa những chỗ đó trước khi agent mở rộng ra nhiều người dùng.

4. Ví dụ giả định

Một công ty phân phối vật liệu xây dựng có agent giúp nhân viên kinh doanh tra chính sách giá, chiết khấu theo sản lượng và tồn kho theo kho. Một đại lý phản ánh rằng nhân viên báo chiết khấu cao hơn mức thực tế khi xuất hóa đơn. Từ tin nhắn của nhân viên, đội vận hành mở hồ sơ lineage và thấy agent đã trích đúng mục chiết khấu trong tài liệu chính sách, nhưng đó là phiên bản đã hết hiệu lực từ đầu tháng; bản mới đã được duyệt nhưng tiến trình nạp bị lỗi ở bước nhận dạng chữ nên không vào được chỉ mục, và bản cũ vẫn còn được tìm thấy.

Lineage còn cho thấy có thêm một số câu trả lời khác trong cùng khoảng thời gian dùng cùng đoạn cũ. Bộ phận kinh doanh được gửi danh sách đó để rà và liên hệ lại các đại lý liên quan. Đội vận hành sửa tiến trình nạp để khi bản mới lỗi thì bản cũ tự chuyển sang trạng thái tạm ngưng thay vì tiếp tục được dùng, và thêm cảnh báo khi một tài liệu có bản mới được duyệt mà chỉ mục chưa cập nhật. Quyết định bù chênh lệch cho đại lý do trưởng phòng kinh doanh đưa ra. Ví dụ này là giả định để minh họa cách dùng lineage.

5. Rủi ro và giới hạn

• Mã đoạn thay đổi mỗi lần nạp lại, khiến bản ghi cũ trỏ sai hoặc không trỏ được đâu
• Bản cũ của tài liệu bị ghi đè nên không dựng lại được nội dung agent đã đọc
• Câu truy vấn và thời điểm làm mới không được lưu, con số không thể chạy lại
• Trích nguồn đúng đoạn nhưng mô hình vẫn diễn giải vượt quá nội dung đoạn đó

Lineage cho biết câu trả lời dựa vào đâu, không cho biết câu trả lời có đúng không. Một câu trả lời có đầy đủ dòng gốc vẫn có thể sai nếu nguồn sai hoặc mô hình suy luận sai từ nguồn đúng. Lineage cũng phải tuân theo phân quyền: hồ sơ lineage chứa nội dung tài liệu, nên chỉ người có quyền với tài liệu đó mới được xem chi tiết.

6. Phân chia trách nhiệm vận hành

Đội dữ liệu hoặc đội vận hành kho kiến thức sở hữu tiến trình nạp, mã định danh, lưu trữ phiên bản cũ và thời điểm làm mới. Đội phát triển agent ghi bản ghi lineage cho từng câu trả lời và hiển thị trích nguồn. Chủ sở hữu tài liệu ở các bộ phận chịu trách nhiệm nội dung nguồn và sửa ở nguồn khi lineage chỉ ra tài liệu sai. Bộ phận tài chính hoặc phân tích dữ liệu sở hữu định nghĩa chỉ số và phiên bản của chúng. Đội chăm sóc khách hàng hoặc đầu mối tiếp nhận khiếu nại mở hồ sơ lineage khi có phản ánh và phối hợp với chủ nghiệp vụ để quyết định cách khắc phục với người bị ảnh hưởng.

7. Chỉ số nên theo dõi

• Tỷ lệ câu trả lời có bản ghi lineage đầy đủ theo mức yêu cầu của từng luồng
• Tỷ lệ trích nguồn trỏ tới đoạn còn tồn tại và còn hiệu lực khi kiểm tra lại
• Thời gian từ khi nhận khiếu nại đến khi xác định được tầng gây lỗi
• Phân bố nguyên nhân lỗi theo tầng: nguồn, nạp, truy xuất, diễn giải

Phân bố nguyên nhân theo tầng là chỉ số hữu ích nhất cho việc cải tiến. Nếu phần lớn lỗi nằm ở nguồn, cần làm việc với chủ tài liệu; nếu nằm ở nạp, cần sửa tiến trình; nếu nằm ở diễn giải, cần xem lại prompt, cách trích và bộ kiểm thử.

8. Checklist trước khi vận hành

• Mỗi đoạn trong kho có mã ổn định, dấu băm, mã tài liệu nguồn và phiên bản
• Bản cũ của tài liệu được lưu trữ đủ lâu để xử lý khiếu nại
• Câu trả lời có con số lưu câu truy vấn, định nghĩa chỉ số và thời điểm làm mới
• Trích nguồn hiển thị đúng đoạn, phiên bản và mở được nếu người dùng có quyền
• Từ một tin nhắn trong nhật ký có thể mở ngay hồ sơ lineage tương ứng
• Đã diễn tập truy ngược ít nhất một khiếu nại giả định từ đầu đến cuối

9. Câu hỏi thường gặp

Data lineage khác gì việc AI Agent trích dẫn nguồn? Trích dẫn là phần người dùng nhìn thấy: đoạn tài liệu hoặc bảng số liệu mà câu trả lời dựa vào. Lineage là toàn bộ chuỗi phía sau: đoạn đó thuộc phiên bản tài liệu nào, được nạp từ hệ thống nào, qua những bước biến đổi nào, vào thời điểm nào. Trích dẫn giúp người dùng kiểm tra nhanh, lineage giúp đội vận hành điều tra khi trích dẫn cũng sai.

Có cần lưu lineage cho mọi câu trả lời không? Nên lưu cho mọi câu trả lời dựa trên dữ liệu doanh nghiệp, vì không biết trước câu nào sẽ bị khiếu nại. Bản ghi lineage chủ yếu là mã tham chiếu chứ không chép lại nội dung, nên dung lượng không lớn. Có thể giữ chi tiết đầy đủ trong thời gian ngắn và chỉ giữ phần tóm tắt lâu hơn, theo chính sách lưu trữ chung.

Agent trả lời con số doanh thu thì lineage gồm những gì? Gồm câu truy vấn thực tế đã chạy, các bảng và cột được dùng, bộ lọc thời gian và phạm vi, định nghĩa chỉ số được áp, thời điểm dữ liệu trong bảng được làm mới lần cuối và quyền của người hỏi lúc đó. Có đủ những thứ này thì bộ phận tài chính chạy lại được đúng con số và biết vì sao nó lệch với báo cáo khác.

Doanh nghiệp nhỏ có cần làm data lineage không? Cần ở mức tối thiểu. Mỗi câu trả lời nên ghi được mã tài liệu, phiên bản và ngày cập nhật của nguồn, hoặc câu truy vấn với thời điểm dữ liệu. Không cần công cụ quản trị dữ liệu chuyên dụng; điều quan trọng là có định danh ổn định từ lúc nạp dữ liệu và ghi lại cùng câu trả lời.

Kết luận

Data lineage biến câu hỏi “agent lấy thông tin này ở đâu” từ một cuộc tìm kiếm mất nhiều ngày thành việc mở một hồ sơ. Gắn mã ổn định và phiên bản ngay từ lúc nạp, ghi lại các bước biến đổi, lưu truy vấn và thời điểm làm mới cho con số, hiển thị trích nguồn gọn và đúng đoạn, rồi dùng hồ sơ lineage để phân loại lỗi về đúng tầng khi có khiếu nại. Làm vậy, doanh nghiệp không chỉ sửa được một câu trả lời sai mà còn tìm được mọi câu trả lời khác cùng chịu ảnh hưởng.

Trao đổi với Naventic để thiết kế trích nguồn và truy vết dữ liệu cho agent phân tích. Đọc thêm: AI Data Analyst Agent.