RAG là gì? Trả lời từ tài liệu có trích dẫn kiểm được
Theo dõi một câu hỏi bảo hành qua luồng RAG, từ chọn phiên bản tài liệu đến kiểm trích dẫn và chuyển nhân viên khi nguồn chưa đủ rõ.
Nhân viên bảo hành hỏi về phụ kiện mua kèm và tìm thấy hai quy định mang cùng tên. Bản cũ áp dụng cho đơn đã giao trước một mốc, bản mới áp dụng từ mốc đó trở đi. RAG là gì trong cuộc tra cứu này? Naventic dùng RAG để tìm chứng cứ theo câu hỏi trước khi mô hình viết lời giải thích.
RAG là gì và phần nào được tăng cường?
RAG là retrieval-augmented generation, tức tạo câu trả lời có tăng cường bằng truy xuất. Ứng dụng nhận câu hỏi, tìm các đoạn có khả năng liên quan rồi đưa chúng cùng yêu cầu vào mô hình tạo sinh. Mô hình dùng phần ngữ cảnh vừa nhận để soạn câu trả lời. Chỉnh sửa tài liệu và cập nhật chỉ mục có thể thay đổi nguồn trả lời mà không cần huấn luyện lại mô hình.
Tra cứu thông thường trả về danh sách kết quả để người đọc tự ghép thông tin. RAG có thể rút điều khoản từ nhiều đoạn thành một câu giải thích. Phần tổng hợp cũng tạo thêm chỗ sai: nguồn đúng có thể bị diễn giải quá rộng, còn một trích dẫn hợp lệ về hình thức có thể dẫn đến đoạn nói chuyện khác. Cần đánh giá cả khả năng tìm và mức bám nguồn của lời đáp.
Đường đi từ chính sách bảo hành đến câu trả lời
Ở lúc nạp dữ liệu, giữ tiêu đề, mốc hiệu lực, phạm vi sản phẩm và liên kết tới tài liệu gốc. Chia văn bản theo điều khoản để ngoại lệ đi cùng quy tắc. Nếu phần áp dụng cho phụ kiện được tách khỏi danh mục loại trừ, người đọc có thể hiểu nhầm rằng mọi phụ kiện đều được đổi. Với tài liệu có bảng, giữ tiêu đề cột để thời hạn không mất quan hệ với nhóm hàng.
Ở lúc hỏi, tra theo cả mã sản phẩm lẫn ý nghĩa câu hỏi. Truy xuất theo từ khóa giữ được mã chính xác, còn tìm theo ngữ nghĩa có thể nhận ra “cục sạc kèm hộp” liên quan đến “phụ kiện đi kèm”. Lọc theo quyền và ngày phù hợp trước khi gửi đoạn đến mô hình. Dữ liệu ngày giao nên lấy từ đơn đã xác thực, vì lời kể trong hội thoại có thể thiếu mốc.
Đầu ra mẫu gồm điều khoản áp dụng, đoạn dẫn và việc cần xác minh. Nếu câu hỏi thiếu ngày giao, hệ thống có thể hỏi ngày hoặc chuyển nhân viên mở đơn. Nếu hai nguồn hợp lệ mâu thuẫn, hiện cả hai để người sở hữu chính sách phân xử. Đừng để mô hình chọn nguồn chỉ vì một bản có điểm tương đồng cao hơn.
Tìm xem lỗi nằm ở tìm kiếm hay ở lời đáp
| Kết quả thử | Việc cần xem lại |
|---|---|
| Không tìm được điều khoản | Kiểm tài liệu đã nạp, tên gọi thay thế và cách chia đoạn. |
| Có đoạn đúng nhưng xếp thấp | Xem bộ lọc, thứ tự ưu tiên và dữ liệu phiên bản. |
| Câu trả lời suy ra quyền đổi ngoài quy định | Yêu cầu dẫn chứng cho từng kết luận và kiểm lời đáp theo bản gốc. |
Bộ câu hỏi thử cần có mã gần giống nhau, yêu cầu ngoài phạm vi, trường hợp áp dụng hồi tố nếu chính sách có và người hỏi thiếu quyền. Đo số câu tìm thấy đoạn chuẩn, số trích dẫn thực sự chứng minh kết luận và số lần hệ thống từ chối đúng. Một câu trả lời dài hơn đôi khi che mất điều kiện quan trọng ở cuối đoạn.
Chốt quyền quyết định trước khi cho agent thực thi
AI Document Agent có thể giúp nhân viên mở nguồn từ lời đáp. Nhóm bảo hành vẫn duyệt quyền đổi khi chứng từ và điều khoản cần được đối chiếu. Nếu muốn trợ lý đọc hồ sơ đơn hoặc tạo đề nghị đổi, xem khi nào nên kết hợp RAG và AI Agent. Bước cập nhật chính sách cần người phụ trách và quy trình quản lý kho kiến thức để bản hết hiệu lực được xử lý đúng.
Với bảng thời hạn có chú thích cuối trang, hãy thêm một câu hỏi mà đáp án chỉ có trong chú thích. Nếu bộ truy xuất luôn tìm dòng chính mà thiếu điều kiện ở cuối trang, nhóm có thể đổi cách lưu bảng hoặc lấy thêm vùng liên quan trước khi nhờ mô hình diễn giải.
Yêu cầu người thử bấm vào từng trích dẫn trong ví dụ bảo hành. Nếu họ mở đúng điều khoản, thấy được phiên bản và hiểu lý do hồ sơ cần xác minh, câu trả lời đã hỗ trợ được quyết định tại quầy.