Context Engineering là gì và vì sao AI Agent doanh nghiệp không thể thiếu

Context Engineering là gì nếu nói theo cách dễ hiểu?

Mỗi lần trả lời, mô hình AI không "nhớ" gì ngoài những dòng chữ đang được đưa cho nó ngay lúc đó. Toàn bộ những dòng chữ ấy gọi là ngữ cảnh. Trong đó có phần hướng dẫn do đội triển khai viết sẵn, có đoạn hội thoại với khách từ đầu đến giờ, có tài liệu vừa được tìm ra, có kết quả từ các phần mềm mà AI vừa gọi tới.

Ngữ cảnh có 2 đặc điểm khiến nó trở thành bài toán cần thiết kế. Thứ nhất, nó có giới hạn: AI chỉ đọc được một lượng chữ nhất định mỗi lần. Thứ 2, và dễ gây bất ngờ hơn, đưa càng nhiều không có nghĩa là càng tốt. Khi phải đọc quá nhiều thứ không liên quan, AI dễ bỏ sót chi tiết quan trọng, giống một người bị đưa cả chồng hồ sơ dày rồi yêu cầu trả lời ngay một câu hỏi nhỏ.

Context Engineering, có thể gọi là thiết kế ngữ cảnh, chính là việc trả lời 4 câu hỏi cho từng thời điểm AI làm việc: đưa gì vào, bỏ gì ra, sắp theo thứ tự nào và khi nào thì cập nhật. Thuật ngữ này được nhắc đến rộng rãi từ khoảng giữa năm 2025, khi giới kỹ sư AI nhận ra các hệ thống tự động nhiều bước thường hỏng vì thiếu hoặc thừa thông tin, chứ ít khi vì mô hình kém thông minh. Anthropic, công ty phát triển mô hình Claude, mô tả mục tiêu của công việc này là tìm ra tập thông tin nhỏ nhất nhưng giá trị nhất để AI hoàn thành đúng việc được giao.

Thiết kế ngữ cảnh khác viết prompt ở chỗ nào?

Nhiều người khi tìm hiểu Context Engineering là gì thường nghĩ đây chỉ là tên gọi mới của việc viết prompt. Hai việc có liên quan, nhưng phạm vi khác nhau.

Viết prompt là soạn một đoạn hướng dẫn cho AI: vai trò của nó, giọng văn, những điều được làm và không được làm. Đoạn này thường được viết một lần rồi dùng lặp lại. Với một chatbot chỉ trả lời câu hỏi đơn giản, một prompt tốt gần như là đủ.

AI Agent thì khác. Trong một cuộc trò chuyện, nó có thể tra tài liệu 3 lần, gọi phần mềm bán hàng 2 lần, hỏi lại khách vài câu. Sau mỗi bước, lượng thông tin trước mặt nó lại thay đổi. Lúc này câu hỏi không còn là "viết hướng dẫn thế nào cho hay" mà là "ở bước này, AI cần biết đúng những gì". Prompt chỉ là một phần cố định trong ngữ cảnh. Phần còn lại biến động liên tục và phải được hệ thống tự lắp ghép ở mỗi lượt.

Một cách so sánh gần gũi: prompt giống bản mô tả công việc phát cho nhân viên ngày đầu đi làm. Thiết kế ngữ cảnh giống việc người quản lý chuẩn bị hồ sơ trước mỗi cuộc gặp khách: lần này khách là ai, đã mua gì, đang phàn nàn chuyện gì, chính sách nào áp dụng. Bản mô tả công việc tốt đến đâu cũng không thay được bộ hồ sơ đó.

Ngữ cảnh của một AI Agent gồm những gì?

Trong thực tế triển khai, ngữ cảnh thường được ghép từ 5 nguồn:

• Hướng dẫn nền: vai trò, quy tắc ứng xử, giới hạn quyền hạn của AI.

• Mô tả công cụ: danh sách việc AI có thể làm trên các phần mềm được kết nối.

• Lịch sử hội thoại: những gì khách và AI đã trao đổi, đôi khi được tóm tắt lại khi quá dài.

• Tài liệu được tìm ra: các đoạn trích từ chính sách, bảng giá, hướng dẫn nội bộ.

• Dữ liệu tức thời: kết quả phần mềm trả về, như trạng thái đơn hàng hay lịch trống, cùng thông tin về người đang hỏi.

Nguồn thứ 4 chính là phần việc của RAG. Bài khi nào doanh nghiệp nên kết hợp RAG và AI Agent đã giải thích RAG tìm tài liệu ra sao. Nhìn từ góc độ thiết kế ngữ cảnh, RAG là một trong những cách đưa thông tin vào, còn Context Engineering là bức tranh lớn hơn: quyết định trong số tài liệu RAG tìm được, đoạn nào đáng giữ lại và đặt cạnh những thông tin nào khác.

Vì sao AI Agent doanh nghiệp cần việc này hơn chatbot thông thường?

Trả lời xong câu hỏi Context Engineering là gì, điều doanh nghiệp muốn biết tiếp theo là nó ảnh hưởng gì đến mình. Lý do đầu tiên nằm ở độ dài công việc. Một chatbot trả lời xong là hết. Một AI Agent xử lý yêu cầu đổi hàng có thể đi qua 6 đến 7 bước: xác minh khách, tra đơn, kiểm tra điều kiện đổi trả, tạo phiếu, đặt lịch lấy hàng, gửi xác nhận. Mỗi bước sinh thêm dữ liệu. Nếu không ai dọn dẹp, đến bước cuối AI phải đọc lại toàn bộ những gì đã tích tụ, kể cả những phần không còn cần thiết, và khả năng nhầm lẫn tăng lên rõ rệt.

Lý do thứ 2 nằm ở tính đặc thù của dữ liệu doanh nghiệp. Chính sách cho đại lý khác chính sách cho khách lẻ. Bảng giá miền Bắc khác miền Nam. Quy định năm nay khác năm ngoái. Nếu ngữ cảnh chứa cả 2 phiên bản mà không ghi rõ phiên bản nào áp dụng cho ai, AI sẽ phải tự chọn, và nó không phải lúc nào cũng chọn đúng.

Chi phí là lý do thứ 3. AI tính tiền theo lượng chữ phải đọc và viết ở mỗi lượt. Một ngữ cảnh cồng kềnh, lặp đi lặp lại những tài liệu không dùng tới, khiến mỗi cuộc trò chuyện đắt hơn mà chất lượng không tăng. Đây cũng là một trong những đòn bẩy chính được nhắc tới trong bài tối ưu chi phí vận hành AI Agent.

Sau cùng là chuyện an toàn. Thứ gì nằm trong ngữ cảnh thì AI có thể nhắc đến trong câu trả lời. Đưa nhầm bảng lương hay ghi chú nội bộ vào ngữ cảnh của một cuộc trò chuyện với khách là rủi ro lộ thông tin, dù AI không hề cố ý.

Thiết kế ngữ cảnh chưa tốt thì biểu hiện ra sao?

Doanh nghiệp không cần đọc mã nguồn để nhận ra vấn đề. Các dấu hiệu thường lộ ngay trong hội thoại.

Phổ biến nhất là AI hỏi lại điều khách đã nói. Khách vừa cho số điện thoại ở tin nhắn thứ 2, đến tin nhắn thứ 8 AI lại xin số điện thoại. Nguyên nhân thường là lịch sử hội thoại bị cắt bớt một cách máy móc khi quá dài, thay vì được tóm tắt có chọn lọc.

Dấu hiệu tiếp theo là câu trả lời đúng tài liệu nhưng sai đối tượng. Một khách mua lẻ hỏi về chiết khấu và nhận được mức chiết khấu dành cho đại lý cấp 1. Tài liệu không sai. AI cũng không bịa. Vấn đề là thông tin "người hỏi là khách lẻ" đã không có mặt trong ngữ cảnh ở thời điểm AI đọc bảng chiết khấu.

Cũng hay gặp tình trạng hội thoại càng dài, AI càng lạc. Những lượt đầu rất tốt, đến lượt thứ 15 thì bắt đầu quên quy tắc, đổi giọng, hoặc lẫn giữa yêu cầu cũ và yêu cầu mới. Đó là lúc ngữ cảnh đã bị loãng bởi quá nhiều chi tiết không còn liên quan.

Nếu thấy 1 trong 3 hiện tượng trên lặp lại, việc cần làm thường không phải đổi sang mô hình AI đắt hơn. Sửa lại cách sắp xếp thông tin thường mang lại hiệu quả rõ hơn nhiều, với chi phí thấp hơn.

Doanh nghiệp không rành kỹ thuật thì nên làm gì?

Chủ doanh nghiệp không cần hiểu sâu Context Engineering là gì về mặt kỹ thuật, phần đó thuộc về bên triển khai. Nhưng có những việc chỉ doanh nghiệp mới làm được, vì chỉ doanh nghiệp mới hiểu nghiệp vụ của mình.

Việc đầu tiên là xác định, với từng loại yêu cầu, AI cần biết những gì để xử lý đúng. Để tư vấn một gói dịch vụ, AI cần bảng giá hiện hành, điều kiện áp dụng và nhóm khách hàng của người đang hỏi. Nó không cần lịch sử thành lập công ty. Viết ra danh sách này cho 5 đến 10 loại yêu cầu phổ biến nhất đã là một bước tiến lớn.

Việc thứ 2 là quy định thứ tự ưu tiên khi thông tin mâu thuẫn. Nếu chương trình khuyến mãi tháng này trái với chính sách chung, cái nào thắng? Con người trong công ty tự hiểu điều đó. AI thì cần được nói rõ.

Việc thứ 3 là giữ cho kho tài liệu gọn và sạch. Tài liệu càng trùng lặp, càng nhiều bản cũ, thì phần ngữ cảnh lấy từ tài liệu càng nhiễu. Cách tổ chức đã được hướng dẫn trong bài xây dựng kho kiến thức cho AI Agent từ FAQ, PDF và website.

Khi làm việc với đơn vị triển khai, doanh nghiệp có thể hỏi thẳng vài câu để biết họ có quan tâm đến chuyện này không. Khi hội thoại kéo dài, hệ thống tóm tắt hay cắt bỏ phần cũ? AI có biết người đang hỏi thuộc nhóm khách nào trước khi tra chính sách không? Có xem lại được AI đã "nhìn thấy" những gì ở một câu trả lời sai không? Câu cuối đặc biệt quan trọng, vì nếu không xem lại được ngữ cảnh thì gần như không thể tìm ra nguyên nhân lỗi.