The Grounded-Knowledge Architecture: Vì sao một câu trả lời có trích dẫn vẫn có thể sai

Hiện diện trích dẫn, căn cứ luận điểm và tính còn hiệu lực là ba thuộc tính khác nhau của một câu trả lời. Một trợ lý có căn cứ có thể đạt điểm tốt ở thuộc tính đầu tiên mà vẫn làm khách hàng của anh/chị thất vọng ở hai thuộc tính còn lại — và hầu như không có gì trong một buổi demo tiêu chuẩn cho anh/chị biết vừa xảy ra thuộc tính nào.

Bài này trình bày The Grounded-Knowledge Architecture — sáu năng lực, một trong số đó bao quanh năm năng lực còn lại, được đề xuất như một cách phân bổ biện pháp kiểm soát và chủ thể cho năm dạng lỗi đang ẩn sau từ "hallucination". Nó được đưa ra như một thiết kế có thể kiểm thử, không phải một phát hiện, và một pilot có giới hạn cần có khả năng bác bỏ một phần của nó.

Vì sao điều này quan trọng ngay lúc này

Một khách hàng hỏi trợ lý của anh/chị một câu đơn giản: hôm nay chuyển khoản này thì chịu mức phí nào. Trợ lý trả lời, dẫn chính biểu phí đã được ngân hàng phê duyệt, và trỏ tới chính xác đoạn văn. Trích dẫn hoạt động hoàn hảo. Mức phí đó đã không còn áp dụng từ năm trước.

Ví dụ đó là giả định — không có ngân hàng nào, không có tỷ lệ nào, không có tổn thất nào, và nó giữ nguyên như vậy trong suốt phần còn lại của bài. Nó hữu ích chính vì không có gì lạ thường gây ra nó. Truy xuất hoạt động đúng. Tài liệu đã được đúng hội đồng phê duyệt, đúng người chịu trách nhiệm, đúng ngày. Trích dẫn chính xác đến từng đoạn. Và câu trả lời vẫn sai, bởi đoạn đó đã hết hiệu lực trước khi khách hàng hỏi.

Điều này quan trọng ngay lúc này vì hai lý do, một về thương mại và một về pháp lý. Về thương mại, trích dẫn đã trở thành bằng chứng an toàn mà cả ngành viện dẫn. Có căn cứ, có truy xuất nguồn, có dẫn chiếu bằng chứng — mọi trợ lý mà các đội của anh/chị được trình diễn đều đặt một số tham chiếu nhỏ bên cạnh câu văn và coi tham chiếu đó là sự bảo đảm. Về pháp lý, Luật Trí tuệ nhân tạo của Việt Nam (134/2025/QH15), thông qua ngày 10/12/2025 và có hiệu lực từ 01/3/2026, đặt ra những nghĩa vụ mới cho phía nhà cung cấp của trợ lý đó: Điều 11(1) yêu cầu công bố rằng một người đang tương tác với một hệ thống, Điều 12(1) phân định trách nhiệm về độ tin cậy và ứng phó sự cố, còn Điều 14(1)(d) và 14(2)(b) yêu cầu con người giám sát và có khả năng can thiệp với các hệ thống rủi ro cao. Có một thời gian chuyển tiếp 18 tháng tại Điều 35(1)(a), nhưng hãy đọc đúng phạm vi thực sự của nó: nó tính từ thời điểm có hiệu lực và áp dụng cho các hệ thống tài chính đã vận hành trước ngày đó. Một triển khai mới không được thừa hưởng điều này — mốc 01/9/2027 kéo theo là một điều kiện lập kế hoạch, không phải một sự miễn trừ áp cho mọi trường hợp.

Song song với đó là một nghĩa vụ đã có hiệu lực. Từ ngày 01/7/2024, theo Điều 21 Luật Bảo vệ quyền lợi người tiêu dùng (19/2023/QH15), chính phần diễn giải điều này do Ủy ban Cạnh tranh Quốc gia công bố nêu rằng doanh nghiệp có nghĩa vụ cung cấp cho khách hàng thông tin chính xác và đầy đủ về sản phẩm, dịch vụ của mình. Không văn bản nào trong hai văn bản này đặt ra ngưỡng chính xác bằng số. Cả hai đều mặc định phải có người chịu trách nhiệm về câu trả lời mà khách hàng đã nhận.

Vấn đề: ba thuộc tính, không phải một

Hỏi một đội công nghệ vì sao một trợ lý có căn cứ lại đưa ra câu trả lời sai, anh/chị thường sẽ nghe đúng một từ: hallucination. Coi đó là một dạng lỗi duy nhất, cấp vốn cho một biện pháp sửa duy nhất, và anh/chị đã xử lý một thuộc tính của câu trả lời trong khi để hai thuộc tính còn lại không ai quản.

Đây là cách đặt lại vấn đề mà bài này lập luận. Hiện diện trích dẫn, căn cứ luận điểm và tính còn hiệu lực là ba thuộc tính khác nhau của một câu trả lời. Một đường dẫn nhìn thấy được chỉ xác lập thuộc tính đầu tiên. Nó không nói gì về việc đoạn được dẫn có thực sự dẫn tới câu văn bên cạnh nó hay không, và cũng không nói gì về việc đoạn đó có còn là đoạn điều chỉnh tình huống hôm nay hay không.

Khi một trích dẫn trông vững chắc, người lãnh đạo vẫn nên kiểm tra xem nó có còn hiệu lực hay không, bởi bảo đảm về mặt thị giác và bảo đảm về mặt bằng chứng không phải một thứ. Phần lớn ngân hàng triển khai trợ lý có căn cứ rồi ngừng kiểm tra ngay khi trích dẫn hiển thị ra, bởi trích dẫn là thuộc tính duy nhất trong ba thuộc tính nhìn thấy được trên giao diện.

Một phép kiểm tra tính trung thực không bắt được nguồn đã cũ — bởi câu trả lời vẫn trung thực với đúng cái tài liệu sai đó.

Ví dụ về phí ở trên chính là hình ảnh của thuộc tính thứ ba thất bại trong khi hai thuộc tính đầu vẫn đúng. Hãy trình bày cùng một câu hỏi trước và sau khi nguồn được sửa. Trong phiên bản đã sửa, một truy vấn cho câu trả lời hiện hành loại hoàn toàn biểu phí đã hết hạn khỏi truy xuất; một câu hỏi lịch sử — "trước đây mức phí là bao nhiêu" — vẫn có thể chạm tới biểu cũ qua một bộ lọc thời gian tường minh, bởi tài liệu đã bị thay thế nên vẫn sẵn có, chứ không biến mất. Nếu biểu phí thay thế chưa được phê duyệt, hoặc ngày hiệu lực của nó còn nhập nhằng, trợ lý nên chuyển tiếp thay vì phỏng đoán.

Năm dạng lỗi, năm chủ thể khác nhau

Từ "hallucination" che đi ít nhất năm dạng lỗi khác biệt, và chúng không dùng chung một biện pháp kiểm soát hay một dòng ngân sách.

Nhiều dạng trong số này có thể cùng đúng với một câu trả lời, nên đừng suy ra nguyên nhân chỉ từ câu trả lời cuối. Khi một hội đồng công nghệ thấy một câu trả lời sai, người lãnh đạo vẫn nên hỏi đó là dạng nào trong năm dạng trước khi phân công biện pháp sửa, bởi một phép kiểm tra tính trung thực được tinh chỉnh cho dạng lỗi thứ hai sẽ không bắt được dạng thứ ba — câu trả lời vẫn trung thực, chỉ là trung thực với đúng cái tài liệu sai.

Và hãy để ý cái gì vắng mặt trong danh sách này: không có kẻ tấn công, không có jailbreak, không có tài liệu bị cài. Một biểu phí đã cũ và một biện pháp kiểm soát không ai sở hữu là đủ. Tuần này chủ ý đứng ngoài vùng lân cận đó — prompt injection, đầu độc dữ liệu và tấn công đối kháng vào kho tri thức là chủ đề của bản đồ mặt phơi nhiễm của agent, không phải chủ đề này.

Có một dạng lỗi thứ sáu, âm thầm hơn năm dạng trên và dễ bị bỏ qua bởi nó không có triệu chứng nào ở ngay thời điểm xảy ra: một câu trả lời mà ngân hàng không thể tái dựng lại nhiều tháng sau khi khách hàng khiếu nại, bởi bằng chứng dùng vào lúc đó chưa từng được lưu giữ. Nó thuộc về chủ sở hữu dịch vụ, biện pháp kiểm soát của nó là việc lưu giữ bằng chứng cộng với một quy trình xử lý sự cố hoạt động được, và nó được xử lý ở phần dưới trong G6 thay vì như một hàng thứ sáu ở đây — năm dạng trên là năm dạng tạo ra một câu trả lời sai, còn dạng này là việc không thể giải thích lại bất kỳ dạng nào trong số đó về sau. Bản playbook tải về liệt kê nó như một hàng thứ sáu trong cùng bảng chẩn đoán; cùng một biện pháp kiểm soát, cùng một chủ thể, chỉ khác nhau một cách trình bày.

The Grounded-Knowledge Architecture: sáu năng lực, một lớp bao trách nhiệm

Phần tiếp theo là phương án tác giả đề xuất để phân bổ biện pháp kiểm soát và chủ thể cho năm dạng lỗi trên — không phải một chuẩn mực đã được chứng minh là cần và đủ, không phải một tầng do luật quy định, và không phải sáu sản phẩm để mua. Nó được đưa ra như một kiến trúc có thể kiểm thử mà một pilot có giới hạn cần có khả năng bác bỏ. Một câu hỏi nằm trên cả sáu năng lực, và một năng lực bao quanh năm năng lực còn lại.

Mục đích sử dụng dự kiến, trước tiên

Trước cả sáu năng lực, phải có người trả lời một câu hỏi hẹp hơn: dịch vụ này thực sự tồn tại để làm gì, cho sản phẩm nào, cho đối tượng nào, và trên nền bằng chứng nào. Bỏ qua bước này là lý do phổ biến nhất khiến một mô hình quản trị gắn thêm về sau không bao giờ vừa với chính triển khai mà nó được viết cho.

G1 — Bằng chứng có thẩm quyền

Câu hỏi điều hành: phiên bản đã phê duyệt nào áp dụng cho khách hàng này và thời điểm này? Bằng chứng triển khai: một người đứng tên cho mỗi họ nguồn, siêu dữ liệu về phê duyệt và hiệu lực, và một quy trình đã được kiểm thử về việc loại một tài liệu đã bị thay thế khỏi truy xuất cho câu trả lời hiện hành mà vẫn giữ nó chạm tới được qua một truy vấn lịch sử tường minh. Rủi ro còn lại là nội dung được gắn thẻ đúng nhưng sai về bản chất ngay tại nguồn — cái bắt được điều đó là một mô hình quản trị, không phải một mô hình kỹ thuật. Đây là lớp đã có thể bắt được ví dụ về phí, nếu việc rút tài liệu thực sự được kiểm thử trọn vẹn qua mọi chỉ mục và bộ nhớ đệm mà trợ lý đọc từ đó.

G2 — Truy xuất và đọc hiểu

Câu hỏi điều hành: hệ thống có tìm được đoạn đang có hiệu lực, và đọc nó đúng hay không? Bằng chứng triển khai: các bài kiểm thử truy xuất tại chỗ có bao gồm cụ thể bảng, tài liệu dạng scan và chú thích giới hạn, bởi đó chính là những nơi mà một truy xuất đúng về mặt kỹ thuật vẫn đưa cho mô hình con số sai. Rủi ro còn lại là đúng đoạn vẫn có thể được truy xuất rồi bị diễn giải sai — G2 kiểm thử sự hiện diện, không kiểm thử sự hiểu.

G3 — Quy chiếu luận điểm

Câu hỏi điều hành: mọi luận điểm trọng yếu trong câu trả lời có truy được về bằng chứng của nó hay không? Bằng chứng triển khai: một liên kết luận điểm–đoạn văn, phiên bản nguồn, và dấu thời gian truy xuất, được giữ cùng nhau thành một bản ghi câu trả lời sẵn sàng cho kiểm toán và tái dựng được. Đây chính là nơi "hiện diện trích dẫn" thực sự nằm, và nó được chủ ý giữ tách khỏi G5, bởi một đường dẫn hợp lệ vẫn có thể đi kèm một suy luận sai.

G4 — Phạm vi và khước từ

Câu hỏi điều hành: điều gì xảy ra khi bằng chứng thiếu, xung đột hoặc đơn giản là nằm ngoài phạm vi của dịch vụ? Bằng chứng triển khai: các đường làm rõ và khước từ đã được kiểm thử, và một cơ chế chuyển tiếp cho người đã được xác minh là hoàn tất, không chỉ là được kích hoạt. Ở đây hãy báo cáo tỷ lệ bao phủ bên cạnh tỷ lệ lỗi — một hệ thống khước từ mọi thứ sẽ trông hoàn hảo về lỗi và vô dụng về độ bao phủ, và chỉ báo cáo cả hai con số cùng nhau mới làm lộ ra sự đánh đổi đó. Rủi ro còn lại chạy theo cả hai hướng: một lần khước từ không cần thiết, hoặc một cơ chế chuyển tiếp được kích hoạt rồi không bao giờ tới đích.

G5 — Kiểm chứng

Câu hỏi điều hành: bằng chứng có làm căn cứ cho một câu trả lời đúng và còn hiệu lực hay không? Đây là năng lực phân biệt một câu trả lời đã được kiểm với một câu trả lời chỉ được dẫn nguồn, và nó là ba phép kiểm tra chứ không phải một — rằng đoạn văn làm căn cứ cho luận điểm, rằng nguồn vẫn còn hiệu lực vào thời điểm liên quan, và rằng câu trả lời đúng theo chính các điều kiện của nó. Bằng chứng triển khai: ba phép kiểm tra đó chạy riêng biệt thay vì bị gộp vào một điểm "tính trung thực" duy nhất; một bộ đánh giá có mức đồng thuận với người chấm chuyên gia đã thực sự được hiệu chuẩn thay vì được mặc định; và việc chuyên gia phán định trên các trường hợp trọng yếu, với các điểm bất đồng được giữ lại chứ không bị lấy trung bình cho mất đi.

Rủi ro còn lại chính là rủi ro dễ bị bỏ qua nhất khi một dashboard chuyển sang màu xanh: một bộ đánh giá tự động thường mắc chính những lỗi của mô hình, nên một điểm nhất quán cao có thể có nghĩa là bên kiểm và bên trả lời cùng sai. Nhất quán không phải là đúng. Hãy báo cáo bộ đánh giá đã được hiệu chuẩn đối chiếu với cái gì, và trên mẫu nào, nếu không con số đó không có ý nghĩa gì ngoài phạm vi đội đã tạo ra nó.

G6 — Trách nhiệm giải trình

Câu hỏi điều hành: ai phê duyệt, duy trì và sửa dịch vụ này? Bằng chứng triển khai: một người chịu trách nhiệm phát hành phía kinh doanh có tên, các chủ sở hữu nguồn có tên, một cam kết công bố về độ mới cho việc một thay đổi chính sách mất bao lâu để tới được chỉ mục, và một tuyến xử lý sự cố và đính chính tới khách hàng hoạt động được. G6 không phải thứ anh/chị xây cuối cùng; nó là thứ đầu tiên, bởi truy xuất tốt hay một dấu vết kiểm toán đầy đủ đều không phân định ai chịu trách nhiệm gọi lại cho khách hàng. Đây cũng là nơi dạng lỗi thứ sáu, âm thầm hơn, trú ngụ — câu trả lời không tái dựng được, với các biện pháp kiểm soát là việc lưu giữ bằng chứng và một quy trình xử lý sự cố. Rủi ro còn lại là log và người đứng tên tự chúng không bảo đảm hành động kịp thời.

Có hai lựa chọn thiết kế nên được nói ra thay vì mặc định. Vì sao G3 và G5 phải tách riêng: truy vết ghi lại tham chiếu; kiểm chứng đánh giá xem tham chiếu đó có thực sự làm căn cứ cho luận điểm hay không. Một cái là bản ghi, cái kia là một phán định, và gộp chúng lại tức là để một đường dẫn trông hợp lệ đứng thay cho một câu trả lời đã được kiểm. Vì sao không có lớp thứ bảy: phạm vi và sự rõ ràng của giao diện cắt ngang từ G1 đến G5 chứ không thêm một hộp mới — chúng xuất hiện trong bài chẩn đoán, không phải như một cửa bổ sung.

Thứ tự quan trọng hơn cách đánh số. Hãy xác định mục đích sử dụng dự kiến và quyền sở hữu trước, thiết lập bằng chứng có thẩm quyền và một tập kiểm thử ban đầu, rồi lặp cải tiến truy xuất, quy chiếu và khước từ dựa trên các phép thử đó.

Hai cách để xây

Trước khi chọn năng lực, hãy chọn hình dạng của dịch vụ. Nền bằng chứng không buộc phải theo một kiến trúc duy nhất, và kiến trúc nhỏ nhất chạy được thường là kiến trúc đúng. Một dịch vụ trả lời đã phê duyệt hoặc tìm kiếm — một phép tra cứu tất định trên một tập tài liệu đã được tuyển chọn và đánh phiên bản, với rất ít hoặc không có sinh nội dung tự do — có thể đáp ứng một tình huống sử dụng thực sự hẹp (tra một mức phí, một FAQ chính sách) với một phần nhỏ khối lượng quản trị bên dưới, bởi G3 đến G5 có ít việc phải kiểm hơn nhiều. Một trợ lý sinh nội dung có giới hạn chỉ đáng với độ phức tạp của nó khi tập câu hỏi đủ rộng, hoặc đủ đa dạng về cách diễn đạt, đến mức một tập câu trả lời cố định không theo kịp — và nó cần trọn bộ sáu năng lực để sự đánh đổi đó là đáng.

Kết luận trái chiều của chính khung tư duy này, nói thẳng: nó có thể làm phức tạp hóa quá mức một dịch vụ mà lẽ ra chỉ cần một FAQ nhỏ đã phê duyệt hoặc một phép tra cứu mức phí tất định. Các mô hình ngữ cảnh dài có thể đơn giản hóa việc truy xuất với một tập nguồn thực sự có giới hạn, nhưng chúng vẫn cần các phép kiểm tra về tính còn hiệu lực và về đầu ra nói trên — một cửa sổ ngữ cảnh lớn hơn thay đổi G2, không thay đổi G5. Việc chỉnh trang lại kho tri thức, ở nhiều triển khai, có thể mang lại giá trị lớn hơn bất kỳ mức độ tinh chỉnh sinh nội dung nào; nhận xét đó không xác lập một tỷ lệ phổ quát về phần lỗi quy về G1, mà chỉ cho thấy đáng để anh/chị kiểm tra tỷ lệ của chính mình.

Khớp bộ kiểm soát với thế triển khai

Bằng chứng không ủng hộ việc hạ bất kỳ năng lực nào trong sáu năng lực xuống mức không đối với một dịch vụ tiếp xúc khách hàng; nó ủng hộ việc điều chỉnh cường độ triển khai theo mức độ hệ quả. Hãy đọc bảng dưới như một chính sách được khuyến nghị, không phải một phân loại pháp lý, và không phải sự cho phép một dịch vụ tiếp xúc khách hàng được bỏ qua kiểm chứng hay quyền sở hữu.

Một trợ lý nội bộ có thể dựa vào phán đoán của nhân viên cho một phần đáng kể của G5. Một trợ lý tiếp xúc khách hàng không thể dựa vào khách hàng theo cách đó — đến lúc khách hàng nhận ra câu trả lời đã sai thì hệ quả thường đã xảy ra rồi.

Bằng chứng đo được nói gì và không nói gì

Bằng chứng định lượng duy nhất về dạng lỗi mà bài này chấp nhận đến từ một nghiên cứu, và nó đáng được mang theo đầy đủ ngữ cảnh mỗi lần được dẫn ra. Nhóm nghiên cứu do Magesh dẫn đầu, cùng Surani, Dahl, Suzgun, Manning và Ho, đã công bố Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools dưới dạng preprint vào tháng 5/2024, với bản đăng tạp chí được chấp nhận ngày 14/3/2025 (DOI 10.1111/jels.12413). Nghiên cứu chạy 202 câu hỏi đăng ký trước trên mỗi hệ thống trong bốn hệ thống. Lexis+ AI và Ask Practical Law AI mỗi công cụ trả về câu trả lời hallucinated ở 34 trên 202 câu hỏi; Westlaw AI-Assisted Research ở 66 trên 202; và GPT-4, được kiểm thử mà không có lớp truy xuất chuyên biệt cho pháp lý, ở 87 trên 202. Lexis, Practical Law và GPT-4 được kiểm thử trong khoảng 22/3 đến 22/4/2024; Westlaw được kiểm thử ngày 23–27/5/2024, trên một phiên bản sản phẩm từ đó đến nay đã thay đổi.

Hãy coi đó là một benchmark nghiên cứu pháp lý năm 2024 và một phản ví dụ mang tính lịch sử cho câu "truy xuất loại bỏ được vấn đề" — không bao giờ coi đó là tỷ lệ của ngành ngân hàng, không bao giờ là tỷ lệ của hôm nay, và không bao giờ là một xu hướng, bởi chưa sản phẩm nào trong số này được kiểm thử lại trên cùng điều kiện kể từ đó. Điều nó xác lập một cách rõ ràng thì hẹp hơn và bền hơn bất kỳ con số tiêu đề nào: các sản phẩm thương mại có truy xuất, khi được kiểm thử độc lập trong điều kiện thực tế, đã tạo ra hallucination đo được trong giai đoạn đó. Thế là đủ để bác bỏ một tuyên bố phổ quát rằng vấn đề đã bị loại bỏ. Nhưng không đủ để ước lượng tỷ lệ của chính ngân hàng anh/chị, vì tỷ lệ đó phụ thuộc vào kho tri thức của anh/chị, tập câu hỏi của anh/chị và các biện pháp kiểm soát của chính anh/chị.

Về phía triển khai, bức tranh là có nhưng kèm điều kiện, chứ không phải không có. Một ngân hàng đã báo cáo hiệu năng cao từ một pilot trợ lý nội bộ cho nhân viên khởi động tháng 10/2023, mà không công bố cỡ mẫu, thang đánh giá tác vụ, phân bổ theo ngôn ngữ hay một cuộc kiểm toán độc lập — đó là một kết quả tự báo cáo, không phải kết quả đã được kiểm toán, và bài này bỏ con số tiêu đề của họ ra ngoài chính vì lý do đó. Một định chế khác báo cáo rằng 98% các đội chuyên viên tư vấn tài chính của họ đã sử dụng trợ lý sinh nội dung nội bộ, kèm theo một thực hành được mô tả là chuyên gia đánh giá và con người rà soát đầu ra; con số 98% đó là chỉ số mức độ sử dụng, không phải kết quả về độ chính xác, và không bao giờ được đọc hai thứ này như thay thế được cho nhau. Đọc cùng nhau, phát biểu trung thực không phải là "chưa ngân hàng nào công bố con số về độ chính xác" — rõ ràng đã có một ngân hàng làm vậy — mà là chưa công bố nào trong hai công bố đó đạt tới một tỷ lệ mức độ có căn cứ đã được kiểm toán độc lập và tái lập được để một bên thứ ba có thể kiểm tra.

Một khung phụ ngắn về việc kiểm chứng. Trong vụ Mata v. Avianca, Inc. (S.D.N.Y., số 22-cv-1461, ngày 22/6/2023), Thẩm phán P. Kevin Castel đã áp chế tài với hai luật sư và công ty của họ số tiền 5.000 USD, liên đới và riêng rẽ, cộng với các thư đính chính, vì đệ trình bản tranh luận chứa trích dẫn án lệ bịa đặt. Mức phạt không phải tính trên mỗi luật sư, và đó không phải chế tài cho việc dùng một công cụ AI — đó là chế tài cho việc đệ trình các dẫn chiếu bịa đặt lên tòa mà không kiểm tra trước. Xét như một tiền lệ về kiểm chứng nghề nghiệp, nó nói điều hẹp hơn so với cách ngành thường kể lại, và chính cách đọc hẹp hơn đó mới là cách đọc hữu ích: cái mà tòa trừng phạt là sự thiếu vắng một phép kiểm tra, không phải sự hiện diện của một công cụ.

Phép thử trước khi phát hành — 5 bước trước khi mở rộng

Không điều nào ở trên là lý do để chờ một kho tri thức hoàn hảo, và cũng không điều nào cho phép một pilot kéo dài vô hạn. Bằng chứng ủng hộ một bước đi đầu tiên có giới hạn và có thể bị bác bỏ.

1. Chọn một miền sản phẩm hoặc chính sách có người đứng tên và một tập tài liệu đã phê duyệt. Không phải một chương trình chỉnh trang toàn doanh nghiệp — một miền xử lý được, trước đã.
2. Chọn hình dạng trước khi tinh chỉnh bất cứ thứ gì. Quyết định giữa một dịch vụ trả lời đã phê duyệt hoặc tìm kiếm và một trợ lý sinh nội dung có giới hạn, dựa trên sự đánh đổi ở phần trên, không dựa trên mặc định của nhà cung cấp.
3. Dựng tập đánh giá trước khi dựng trợ lý. Chủ ý bao phủ năm loại tình huống: một nguồn bị thiếu, một phiên bản đã cũ, các tài liệu xung đột, một câu hỏi ngoài phạm vi, và một bảng phải được đọc đúng.
4. Tách tập dùng để tinh chỉnh khỏi tập phát hành giữ riêng, và bổ sung một mẫu production được theo dõi khi đã chạy thật, để con số anh/chị báo cáo không phải con số anh/chị đã luyện trên đó.
5. Chỉ mở rộng khi dịch vụ vượt các tiêu chí chấp nhận do chính anh/chị chọn tại chỗ — về tính đúng của nội dung trọng yếu, bằng chứng còn hiệu lực, độ bao phủ hữu dụng và việc leo thang thành công — và tiếp tục theo dõi khối lượng việc duy trì nội dung lặp lại cùng thời gian con người rà soát bên cạnh chi phí suy luận, bởi đó mới là nơi ngân sách thường xuyên thực sự đi tới.

Không mục tiêu độ chính xác nào, không thời lượng theo lịch nào và không điều kiện tiên quyết về làm sạch dữ liệu toàn doanh nghiệp nào thuộc về bước một. Nền bằng chứng không ủng hộ việc quy định bất kỳ điều nào trong ba điều đó, và một ngân hàng chờ một ngưỡng phổ quát trước khi bắt đầu là đang tối ưu cho một con số chưa ai công bố.

Rủi ro và giới hạn

Khung tư duy này là một khuyến nghị thiết kế, không phải một phát hiện. Sáu năng lực được ghi nhận ở đây như phương án tác giả đề xuất để phân bổ biện pháp kiểm soát và chủ thể; chúng chưa được chứng minh là cần hay đủ với mọi ngân hàng, và bằng chứng phản biện mạnh nhất — benchmark nghiên cứu pháp lý ở trên — đo các sản phẩm thương mại ở một miền khác, trên một tập câu hỏi khác, vào năm 2024. Một pilot có giới hạn mà bác bỏ được một phần kiến trúc này sẽ là điều hữu ích, không phải điều đáng ngại, và cách nhanh nhất để biết là chạy phép thử phát hành ở trên trên một miền thật thay vì tranh luận về kiến trúc trên giấy.

Còn hai giới hạn nữa đáng được nói trực tiếp. Thứ nhất, việc không tìm được một tỷ lệ mức độ có căn cứ công khai của ngành ngân hàng đủ điều kiện và đã được kiểm toán độc lập là kết quả của một cuộc tìm kiếm có phạm vi, không phải bằng chứng rằng nó không tồn tại — và phát biểu rằng chưa ngân hàng nào công bố con số về độ chính xác là sai nếu nói như một phát biểu chung, bởi đã có ít nhất một ngân hàng làm vậy. Thứ hai, bài này chủ ý đứng trong ranh giới của chính nó: nó không nhắc lại các câu hỏi bảo đảm về rủi ro mô hình đã được bàn trong lưới bảo đảm GenAI, các nghĩa vụ giải thích khi từ chối cấp tín dụng đã được bàn trong thang giải thích hành vi bất lợi, hay phần việc về nền tảng dữ liệu doanh nghiệp đã được bàn trong bản đồ mức độ sẵn sàng dữ liệu. Đó là những chủ đề liên quan và chịu lực; chúng không phải chủ đề này.

Trước phiên hội đồng công nghệ sắp tới của anh/chị

Phần lớn ngân hàng triển khai một trợ lý có căn cứ, thấy trích dẫn hiển thị đúng trong buổi demo, và coi đó là hồ sơ an toàn đã khép lại. Trích dẫn là thật. Chính việc nó là thật mới là lý do nó thuyết phục, và cũng chính là lý do nó không nói gì về việc tài liệu được dẫn có còn hiệu lực hay không.

Sáu năng lực, một lớp bao: bằng chứng có thẩm quyền, truy xuất đã kiểm thử, quy chiếu luận điểm, phạm vi và khước từ, kiểm chứng, và — bao quanh tất cả — một người chịu trách nhiệm có tên. Hãy mang sáu câu hỏi điều hành vào phiên hội đồng công nghệ sắp tới và viết ra ai chịu trách nhiệm cho từng câu trả lời. Rồi hỏi đúng câu hỏi mà khung tư duy này tồn tại để phục vụ: trong ba thứ — hiện diện trích dẫn, căn cứ luận điểm và tính còn hiệu lực — trợ lý của anh/chị thực sự đo được thứ nào? Khi các tài liệu xung đột, người lãnh đạo cần biết trước ai sẽ nhận việc chuyển tiếp.

Trước khi tin câu trả lời, hãy xác định nguồn nào đang có hiệu lực.

Mỗi tuần, chúng tôi gửi một khung tư duy ở tầm kiến trúc như bài này tới những người lãnh đạo đang quản trị AI trong ngân hàng, qua The AI Architect Letter — mỗi tuần một số, không thổi phồng.

Nguồn & lưu ý. Chỉ nguồn sơ cấp và nghiên cứu độc lập; tất cả truy cập ngày 06/9/2026 trừ khi có ghi khác. Benchmark định lượng: Magesh, Surani, Dahl, Suzgun, Manning và Ho, "Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools", Journal of Empirical Legal Studies, bản đăng tạp chí 2025, DOI 10.1111/jels.12413 — đọc từ bản PDF của bài báo chứ không từ các bài bình luận. Bốn con số đếm được dẫn ở trên nằm ở Bảng C1 trong Phụ lục C, nơi báo cáo số câu hallucinated trên tổng N = 202 cho mỗi hệ thống: GPT-4 87, Lexis 34, Practical Law 34, Westlaw 66. Chính phần tóm tắt của bài báo nêu cùng kết quả đó dưới dạng một khoảng — các công cụ do LexisNexis và Thomson Reuters làm ra "each hallucinate between 17% and 33% of the time" (mỗi công cụ hallucinated trong khoảng từ 17% đến 33% số lần) — và Bảng B1 cho các tỷ lệ là 0,43 (GPT-4), 0,17 (Lexis), 0,17 (Practical Law) và 0,33 (Westlaw). Vì vậy cả các con số đếm lẫn các tỷ lệ đều là số liệu do chính nghiên cứu công bố, không phải một phép suy ra; ở đâu bài này đưa ra con số đếm thì đó là vì nghiên cứu công bố con số đếm. Mục 5.3 là nguồn cho các khoảng thời gian kiểm thử: tập dữ liệu được đăng ký trước ngày 22/3/2024, Lexis+ AI, Ask Practical Law AI và GPT-4 được truy vấn trong khoảng 22/3 đến 22/4/2024, còn Westlaw AI-Assisted Research trong khoảng 23 đến 27/5/2024 — đó là lý do bài này nói con số của Westlaw mô tả một phiên bản sản phẩm từ đó đến nay đã thay đổi. Giới hạn do chính nghiên cứu nêu ra được mang theo ở đây thay vì bị bỏ qua: "the sample size of 202 queries remains small" (cỡ mẫu 202 truy vấn vẫn còn nhỏ). Không một tỷ lệ nào của ngành ngân hàng được suy ra từ bất kỳ điều nào trong số này, và các con số đếm không bao giờ được trình bày như một xu hướng, bởi chưa sản phẩm nào được kiểm thử lại trên cùng điều kiện. Tiền lệ về kiểm chứng nghề nghiệp: Mata v. Avianca, Inc., S.D.N.Y. số 22-cv-1461, quyết định và lệnh áp chế tài, văn bản số 54 trong hồ sơ, ngày 22/6/2023 (Castel, J.) — 5.000 USD, liên đới và riêng rẽ, áp với hai luật sư và công ty của họ, cộng với các thư đính chính. Được nêu ở trên là liên đới và riêng rẽ chứ không phải tính trên mỗi luật sư, và là chế tài cho việc đệ trình các dẫn chiếu bịa đặt mà không kiểm tra chứ không phải cho việc dùng một công cụ AI, bởi cách ngành thường kể lại vẫn hay sai ở cả hai điểm. Các công bố của ngân hàng, cả hai đều được mang theo như kết quả tự báo cáo chứ không phải kết quả đã kiểm toán: thông báo DBS CSO Assistant ngày 18/7/2024, mô tả một pilot từ tháng 10/2023 — con số tiêu đề của nó chủ ý không được dùng lại ở đây, bởi công bố đó không nêu cỡ mẫu, thang đánh giá tác vụ, phân bổ theo ngôn ngữ hay một cuộc rà soát độc lập, và một con số thiếu những điều đó thì không phải một tỷ lệ mức độ có căn cứ; và thông cáo ra mắt Morgan Stanley Debrief ngày 26/6/2024, với con số 98% là chỉ số mức độ sử dụng trên các đội chuyên viên tư vấn tài chính, không phải một kết quả về độ chính xác. Một cách đóng khung trước đây về chủ đề này trong chuỗi bài đã nói rằng chưa ngân hàng nào công bố con số về độ chính xác; phát biểu chung đó được rút lại — đã có ít nhất một ngân hàng làm vậy. Phát biểu chính xác là phát biểu hẹp hơn đã nêu ở trên: không công bố nào trong hai công bố đó đạt tới một tỷ lệ mức độ có căn cứ đã được kiểm toán độc lập và tái lập được để một bên thứ ba có thể kiểm tra, và việc không tìm được một tỷ lệ như vậy là kết quả của một cuộc tìm kiếm có phạm vi chứ không phải bằng chứng rằng nó không tồn tại. Việt Nam: Luật 134/2025/QH15 (Trí tuệ nhân tạo), bản đã ký ngày 10/12/2025, có hiệu lực từ 01/3/2026 — Điều 11(1) (công bố việc tương tác với một hệ thống AI), Điều 12(1) (trách nhiệm của nhà cung cấp về độ tin cậy và ứng phó sự cố), Điều 14(1)(d) và 14(2)(b) (giám sát của con người và khả năng can thiệp với các hệ thống rủi ro cao), và Điều 35(1)(a) (thời gian chuyển tiếp 18 tháng). Thời gian chuyển tiếp được mô tả ở trên là tính từ thời điểm có hiệu lực và bao phủ các hệ thống tài chính đã vận hành trước ngày đó, khiến mốc xấp xỉ 01/9/2027 kéo theo trở thành một điều kiện lập kế hoạch cho các hệ thống đã tồn tại chứ không phải một sự miễn trừ toàn ngành mà một triển khai mới được thừa hưởng; Thủ tướng Chính phủ chưa công bố danh mục rủi ro cao chính thức sẽ ấn định phạm vi chính xác của việc đánh giá sự phù hợp đối với ngành ngân hàng, nên không một số lượng phân hạng rủi ro nào được khẳng định ở đây. Luật 134/2025 là một văn bản riêng, khác với Luật 71/2025/QH15 (Công nghiệp công nghệ số). Điều 21 Luật 19/2023/QH15 (Bảo vệ quyền lợi người tiêu dùng), có hiệu lực từ 01/7/2024, với nghĩa vụ cung cấp thông tin sản phẩm và dịch vụ chính xác và đầy đủ được lấy từ chính phần diễn giải do Ủy ban Cạnh tranh Quốc gia công bố về điều này chứ không từ văn bản luật trơ. Không văn bản Việt Nam nào trong hai văn bản này đặt ra ngưỡng chính xác bằng số, và chưa tồn tại tiền lệ xử lý nào với chatbot ngân hàng theo cả hai văn bản — được nêu ra như một giới hạn của lập luận chứ không để người đọc tự mặc định. Quy định (EU) 2024/1689 (AI Act) ngày 13/6/2024, các Điều 14, 15 và 50, chỉ được dẫn làm ngữ cảnh so sánh và không ràng buộc bất kỳ ngân hàng nào tại Việt Nam. Mọi cách đọc pháp lý ở trên là cách đọc của chuỗi bài này đối với văn bản sơ cấp đã công bố công khai, chứ không phải một diễn giải đã được cơ quan quản lý công bố. Ví dụ về phí được dựng chi tiết là giả định xuyên suốt — không có ngân hàng nào, không có tỷ lệ nào, không có tổn thất nào, không có sự cố nào đã được báo cáo — và không có dữ liệu khách hàng hay nhân viên thuộc bất kỳ loại nào xuất hiện trong bài này. Đây là quan điểm độc lập, không liên kết với bất kỳ tổ chức nào nơi tác giả đang hoặc đã từng làm việc, và không thay thế cho việc rà soát pháp lý, tuân thủ, rủi ro mô hình và bảo vệ dữ liệu của chính anh/chị.