Một ý tưởng lớn

AI của anh/chị đã rẻ hơn. Rẻ hơn rất nhiều. Vậy mà hóa đơn không hề giảm. Đó không phải lỗi tính tiền, và — đây là chỗ phần lớn ngân hàng hiểu sai — đó cũng không phải bài toán chi phí. Đó là bài toán dự báo, và bài toán dự báo thì tệ hơn, bởi bài toán chi phí còn lập được ngân sách.

Tuần trước, bản tin này hỏi vì sao một biện pháp kiểm soát đạt yêu cầu lại không đồng nghĩa với một ngân hàng được bảo vệ. Tuần này câu hỏi chuyển từ điều một biện pháp kiểm soát nhìn thấy sang điều công việc tiêu tốn bao nhiêu — và cụ thể là liệu hóa đơn có dự đoán được hay không. Câu trả lời trung thực, với phần lớn ngân hàng, là chưa.

Bài toán chi phí thì lập được ngân sách: anh/chị có thể quyết định chi nhiều hơn. Bài toán dự báo thì không, vì không có con số nào để đưa vào ngân sách.

Góc nhìn · Vấn đề là vòng lặp, không phải mô hình

Phần lớn ngân hàng thất bại ở đây vì một lý do: họ coi đó là bài toán chi phí và đi đàm phán một đơn giá tốt hơn. Phản xạ đó sai theo một cách rất cụ thể — đơn giá chưa bao giờ là vấn đề.

Giá các mô hình frontier thực sự đã sụp giảm. Trên BenchLM Token Price Index, chỉ số phụ frontier nằm thấp hơn khoảng 80% so với mức gốc tháng 3/2023 (dữ liệu từ BenchLM.ai). Hãy đọc chính xác điều đó, vì chính sự chính xác mới là điểm mấu chốt: đây là một số đọc chỉ số, không phải mức giá của bất kỳ mô hình nào, mức gốc tháng 3/2023 chỉ áp dụng cho riêng chuỗi đó, và không mô hình nào được nêu tên kèm mức giá ở bất kỳ đâu trong số này. Và suốt năm vừa qua, chỉ số đã bắt đầu tăng trở lại, khi mỗi thế hệ năng lực mới xuất hiện với mức giá cao hơn thế hệ nó thay thế. Sự sụp giảm đã xảy ra rồi. Nó không chữa được hóa đơn.

Vậy tiền đi đâu? Giá mỗi token mô tả một đầu vào. Ngân hàng mua đầu ra: một lần đối soát hoàn tất, một hồ sơ được giải quyết, một tài liệu được kiểm tra, một ngoại lệ được xử lý xong.

Chatbot nhận một câu hỏi và viết một câu trả lời. Agent thì lập kế hoạch, gọi công cụ, đọc kết quả, tự kiểm tra công việc của mình, thử lại — và ở mỗi vòng của vòng lặp đó nó đọc lại toàn bộ những gì đã làm. Ngữ cảnh được gửi lại, gửi lại, rồi lại gửi lại.

Các phép đo rất đáng chú ý và mẫu số của chúng cũng quan trọng. Các nhà nghiên cứu, trong đó có Erik Brynjolfsson và Alex Pentland, đã đo được khối lượng công việc dạng agent tiêu thụ nhiều token hơn khoảng một nghìn lần so với một lượt trao đổi thông thường với trợ lý lập trình, với token đầu vào chứ không phải đầu ra chi phối chi phí — Bai và cộng sự, arXiv:2604.22750, đo trên tác vụ lập trình dạng agent với tám mô hình frontier. Một nghiên cứu thứ hai thấy 59,4% lượng token dành cho giai đoạn rà soát lặp đi lặp lại, tức máy kiểm tra chính đầu ra của nó thay vì tạo ra đầu ra; nghiên cứu đó là một phát hiện sơ bộ, lấy trung bình trên ba mươi tác vụ phát triển phần mềm trong một framework agent duy nhất trên một mô hình duy nhất.

Hãy đọc cơ chế như một quy luật chung và đọc các độ lớn như hình dạng đã được ghi nhận của vấn đề, không phải con số của ngân hàng anh/chị. Bai và cộng sự cũng báo cáo rằng dùng nhiều token hơn không mua được độ chính xác cao hơn, điều này loại bỏ cách đọc dễ chịu rằng khoản chi đó đơn giản là đang mua chất lượng.

Gartner gọi tên hiện tượng này vào tháng 8/2026 là Inference Paradox (nghịch lý suy luận): kinh tế đơn vị tốt hơn lại trợ giá cho các quy trình phức tạp hơn, nên tổng chi phí vẫn tăng dù từng đơn vị rẻ đi. Dự báo của họ là chi phí suy luận trên mỗi quy trình agent sẽ tăng hơn năm lần đến hết năm 2028.

Khung tư duy của tuần · The AI Unit-Economics Ledger

Đây là cách phân rã do tác giả đề xuất về nơi chi phí AI thực sự phát sinh — không phải một chuẩn mực đã được kiểm chứng, không phải bốn sản phẩm để mua, và không phải một thang trưởng thành. Bốn dòng, không phải sáu, vì một giám đốc tài chính có thể nắm bốn dòng trong đầu. Các dòng được sắp theo thời điểm ngân hàng phát hiện ra chúng, và chính điều đó làm sổ cái có giá trị chẩn đoán thay vì chỉ mô tả:

  • L1 · Suy luận — chính lần gọi mô hình. Dòng duy nhất mà hầu hết phương án đã phê duyệt có, và là dòng có đơn giá giảm sâu nhất, chính vì thế nó tô đẹp cho dự báo. Phát hiện ở khâu phê duyệt.
  • L2 · Truy xuất và ngữ cảnh — embedding, lưu trữ vector, re-ranking, và ngữ cảnh gửi lại ở mỗi lần gọi. Nó tăng theo kho dữ liệu của anh/chị, không theo số người dùng, nên không xuất hiện ở đâu trong một phương án kinh doanh tính theo đầu người dùng. Phát hiện ở khâu tích hợp.
  • L3 · Điều phối — hệ số nhân: lập kế hoạch, gọi công cụ, thử lại, tự kiểm tra, chuyển giao. Mọi thứ trong phần trên đều rơi vào đây. Phát hiện khi vận hành thực tế, nơi tệ nhất để phát hiện ra nó.
  • L4 · Vận hành, bảo đảm và rà soát — giám sát và theo dõi trôi lệch; các mô hình chấm điểm và bộ kiểm thử hồi quy chạy lại ở mỗi lần phát hành; và phần con người — xử lý ngoại lệ, chuyển cấp, tranh chấp, khiếu nại. Phát hiện ở khâu kiểm toán.

Rà soát được gọi tên có chủ ý, và đó là nhánh hay bị xóa nhất. Một dòng gọi là "vận hành và bảo đảm" đọc lên như hạ tầng và bị giao cho bộ phận kỹ thuật. Một dòng gọi là "vận hành, bảo đảm và rà soát" thì không thể bị giao như vậy — bởi rà soát là nơi khoản tiết kiệm nhân sự mà phương án kinh doanh của anh/chị đã hứa hoặc trụ lại, hoặc lặng lẽ biến mất.

Thêm một khoảng trống đáng biết. Đã có một chuẩn mực cho dữ liệu chi phí AI — FinOps Open Cost and Usage Specification. Nó chuẩn hóa lược đồ hóa đơn và mức sử dụng, giúp tử số so sánh được bất kể ai xuất hóa đơn. Nó không định nghĩa chỉ số chi phí mỗi tác vụ nào, và cũng chưa bao giờ tuyên bố như vậy. Cả ngành đã chuẩn hóa tử số. Mẫu số là phần anh/chị phải tự xây.

Tình huống ứng dụng · Cùng một tác vụ, chênh nhau ba mươi lần

Phản bác hiển nhiên là coi đây như một bài toán mô hình hóa — rằng một ước tính đủ tốt, kèm một khoản dự phòng thận trọng, sẽ lấp được khoảng cách. Vậy hãy nhìn điều xảy ra khi các nhà nghiên cứu chạy cùng một công việc hai lần.

Trong nghiên cứu về lượng token tiêu thụ — vẫn là Bai và cộng sự — các nhà nghiên cứu chạy đúng một tác vụ nhiều lần. Không phải các biến thể của nó, không phải một phiên bản khó hơn: cùng một tác vụ, được lặp lại. Lượng token tiêu thụ chênh nhau tới ba mươi lần.

Phát hiện đó nên thay đổi cách một hội đồng đọc một con số. Hóa đơn cho một đầu việc không phải là một con số. Nó là một phân phối. Cùng một lần đối soát, chạy vào thứ Ba rồi chạy lại vào thứ Năm, có thể chênh nhau ba mươi lần, và không có gì trong nhật ký thay đổi của anh/chị giải thích được vì sao.

Và anh/chị không thể chỉ đơn giản hỏi chính hệ thống. Cùng nhóm nghiên cứu đã kiểm tra xem các mô hình frontier có dự đoán được lượng token chính chúng sẽ dùng hay không. Tương quan ở mức yếu đến trung bình — tối đa 0,39 — và các mô hình có xu hướng hệ thống là đánh giá thấp. Thứ đang tạo ra chi phí cũng không biết chi phí sẽ là bao nhiêu, và nó sai về phía rẻ.

Một lưu ý về phạm vi, vì bản tin này vẫn liên tục yêu cầu anh/chị kiểm tra mẫu số. Những phép đo mạnh nhất hiện có — hệ số nhân một nghìn lần, việc tập trung vào khâu rà soát, độ biến động ba mươi lần — được thực hiện trên tác vụ lập trình dạng agent, không phải trên hồ sơ tín dụng hay các lần đối soát. Cơ chế thì khái quát được; còn độ lớn cụ thể không nên được mặc định là chuyển nguyên vẹn sang một khối lượng công việc ngân hàng. Đó là lập luận cho việc tự đo của mình, không phải lập luận để bác bỏ những con số này.

Lưu ý rủi ro · Khoản tiết kiệm nhân sự có thành hiện thực không?

Đây là câu hỏi một giám đốc tài chính thực sự đặt ra, và cũng là nơi bằng chứng vừa mỏng nhất vừa ồn ào nhất.

Những trường hợp được dẫn rộng rãi — về việc thay thế hàng trăm nhân viên dịch vụ — đều bắt nguồn từ thông báo của chính các công ty triển khai và từ nhà cung cấp công nghệ của họ, được trình bày như dự phóng hướng tới tương lai chứ không phải kết quả đã kiểm toán. Ở những nơi các dự phóng đó về sau được xem xét lại, phần điều chỉnh đều đi xuống, và không trường hợp nào được nêu lại như một mức giảm đã kiểm toán trong cơ sở chi phí của một quy trình chịu quản lý. Hồ sơ công khai không ủng hộ nhận định về một mức giảm ròng bền vững trong cơ sở chi phí của một quy trình ngân hàng chịu quản lý nhờ thay thế nhân sự.

Cơ chế giải thích vì sao, và nó hữu ích hơn bất kỳ trường hợp đơn lẻ nào. Tự động hóa luồng đơn giản thì phần còn lại là phần cặn khó — tranh chấp, ngoại lệ, khiếu nại. Phần việc đó cần những người đắt hơn so với khâu sàng lọc đã bị thay thế. Chi phí không biến mất. Nó chuyển sang dòng thứ tư, nơi không ai dự báo.

Hai giới hạn trung thực của lập luận. Một ngân hàng có năng lực kỹ thuật thực sự trưởng thành — phân tầng suy luận chặt chẽ, kiến trúc agent tận dụng cache, model routing — có thể khiến đà giảm giá đơn vị vượt nhanh hơn sự phình to của điều phối. Các biện pháp kiểm soát là có thật, và routing là chính biện pháp Gartner khuyến nghị, nên nó là một biện pháp kiểm soát chứ không phải một lời bác bỏ. Nhưng rất ít ngân hàng thương mại truyền thống đang vận hành các kiến trúc đó trong môi trường thực tế hiện nay, nên ràng buộc quyết định có thể là nhân tài, không phải giá — và đó là lập luận mạnh nhất ủng hộ sổ cái chứ không phải chống lại nó, bởi một ngân hàng chưa thể tối ưu bằng kỹ thuật thì tối thiểu phải đo được mức phơi nhiễm.

Hãy lấy một phương án kinh doanh AI đã được phê duyệt. Bất kỳ phương án nào. Tìm dòng thứ hai, dòng thứ ba và dòng thứ tư.

Khi chỉ dòng thứ nhất được dự báo, hãy trả phương án về — không phải vì hóa đơn quá lớn, mà vì đó không phải một dự báo. Đó là một ước tính khoác áo dự báo. Và hãy hỏi độ biến động thay vì giá trị trung bình: một con số duy nhất cho khối lượng công việc có mức chênh ba mươi lần chính là khiếm khuyết, không phải điểm xuất phát. Rồi giao mỗi dòng cho một người chịu trách nhiệm đứng tên.

Video mới nhất

Bản briefing của tuần này — Video 17: Why cheaper AI cost more — trình bày bốn dòng chi phí và bốn cửa kiểm soát trên màn hình trong 8 phút 0 giây, theo đúng thứ tự một ngân hàng thực sự phát hiện ra chúng: suy luận ở khâu phê duyệt, truy xuất ở khâu tích hợp, điều phối khi vận hành thực tế, và vận hành-bảo đảm-rà soát ở khâu kiểm toán.

Xem: youtu.be/lkfZWBZcUxI

Bản phân tích chuyên sâu đầy đủ — Inference Paradox theo cách đóng khung của chính Gartner, từng độ lớn kèm mẫu số mà nó được đo trên đó, bốn dòng chi phí cùng các cửa kiểm soát, phạm vi thực sự của đặc tả FOCUS, và câu hỏi về nhân sự đọc theo hồ sơ công khai — nằm trong bài The AI Unit-Economics Ledger: Why Cheaper AI Costs More.

Playbook năm trang miễn phí trong thư viện Frameworks biến nó thành một phiếu làm việc cho phiên hội đồng đầu tư sắp tới của anh/chị — bốn dòng chi phí, bốn cửa kiểm soát, và bài kiểm tra dự báo sáu câu hỏi mà anh/chị có thể đặt trước một phương án kinh doanh trước khi nó được phê duyệt.

Hãy trả lời và cho tôi biết phương án kinh doanh AI được phê duyệt gần nhất của anh/chị thực sự đã dự báo dòng nào trong bốn dòng. Không phải những dòng anh/chị có thể ước tính sau đó — mà những dòng đã nằm trong hồ sơ mà hội đồng ký duyệt. Ở phần lớn ngân hàng, đó là dòng thứ nhất, một mình. Tôi đọc mọi phản hồi. Hãy chuyển tiếp thư này cho người sắp phê duyệt một phương án kinh doanh AI dựa trên ước tính theo từng lần gọi.

Thư này được chuyển tiếp đến anh/chị? Đăng ký The AI Architect Letter — miễn phí, vào mỗi thứ Bảy.

Minh Tran · AI Business Architect · LinkedIn · Workshop & tư vấn: aibusinessarchitect.ai