Summary & Insights
Can we actually trust the leaderboards that claim one AI model is superior to another? The reality is that many public benchmarks have become “hackable,” creating a distorted picture of AI capability. When Meta released Llama 4, it performed exceptionally well on open-source benchmarks but struggled on private, held-out tests. This disconnect highlights a systemic failure in how the industry measures intelligence: as models get better, the tests used to measure them become obsolete almost instantly, leading to a world where “paying to win the benchmark” is more common than genuine architectural breakthrough.
To solve this, an independent layer of “rating agencies” for AI is emerging. The goal is to move away from narrow, one-to-one mappings—like identifying an image—toward complex, agentic evaluations. For example, instead of asking a model to answer a multiple-choice question, modern evaluations might task a model with building a full-stack web application from a natural language prompt. This shift requires a massive investment in infrastructure to support tests that may run for hours or days, shifting the focus from simple accuracy to a broader calculus of cost, latency, and reliability.
Beyond the labs, this measurement crisis is becoming an existential issue for the enterprise. Many companies are currently “misvaluing” intelligence, assigning arbitrary budgets (e.g., $100 per engineer) without knowing the actual ROI. In one extreme case, an experiment revealed that token spend could actually eclipse employee salary spend by ten times. By creating private, repository-specific benchmarks, companies can finally determine which model is actually the most “Pareto optimal” for their specific codebase, preventing them from overpaying for “frontier” models that may actually underperform on their unique tasks.
Surprising Insights
- The Benchmark Paradox: Models are frequently trained to excel at public benchmarks, meaning high scores on open leaderboards can actually be a signal that the model is “overfitting” to the test rather than becoming more generally intelligent.
- Token Spend vs. Salary: In high-intensity agentic workflows, the cost of tokens used by a single engineer can exceed their monthly salary by 10x, fundamentally changing the corporate cost structure.
- Recursive Self-Improvement (RSI): Measuring a model’s ability to train its successor is too expensive to do directly, so the industry is developing “proxies” to track the mechanisms that lead to self-improvement.
- The “Enron” Risk of AI: There is a dangerous incentive for evaluation companies to sell training data to the labs they are supposed to be auditing, creating a conflict of interest similar to the accounting scandals of the early 2000s.
Practical Takeaways
- Build Private Benchmarks: Do not rely on public leaderboards to choose a model for your business. Use your own GitHub repository or historical work data to create a “private ripple” benchmark to see which model actually performs best on your specific tasks.
- Audit Your Token Efficiency: Move beyond arbitrary per-user budgets. Analyze “traces” of how your team uses AI to identify where expensive frontier models are overkill and where cheaper, more efficient models (or specific agents) provide the same result.
- Shift to Agentic Evals: When testing AI for your company, move from “prompt-and-answer” tests to “workflow” tests. Measure the model’s ability to complete a multi-step project over several hours rather than its ability to answer a single question.
- Implement Intelligence Routing: Instead of forcing all tasks through one “best” model, use a routing system that recommends a specific model based on the complexity of the ticket or issue, titrating intelligence to the actual requirement of the task.
Liệu chúng ta có thực sự có thể tin tưởng vào các bảng xếp hạng khẳng định mô hình AI này vượt trội hơn mô hình AI kia? Thực tế là nhiều bộ tiêu chuẩn (benchmark) công khai đã trở nên “có thể hack được”, tạo ra một bức tranh sai lệch về năng lực của AI. Khi Meta phát hành Llama 4, nó đạt kết quả cực kỳ tốt trên các benchmark mã nguồn mở nhưng lại gặp khó khăn trong các bài kiểm tra nội bộ được bảo mật. Sự đứt gãy này làm nổi bật một thất bại mang tính hệ thống trong cách ngành công nghiệp đo lường trí thông minh: khi các mô hình càng cải tiến, các bài kiểm tra dùng để đo lường chúng trở nên lỗi thời gần như ngay lập tức, dẫn đến một thế giới nơi việc “chi tiền để thắng benchmark” trở nên phổ biến hơn là những đột phá thực sự về kiến trúc.
Để giải quyết vấn đề này, một lớp “cơ quan xếp hạng” độc lập cho AI đang dần hình thành. Mục tiêu là chuyển dịch từ những phép đối chiếu hẹp, một-đối-một — như việc nhận diện một hình ảnh — sang các đánh giá mang tính tác nhân (agentic evaluations) phức tạp hơn. Ví dụ, thay vì yêu cầu một mô hình trả lời câu hỏi trắc nghiệm, các đánh giá hiện đại có thể giao cho mô hình nhiệm vụ xây dựng một ứng dụng web full-stack từ một câu lệnh ngôn ngữ tự nhiên. Sự thay đổi này đòi hỏi một khoản đầu tư khổng lồ vào cơ sở hạ tầng để hỗ trợ các bài kiểm tra có thể chạy trong nhiều giờ hoặc nhiều ngày, chuyển trọng tâm từ độ chính xác đơn thuần sang một phép tính rộng hơn về chi phí, độ trễ và độ tin cậy.
Vượt ra khỏi các phòng thí nghiệm, cuộc khủng hoảng đo lường này đang trở thành một vấn đề sống còn đối với các doanh nghiệp. Nhiều công ty hiện đang “định giá sai” trí thông minh, áp đặt các mức ngân sách tùy tiện (ví dụ: 100 USD cho mỗi kỹ sư) mà không biết rõ tỷ suất hoàn vốn (ROI) thực tế. Trong một trường hợp cực đoan, một thử nghiệm đã tiết lộ rằng chi phí token thực tế có thể vượt xa chi phí lương nhân viên gấp mười lần. Bằng cách tạo ra các benchmark riêng biệt cho từng kho lưu trữ (repository), các công ty cuối cùng có thể xác định mô hình nào thực sự đạt “tối ưu Pareto” cho cơ sở mã (codebase) cụ thể của họ, ngăn chặn việc chi trả quá mức cho các mô hình “tiên phong” (frontier models) vốn có thể hoạt động kém hiệu quả hơn trong các tác vụ đặc thù của họ.
Những hiểu biết bất ngờ
- Nghịch lý Benchmark: Các mô hình thường được huấn luyện để đạt điểm cao trong các benchmark công khai, điều này có nghĩa là điểm số cao trên các bảng xếp hạng mở thực chất có thể là tín hiệu cho thấy mô hình đang bị “quá khớp” (overfitting) với bài kiểm tra thay vì trở nên thông minh hơn một cách tổng quát.
- Chi phí Token so với Lương: Trong các quy trình làm việc tác nhân cường độ cao, chi phí token mà một kỹ sư sử dụng có thể vượt quá lương tháng của họ gấp 10 lần, làm thay đổi căn bản cấu trúc chi phí của doanh nghiệp.
- Tự cải thiện đệ quy (RSI): Việc đo lường khả năng của một mô hình trong việc huấn luyện phiên bản kế nhiệm của nó là quá tốn kém nếu thực hiện trực tiếp, vì vậy ngành công nghiệp đang phát triển các “biến số đại diện” (proxies) để theo dõi các cơ chế dẫn đến sự tự cải thiện.
- Rủi ro “Enron” của AI: Đang tồn tại một động lực nguy hiểm khiến các công ty đánh giá bán dữ liệu huấn luyện cho chính các phòng thí nghiệm mà họ có nhiệm vụ kiểm định, tạo ra xung đột lợi ích tương tự như các bê bối kế toán đầu những năm 2000.
Bài học thực tiễn
- Xây dựng Benchmark riêng: Đừng dựa vào các bảng xếp hạng công khai để chọn mô hình cho doanh nghiệp của bạn. Hãy sử dụng kho GitHub hoặc dữ liệu công việc thực tế của chính bạn để tạo một benchmark “ripple” riêng nhằm xem mô hình nào thực sự hoạt động tốt nhất cho các tác vụ cụ thể của bạn.
- Kiểm tra hiệu quả Token: Hãy bỏ qua các mức ngân sách tùy tiện cho mỗi người dùng. Hãy phân tích “vết” (traces) cách nhóm của bạn sử dụng AI để xác định nơi các mô hình tiên phong đắt đỏ là dư thừa và nơi các mô hình rẻ hơn, hiệu quả hơn (hoặc các tác nhân chuyên biệt) mang lại kết quả tương đương.
- Chuyển sang đánh giá tác nhân (Agentic Evals): Khi thử nghiệm AI cho công ty, hãy chuyển từ các bài kiểm tra “hỏi-đáp” sang các bài kiểm tra “quy trình công việc”. Đo lường khả năng hoàn thành một dự án nhiều bước trong nhiều giờ thay vì khả năng trả lời một câu hỏi đơn lẻ.
- Triển khai điều phối trí thông minh (Intelligence Routing): Thay vì ép buộc mọi tác vụ đi qua một mô hình “tốt nhất”, hãy sử dụng hệ thống điều phối để đề xuất mô hình cụ thể dựa trên độ phức tạp của ticket hoặc vấn đề, phân bổ mức độ thông minh vừa đủ với yêu cầu thực tế của tác vụ.
我們真的能信任那些聲稱某個 AI 模型優於另一個模型的排行榜嗎？現實情況是，許多公開基準測試（benchmarks）已變得可以被「破解」，從而營造出對 AI 能力的扭曲印象。當 Meta 發佈 Llama 4 時，它在開源基準測試中表現極其出色，但在私有的保留測試中卻顯得吃力。這種脫節凸顯了業界衡量智能方式的系統性失效：隨著模型的不斷進化，用於衡量它們的測試幾乎立即過時，導致「花錢贏得基準測試」比真正的架構突破更為普遍。
為了le解決這個問題，一個獨立的 AI「評級機構」層級正在興起。其目標是從狹隘的一對一映射（例如識別一張圖像）轉向複雜的代理式（agentic）評估。例如，現代評估不再是要求模型回答一道選擇題，而是要求模型根據自然語言提示構建一個全棧 Web 應用程式。這種轉型需要對基礎設施進行大規模投資，以支持可能運行數小時或數天的測試，將重點從單純的準確率轉移到涵蓋成本、延遲和可靠性的更廣泛計算中。
在實驗室之外，這種衡量危機正成為企業生存的關鍵問題。許多公司目前在「誤估」智能的價值，在不了解實際投資回報率（ROI）的情況下，隨意分配預算（例如每位工程師 100 美元）。在一個極端案例中，實驗顯示 Token 的支出實際上竟然比員工的薪資支出高出十倍。通過創建私有的、針對特定代碼庫的基準測試，公司終於可以確定哪個模型對其特定代碼庫而言是最「帕累托最適」（Pareto optimal）的，從而避免為那些在特定任務中表現不佳的「前沿」模型支付過高費用。
驚人洞察
- 基準測試悖論： 模型經常被訓練以在公開基準測試中表現優異，這意味著公開排行榜上的高分實際上可能是一個信號，表明模型是對測試進行了「過擬合」（overfitting），而非變得更加通用智能。
- Token 支出 vs. 薪資： 在高強度的代理式工作流中，單個工程師所消耗的 Token 成本可能會超過其月薪的 10 倍，從根本上改變了企業的成本結構。
- 遞歸自我提升 (RSI)： 直接衡量模型訓練其後繼者的能力成本過高，因此業界正在開發「代理指標」（proxies）來追蹤導致自我提升的機制。
- AI 的「安然」風險： 評估公司存在一種危險的誘因，即將訓練數據出售給它們本應審計的實驗室，這造成了類似於 2000 年代初期會計醜聞的利益衝突。
實踐建議
- 構建私有基準測試： 不要依賴公開排行榜來為您的業務選擇模型。利用您自己的 GitHub 倉庫或歷史工作數據創建「私有漣漪」（private ripple）基準測試，以查看哪個模型在您的特定任務中表現最佳。
- 審計 Token 效率： 不要僅僅依賴隨意的每用戶預算。分析團隊使用 AI 的「追蹤路徑」（traces），以識別哪些地方使用昂貴的前沿模型是大材小用，而哪些地方使用更便宜、更高效的模型（或特定代理）能達到同樣的效果。
- 轉向代理式評估： 在為公司測試 AI 時，從「提示-回答」測試轉向「工作流」測試。衡量模型在數小時內完成多步驟項目的能力，而非回答單一問題的能力。
- 實施智能路由： 不要強迫所有任務都通過一個「最強」模型，而是使用路由系統根據工單或問題的複雜程度推薦特定模型，將智能程度精準滴定（titrating）至任務的實際需求。
Peut-on réellement faire confiance aux classements qui affirment qu’un modèle d’IA est supérieur à un autre ? La réalité est que de nombreux benchmarks publics sont devenus « hackables », créant ainsi une image faussée des capacités de l’IA. Lorsque Meta a publié Llama 4, celui-ci a obtenu des résultats exceptionnels sur les benchmarks open-source, mais a peiné lors de tests privés et isolés. Ce décalage met en lumière une défaillance systémique dans la manière dont l’industrie mesure l’intelligence : à mesure que les modèles s’améliorent, les tests utilisés pour les évaluer deviennent obsolètes presque instantanément, menant à un monde où « payer pour gagner le benchmark » est plus courant que les véritables percées architecturales.
Pour remédier à cela, une couche indépendante d’« agences de notation » pour l’IA est en train d’émerger. L’objectif est de s’éloigner des correspondances étroites et unidimensionnelles — comme l’identification d’une image — pour s’orienter vers des évaluations agentiques complexes. Par exemple, au lieu de demander à un modèle de répondre à un questionnaire à choix multiples, les évaluations modernes pourraient charger un modèle de construire une application web full-stack à partir d’une invite en langage naturel. Ce changement nécessite un investissement massif en infrastructure pour supporter des tests pouvant s’étendre sur plusieurs heures ou jours, déplaçant ainsi l’attention d’une simple mesure de l’exactitude vers un calcul plus large incluant le coût, la latence et la fiabilité.
Au-delà des laboratoires, cette crise de la mesure devient un problème existentiel pour les entreprises. De nombreuses sociétés « sous-évaluent » ou « surévaluent » actuellement l’intelligence, allouant des budgets arbitraires (par exemple, 100 $ par ingénieur) sans connaître le ROI réel. Dans un cas extrême, une expérience a révélé que les dépenses en tokens pouvaient en réalité dépasser les dépenses salariales des employés par un facteur de dix. En créant des benchmarks privés et spécifiques à leurs propres dépôts de code, les entreprises peuvent enfin déterminer quel modèle est réellement le plus « optimal au sens de Pareto » pour leur base de code spécifique, leur évitant ainsi de payer trop cher pour des modèles de pointe (« frontier models ») qui pourraient en réalité être moins performants sur leurs tâches uniques.
Perspectives Surprenantes
- Le paradoxe du benchmark : Les modèles sont fréquemment entraînés pour exceller dans les benchmarks publics, ce qui signifie que des scores élevés dans les classements ouverts peuvent en réalité signaler que le modèle fait du « surapprentissage » (overfitting) sur le test plutôt que de devenir globalement plus intelligent.
- Dépenses de tokens vs Salaires : Dans les flux de travail agentiques à haute intensité, le coût des tokens utilisés par un seul ingénieur peut dépasser son salaire mensuel par 10, modifiant fondamentalement la structure des coûts de l’entreprise.
- L’auto-amélioration récursive (RSI) : Mesurer la capacité d’un modèle à entraîner son successeur est trop coûteux pour être effectué directement ; l’industrie développe donc des « proxys » pour suivre les mécanismes qui mènent à l’auto-amélioration.
- Le risque « Enron » de l’IA : Il existe une incitation dangereuse pour les sociétés d’évaluation à vendre des données d’entraînement aux laboratoires qu’elles sont censées auditer, créant un conflit d’intérêts similaire aux scandales comptables du début des années 2000.
Conseils Pratiques
- Créez vos propres benchmarks privés : Ne vous fiez pas aux classements publics pour choisir un modèle pour votre entreprise. Utilisez votre propre dépôt GitHub ou vos données de travail historiques pour créer un benchmark interne afin de voir quel modèle est réellement le plus performant sur vos tâches spécifiques.
- Auditez l’efficacité de vos tokens : Allez au-delà des budgets arbitraires par utilisateur. Analysez les « traces » d’utilisation de l’IA par votre équipe pour identifier où les modèles de pointe coûteux sont superflus et où des modèles plus simples et efficaces (ou des agents spécifiques) fournissent le même résultat.
- Passez aux évaluations agentiques : Lorsque vous testez l’IA pour votre entreprise, passez des tests de type « question-réponse » à des tests de « flux de travail ». Mesurez la capacité du modèle à mener à bien un projet multi-étapes sur plusieurs heures plutôt que sa capacité à répondre à une seule question.
- Implémentez le routage de l’intelligence : Au lieu de forcer toutes les tâches à passer par un seul modèle « optimal », utilisez un système de routage qui recommande un modèle spécifique en fonction de la complexité du ticket ou du problème, ajustant ainsi le niveau d’intelligence aux exigences réelles de la tâche.
Können wir den Bestenlisten, die behaupten, ein KI-Modell sei einem anderen überlegen, tatsächlich vertrauen? Die Realität ist, dass viele öffentliche Benchmarks „hackbar“ geworden sind, was ein verzerrtes Bild der KI-Fähigkeiten vermittelt. Als Meta Llama 4 veröffentlichte, schnitt es bei Open-Source-Benchmarks außergewöhnlich gut ab, hatte jedoch bei privaten, zurückgehaltenen Tests Schwierigkeiten. Diese Diskrepanz verdeutlicht ein systemisches Versagen in der Art und Weise, wie die Branche Intelligenz misst: Je besser die Modelle werden, desto schneller veralten die Tests zu ihrer Messung. Dies führt zu einer Welt, in der „Bezahlen, um den Benchmark zu gewinnen“ häufiger vorkommt als echte architektonische Durchbrüche.
Um dies zu lösen, entsteht eine unabhängige Ebene von „Ratingagenturen“ für KI. Das Ziel ist es, sich von engen Eins-zu-eins-Zuordnungen – wie dem Identifizieren eines Bildes – hin zu komplexen, agentischen Evaluierungen zu bewegen. Anstatt ein Modell beispielsweise zu bitten, eine Multiple-Choice-Frage zu beantworten, könnten moderne Evaluierungen das Modell damit beauftragen, eine Full-Stack-Webanwendung aus einem Prompt in natürlicher Sprache zu erstellen. Dieser Wandel erfordert massive Investitionen in die Infrastruktur, um Tests zu unterstützen, die Stunden oder Tage dauern können, wodurch sich der Fokus von einfacher Genauigkeit auf eine breitere Kalkulation von Kosten, Latenz und Zuverlässigkeit verschiebt.
Abseits der Labore wird diese Messkrise zu einem existenziellen Problem für Unternehmen. Viele Firmen „bewerten“ Intelligenz derzeit falsch und weisen willkürliche Budgets zu (z. B. 100 $ pro Ingenieur), ohne den tatsächlichen ROI zu kennen. In einem extremen Fall zeigte ein Experiment, dass die Token-Ausgaben die Gehaltskosten der Mitarbeiter tatsächlich um das Zehnfache übersteigen konnten. Durch die Erstellung privater, repository-spezifischer Benchmarks können Unternehmen endlich bestimmen, welches Modell für ihren spezifischen Codebase tatsächlich am „Pareto-optimalsten“ ist. So wird verhindert, dass sie zu viel für „Frontier-Modelle“ bezahlen, die bei ihren spezifischen Aufgaben möglicherweise schlechter abschneiden.
Überraschende Erkenntnisse
- Das Benchmark-Paradoxon: Modelle werden häufig darauf trainiert, bei öffentlichen Benchmarks zu glänzen. Das bedeutet, dass hohe Werte in offenen Bestenlisten tatsächlich ein Signal dafür sein können, dass das Modell auf den Test „überoptimiert“ (Overfitting) wurde, anstatt generell intelligenter zu werden.
- Token-Ausgaben vs. Gehalt: In hochintensiven agentischen Workflows können die Kosten für Token, die ein einzelner Ingenieur verbraucht, sein Monatsgehalt um das 10-fache übersteigen, was die Kostenstruktur des Unternehmens grundlegend verändert.
- Rekursive Selbstverbesserung (RSI): Die Fähigkeit eines Modells, seinen Nachfolger zu trainieren, ist zu teuer, um sie direkt zu messen. Daher entwickelt die Branche „Proxies“, um die Mechanismen zu verfolgen, die zur Selbstverbesserung führen.
- Das „Enron“-Risiko der KI: Es gibt einen gefährlichen Anreiz für Evaluierungsunternehmen, Trainingsdaten an die Labore zu verkaufen, die sie eigentlich prüfen sollen. Dies schafft einen Interessenkonflikt, ähnlich wie bei den Bilanzskandalen Anfang der 2000er Jahre.
Praktische Empfehlungen
- Private Benchmarks aufbauen: Verlassen Sie sich nicht auf öffentliche Bestenlisten, um ein Modell für Ihr Unternehmen auszuwählen. Nutzen Sie Ihr eigenes GitHub-Repository oder historische Arbeitsdaten, um einen „privaten Ripple“-Benchmark zu erstellen und zu sehen, welches Modell bei Ihren spezifischen Aufgaben tatsächlich am besten abschneidet.
- Token-Effizienz prüfen: Gehen Sie über willkürliche Budgets pro Benutzer hinaus. Analysieren Sie die „Traces“ (Spuren), wie Ihr Team KI nutzt, um zu identifizieren, wo teure Frontier-Modelle überdimensioniert sind und wo günstigere, effizientere Modelle (oder spezifische Agenten) das gleiche Ergebnis liefern.
- Wechsel zu agentischen Evaluierungen: Wenn Sie KI für Ihr Unternehmen testen, wechseln Sie von „Prompt-and-Answer“-Tests zu „Workflow“-Tests. Messen Sie die Fähigkeit des Modells, ein mehrstufiges Projekt über mehrere Stunden hinweg abzuschließen, anstatt seine Fähigkeit, eine einzelne Frage zu beantworten.
- Intelligence Routing implementieren: Anstatt alle Aufgaben durch ein einziges „bestes“ Modell zu schleusen, nutzen Sie ein Routing-System, das basierend auf der Komplexität des Tickets oder Problems ein spezifisches Modell empfiehlt und so die Intelligenz präzise an die tatsächlichen Anforderungen der Aufgabe anpasst.
a16z’s Erik Torenberg, Ben Horowitz, and Jennifer Li sit down with Vals founder and CEO Rayan Krishnan to discuss one of AI’s increasingly difficult problems: how do you actually measure whether a model is getting better?
As public benchmarks saturate and models get better at optimizing for the tests themselves, Rayan makes the case for independent, continuously evolving evaluations. They unpack why self-reported model scores can be misleading, how VALS evaluates models in the hours before a release, and why measuring increasingly agentic systems means testing work that can unfold over hours, days, or even weeks.
They also explore why evals are becoming critical for enterprises trying to understand the ROI of AI, what happens if token spend begins to rival employee salaries, and how evaluations could eventually provide a shared language for everything from model routing and recursive self-improvement to AI policy and international coordination.
Resources:
Follow Rayan Krishnan on X: https://x.com/RayanKrishnan
Follow Ben Horowitz on X: https://x.com/bhorowitz
Follow Jennifer Li on X: https://x.com/JenniferHli
Stay Updated:
Find a16z on YouTube: YouTube
Find a16z on X
Find a16z on LinkedIn
Listen to the a16z Show on Spotify
Listen to the a16z Show on Apple Podcasts
Follow our host: https://twitter.com/eriktorenberg
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.
Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.
Leave a Reply
You must be logged in to post a comment.