a16z Podcast
Summary & Insights
Why is it that we can ask an AI to write a symphony or code a complex app, but the simple act of reading a PDF still causes frontier models to “silently drop” critical information? This paradox is the central focus for Reducto’s Adit Abraham, who argues that documents are not just files, but the primary artifacts of human white-collar work. In a conversation with a16z, Abraham explains that while users expect a seamless experience when uploading a document to a chatbot, the underlying infrastructure—traditionally reliant on rigid OCR templates—is woefully inadequate for the complexity of real-world data, such as nested tables, multi-page spreadsheets, and dense blueprints.
Abraham details the evolution of document processing, moving from the “epoch” of file printing and template-based OCR to the current era of Vision Language Models (VLMs). He notes that traditional OCR failed because it lacked reasoning; it could see characters but didn’t understand that a table spanning two pages required a specialized pipeline to merge. To solve this, Abraham and his team developed R1, a specialized foundation model. By moving away from off-the-shelf models and focusing on a tight RL (Reinforcement Learning) loop and a vast array of “messy” production data, Reducto has achieved a level of determinism and traceability that generic frontier models often lack.
A critical point of discussion between a16z and Abraham is the distinction between precision and recall. Abraham points out a dangerous trend: frontier models often have high precision (the information they extract is usually correct) but poor recall (they simply forget to extract certain parts of the document). In high-stakes industries like healthcare or legal, a “silent drop” of a single checkbox or a misread word—such as “chest pain” being read as “chep pain”—can lead to rejected insurance claims or incorrect medical decisions. To combat this, Abraham introduced “Deep Extract,” a harness that allows agents to review and correct their own work, which he claims can actually outperform human annotators who often grow lazy or overlook rows of data.
Looking toward the future, Abraham envisions a world where AI doesn’t just read documents but actively edits and acts upon them. He highlights the current difficulty agents have with the Microsoft Office suite and announces Reducto’s move into document editing and localization. When a16z questions why the “big labs” aren’t simply solving this, Abraham argues that the labs are in an arms race for general super-intelligence, whereas Reducto is focused on the “tangential” but deep infrastructure of document rendering. He asserts that being a specialist allows them to be orders of magnitude more aggressive on pricing—targeting a cost of one cent per page—while maintaining the “Astra-level” quality required for enterprise scale.
Surprising Insights
- The Recall Gap: Frontier models often fail not by hallucinating, but by “silently dropping” information, making them appear accurate on a surface level while missing critical data points.
- AI vs. Human Ground Truth: Abraham found that agents using a self-correction harness often outperformed the “human ground truth” datasets because humans frequently miss rows or skip data when annotating.
- The “Inches” Metric: In healthcare, document complexity is sometimes measured by the physical height of the paper packets (inches) rather than the number of pages.
- Fragile Benchmarks: Some industry-standard benchmarks are “marketing tools” that fail spectacularly when a document is simply tilted by one degree or slightly blurred.
- The Appeals Paradox: In healthcare, approximately 80% of original claim denials are overturned on appeal, highlighting a massive failure in the initial document-driven decision process.
- The “Vibe Coding” Risk: Unlike software development where a bug can be rolled back via a PR, “vibe coding” a document pipeline in healthcare can have permanent, real-world consequences for patients.
Practical Takeaways
- Prioritize Recall over Precision: When evaluating document AI, don’t just ask “Is the answer correct?” Ask “Did the model miss any relevant information entirely?”
- Implement a Review Loop: Rather than a “one-shot” model call, build a pipeline where a secondary agent reviews the extraction against the original source to catch silent omissions.
- Test with “Noisy” Data: To truly vet a provider, test your documents with slight rotations, Gaussian blur, or poor scans to see if the accuracy collapses.
- Avoid Generic Benchmarks: Use “LLM-as-a-judge” with a custom rubric tailored to your specific data rather than relying on public, generic leaderboards.
- Decompose Complex Documents: For long or intricate files, break the document into parts and use specialized pipelines for different elements (e.g., one for charts, one for tables) before synthesizing the final answer.
- Focus on Traceability: Ensure your AI pipeline provides citations down to the individual word or bounding box so humans can verify high-stakes decisions instantly.
Tại sao chúng ta có thể yêu cầu AI viết một bản giao hưởng hay lập trình một ứng dụng phức tạp, nhưng một hành động đơn giản như đọc tệp PDF vẫn khiến các mô hình tiên phong (frontier models) “âm thầm bỏ sót” những thông tin quan trọng? Nghịch lý này là trọng tâm trong chia sẻ của Adit Abraham từ Reducto, người lập luận rằng tài liệu không chỉ là những tệp tin, mà là những tạo tác chính trong công việc văn phòng của con người. Trong cuộc trò chuyện với a16z, Abraham giải thích rằng trong khi người dùng mong đợi một trải nghiệm mượt mà khi tải tài liệu lên chatbot, thì cơ sở hạ tầng bên dưới—vốn truyền thống dựa trên các mẫu OCR cứng nhắc—lại hoàn toàn không đủ khả năng đáp ứng sự phức tạp của dữ liệu thực tế, chẳng hạn như các bảng lồng nhau, bảng tính nhiều trang và các bản vẽ kỹ thuật dày đặc.
Abraham chi tiết hóa sự phát triển của quá trình xử lý tài liệu, chuyển từ “kỷ nguyên” in ấn tệp và OCR dựa trên mẫu sang thời đại hiện nay của các Mô hình Ngôn ngữ Thị giác (VLMs). Ông lưu ý rằng OCR truyền thống thất bại vì thiếu khả năng suy luận; nó có thể nhìn thấy các ký tự nhưng không hiểu rằng một bảng kéo dài qua hai trang cần một quy trình xử lý chuyên biệt để hợp nhất. Để giải quyết vấn đề này, Abraham và đội ngũ của ông đã phát triển R1, một mô hình nền tảng chuyên dụng. Bằng cách từ bỏ các mô hình có sẵn và tập trung vào vòng lặp RL (Học tăng cường) chặt chẽ cùng một lượng lớn dữ liệu sản xuất “lộn xộn”, Reducto đã đạt được mức độ xác định (determinism) và khả năng truy xuất nguồn gốc mà các mô hình tiên phong chung thường thiếu.
Một điểm thảo luận quan trọng giữa a16z và Abraham là sự phân biệt giữa độ chính xác (precision) và độ triệu hồi/độ bao phủ (recall). Abraham chỉ ra một xu hướng nguy hiểm: các mô hình tiên phong thường có độ chính xác cao (thông tin chúng trích xuất thường là đúng) nhưng độ triệu hồi kém (chúng đơn giản là quên trích xuất một số phần của tài liệu). Trong các ngành rủi ro cao như y tế hoặc pháp lý, việc “âm thầm bỏ sót” một ô đánh dấu duy nhất hoặc đọc sai một từ—ví dụ như “chest pain” (đau ngực) bị đọc thành “chep pain”—có thể dẫn đến việc bị từ chối yêu cầu bảo hiểm hoặc đưa ra các quyết định y tế sai lầm. Để khắc phục điều này, Abraham đã giới thiệu “Deep Extract”, một cơ chế cho phép các agent tự xem xét và sửa chữa công việc của chính mình, điều mà ông khẳng định có thể vượt qua cả những người dán nhãn dữ liệu (human annotators) vốn thường trở nên cẩu thả hoặc bỏ sót các hàng dữ liệu.
Hướng tới tương lai, Abraham hình dung về một thế giới nơi AI không chỉ đọc tài liệu mà còn chủ động chỉnh sửa và thực hiện hành động trên đó. Ông nhấn mạnh khó khăn hiện tại mà các agent gặp phải với bộ ứng dụng Microsoft Office và thông báo bước tiến của Reducto vào mảng chỉnh sửa và bản địa hóa tài liệu. Khi a16z đặt câu hỏi tại sao các “phòng thí nghiệm lớn” không đơn giản là giải quyết vấn đề này, Abraham lập luận rằng các phòng thí nghiệm đó đang trong cuộc chạy đua vũ trang cho siêu trí tuệ tổng quát, trong khi Reducto tập trung vào cơ sở hạ tầng “phụ trợ” nhưng chuyên sâu về kết xuất tài liệu (document rendering). Ông khẳng định rằng việc trở thành một chuyên gia cho phép họ quyết liệt hơn nhiều về giá cả—hướng tới mức chi phí 1 cent mỗi trang—trong khi vẫn duy trì chất lượng “cấp độ Astra” cần thiết cho quy mô doanh nghiệp.
Những hiểu biết bất ngờ
- Khoảng cách về Độ triệu hồi (The Recall Gap): Các mô hình tiên phong thường thất bại không phải do ảo giác (hallucinating), mà do “âm thầm bỏ sót” thông tin, khiến chúng có vẻ chính xác ở bề mặt nhưng lại thiếu các điểm dữ liệu quan trọng.
- AI và Sự thật từ Con người (AI vs. Human Ground Truth): Abraham nhận thấy các agent sử dụng cơ chế tự sửa lỗi thường vượt qua các tập dữ liệu “sự thật từ con người” vì con người thường xuyên bỏ sót hàng hoặc bỏ qua dữ liệu khi dán nhãn.
- Số đo bằng “Inch”: Trong y tế, độ phức tạp của tài liệu đôi khi được đo bằng chiều cao vật lý của xấp giấy (inch) thay vì số lượng trang.
- Các Benchmark mong manh: Một số benchmark tiêu chuẩn ngành thực chất là “công cụ marketing”, chúng thất bại thảm hại khi một tài liệu chỉ cần bị nghiêng một độ hoặc hơi mờ.
- Nghịch lý Khiếu nại: Trong y tế, khoảng 80% các yêu cầu bảo hiểm bị từ chối ban đầu đã được đảo ngược sau khi khiếu nại, cho thấy một sự thất bại nghiêm trọng trong quy trình ra quyết định dựa trên tài liệu ban đầu.
- Rủi ro từ “Vibe Coding”: Khác với phát triển phần mềm nơi một lỗi (bug) có thể được hoàn tác thông qua PR, việc lập trình quy trình tài liệu theo kiểu “vibe coding” (lập trình dựa trên cảm tính/phỏng đoán) trong y tế có thể gây ra những hậu quả thực tế vĩnh viễn cho bệnh nhân.
Bài học thực tiễn
- Ưu tiên Độ triệu hồi hơn Độ chính xác: Khi đánh giá AI xử lý tài liệu, đừng chỉ hỏi “Câu trả lời có đúng không?” mà hãy hỏi “Mô hình có bỏ sót hoàn toàn bất kỳ thông tin liên quan nào không?”
- Triển khai Vòng lặp Xem xét: Thay vì chỉ gọi mô hình “một lần duy nhất” (one-shot), hãy xây dựng một quy trình trong đó một agent thứ hai xem xét lại kết quả trích xuất so với nguồn gốc để phát hiện những thiếu sót âm thầm.
- Kiểm thử với Dữ liệu “Nhiễu”: Để kiểm tra thực sự một nhà cung cấp, hãy thử nghiệm tài liệu của bạn với các góc xoay nhẹ, làm mờ Gaussian hoặc bản quét chất lượng kém để xem độ chính xác có bị sụp đổ hay không.
- Tránh các Benchmark chung: Sử dụng phương pháp “LLM-as-a-judge” với một bộ tiêu chí tùy chỉnh phù hợp với dữ liệu cụ thể của bạn thay vì dựa vào các bảng xếp hạng công khai, chung chung.
- Chia nhỏ Tài liệu Phức tạp: Đối với các tệp dài hoặc phức tạp, hãy chia tài liệu thành các phần và sử dụng các quy trình chuyên biệt cho các yếu tố khác nhau (ví dụ: một quy trình cho biểu đồ, một cho bảng) trước khi tổng hợp câu trả lời cuối cùng.
- Tập trung vào Khả năng Truy xuất: Đảm bảo quy trình AI của bạn cung cấp trích dẫn chi tiết đến từng từ hoặc khung bao (bounding box) để con người có thể xác minh các quyết định rủi ro cao ngay lập tức.
為什麼我們能要求 AI 寫一部交響曲或編寫一個複雜的應用程式，但僅僅是閱讀 PDF 這樣簡單的行為，仍會導致前沿模型（frontier models）「悄悄遺漏」關鍵資訊？這個悖論正是 Reducto 的 Adit Abraham 所關注的核心。他認為文件不僅僅是檔案，更是人類白領工作的主要產出物。在與 a16z 的對談中，Abraham 解釋道，雖然使用者期望在將文件上傳至聊天機器人時能獲得無縫體驗，但底層基礎設施（傳統上依賴於僵硬的 OCR 模板）在面對現實世界的複雜數據（如嵌套表格、跨頁試算表和密集的藍圖）時，顯得力不從心。
Abraham 詳細闡述了文件處理的演進，從文件列印與基於模板的 OCR 「時代」，邁向目前的視覺語言模型（VLMs）時代。他指出，傳統 OCR 之所以失敗是因為缺乏推理能力；它能識別字符，但並不理解跨越兩頁的表格需要專門的流程來進行合併。為了le解決這個問題，Abraham 及其團隊開發了 R1，一個專門的基礎模型。透過捨棄現成的通用模型，專注於緊密的強化學習（RL）循環以及海量的「雜亂」生產數據，Reducto 實現了通用前沿模型往往缺乏的確定性（determinism）與可追溯性。
a16z 與 Abraham 討論的一個關鍵點是「精確率」（precision）與「召回率」（recall）之間的區別。Abraham 指出一個危險的趨勢：前沿模型通常具有高精確率（提取的資訊通常是正確的），但召回率卻很低（它們直接遺漏了文件的某些部分）。在醫療或法律等高風險行業中，單個核取方塊的「悄悄遺漏」或一個單詞的誤讀——例如將「胸痛」（chest pain）讀成「chep pain」——就可能導致保險理賠被拒或錯誤的醫療決策。為了應對這一點，Abraham 引入了「Deep Extract」，這是一個允許 Agent 審核並修正自身工作成果的框架；他聲稱這實際上能超越人類標記員，因為人類在標記時經常會變得懶散或忽略部分數據行。
展望未來，Abraham 設想了一個 AI 不僅能閱讀文件，還能主動編輯並根據文件採取行動的世界。他強調了目前 Agent 在處理 Microsoft Office 套件時的困難，並宣布 Reducto 將進軍文件編輯與在地化領域。當 a16z 詢問為什麼「大實驗室」（big labs）沒有直接解決這個問題時，Abraham 認為那些實驗室正處於追求通用超級智能（AGI）的軍備競賽中，而 Reducto 則專注於雖然「邊緣」但深層的文件渲染基礎設施。他主張，身為專才使他們能在定價上激進許多——目標是每頁一美分——同時維持企業級規模所需的「Astra 級」品質。
驚人洞察
- 召回率缺口： 前沿模型的失敗往往不是因為產生幻覺（hallucinating），而是因為「悄悄遺漏」資訊，這使得它們在表面上看起來很準確，卻遺失了關鍵數據點。
- AI vs. 人類基準真相： Abraham 發現，使用自我修正框架的 Agent 表現往往優於「人類基準真相」（human ground truth）數據集，因為人類在標記時經常遺漏行或跳過數據。
- 「英寸」衡量標準： 在醫療領域，文件的複雜度有時是以紙本資料夾的物理高度（英寸）而非頁數來衡量的。
- 脆弱的基準測試： 一些業界標準的基準測試僅僅是「行銷工具」，當文件僅僅傾斜一度或輕微模糊時，表現就會慘不忍睹。
- 申訴悖論： 在醫療領域，約 80% 的初始理賠拒絕在申訴後被推翻，這凸顯了最初由文件驅動的決策過程存在巨大缺陷。
- 「氛圍編碼」（Vibe Coding）風險： 不同於軟體開發中 bug 可以透過 PR 回滾，在醫療文件的流程中使用「氛圍編碼」（指缺乏嚴謹邏輯、僅憑感覺開發）可能會對患者造成永久性的現實後果。
實務建議
- 召回率優先於精確率： 在評估文件 AI 時，不要只問「答案正確嗎？」，而要問「模型是否完全遺漏了任何相關資訊？」
- 實施審核循環： 不要使用「一次性」的模型調用，而應建立一個 pipeline，由第二個 Agent 對照原始來源審核提取結果，以捕捉悄悄遺漏的資訊。
- 使用「雜訊」數據測試： 要真正驗證供應商，請對文件進行輕微旋轉、高斯模糊或低品質掃描，觀察準確度是否崩潰。
- 避免通用基準測試： 使用「LLM 作為評審」（LLM-as-a-judge），並根據您的特定數據制定自定義評分標準，而非依賴公開的通用排行榜。
- 分解複雜文件： 對於冗長或複雜的檔案，將其分解為多個部分，並針對不同元素（例如：圖表用一套流程，表格用另一套）使用專門的 pipeline，最後再綜合得出最終答案。
- 專注於可追溯性： 確保您的 AI pipeline 能提供精確到單個單詞或邊界框（bounding box）的引用，以便人類能立即驗證高風險決策。
Pourquoi pouvons-nous demander à une IA d’écrire une symphonie ou de coder une application complexe, alors que le simple fait de lire un PDF amène encore les modèles de pointe à « ignorer silencieusement » des informations critiques ? Ce paradoxe est au cœur des préoccupations d’Adit Abraham, de Reducto, qui soutient que les documents ne sont pas de simples fichiers, mais les artefacts primordiaux du travail administratif. Lors d’un entretien avec a16z, Abraham explique que si les utilisateurs s’attendent à une expérience fluide lors du téléchargement d’un document dans un chatbot, l’infrastructure sous-jacente — traditionnellement dépendante de modèles d’OCR rigides — est déplorablement inadéquate face à la complexité des données réelles, telles que les tableaux imbriqués, les feuilles de calcul multipages et les plans denses.
Abraham détaille l’évolution du traitement des documents, passant de l’« époque » de l’impression de fichiers et de l’OCR basé sur des modèles à l’ère actuelle des modèles de langage visuels (VLM). Il note que l’OCR traditionnel a échoué car il manquait de capacité de raisonnement ; il pouvait voir des caractères, mais ne comprenait pas qu’un tableau s’étendant sur deux pages nécessitait un pipeline spécialisé pour être fusionné. Pour y remédier, Abraham et son équipe ont développé R1, un modèle de fondation spécialisé. En s’éloignant des modèles génériques pour se concentrer sur une boucle étroite d’apprentissage par renforcement (RL) et un vaste ensemble de données de production « désordonnées », Reducto a atteint un niveau de déterminisme et de traçabilité qui manque souvent aux modèles de pointe généralistes.
Un point crucial de la discussion entre a16z et Abraham est la distinction entre précision et rappel. Abraham souligne une tendance dangereuse : les modèles de pointe ont souvent une précision élevée (les informations qu’ils extraient sont généralement correctes) mais un faible rappel (ils oublient tout simplement d’extraire certaines parties du document). Dans des secteurs à enjeux élevés comme la santé ou le juridique, l’« omission silencieuse » d’une seule case à cocher ou un mot mal lu — comme « douleur thoracique » lu comme « douleur chest » — peut entraîner le rejet de demandes d’assurance ou des décisions médicales erronées. Pour combattre cela, Abraham a introduit « Deep Extract », un dispositif permettant aux agents de réviser et de corriger leur propre travail, lequel, selon lui, peut surpasser les annotateurs humains qui ont tendance à devenir négligents ou à omettre des lignes de données.
Se tournant vers l’avenir, Abraham imagine un monde où l’IA ne se contente pas de lire les documents, mais les édite et agit activement sur eux. Il souligne les difficultés actuelles des agents avec la suite Microsoft Office et annonce l’extension de Reducto vers l’édition et la localisation de documents. Lorsque a16z demande pourquoi les « grands laboratoires » ne résolvent pas simplement ce problème, Abraham soutient que ces laboratoires sont engagés dans une course aux armements pour une super-intelligence générale, tandis que Reducto se concentre sur l’infrastructure « tangentielle » mais profonde du rendu de documents. Il affirme que leur spécialisation leur permet d’être beaucoup plus agressifs sur les prix — visant un coût d’un centime par page — tout en maintenant la qualité de niveau « Astra » requise pour l’échelle entreprise.
Insights surprenants
- L’écart de rappel : Les modèles de pointe échouent souvent non pas en hallucinant, mais en « ignorant silencieusement » des informations, ce qui les fait paraître précis en surface tout en manquant des données critiques.
- IA vs Vérité terrain humaine : Abraham a constaté que les agents utilisant un dispositif d’auto-correction surpassaient souvent les ensembles de données de « vérité terrain » humaine, car les humains omettent fréquemment des lignes ou sautent des données lors de l’annotation.
- La métrique des « pouces » : Dans le secteur de la santé, la complexité d’un document est parfois mesurée par la hauteur physique des dossiers papier (en pouces) plutôt que par le nombre de pages.
- Des benchmarks fragiles : Certains benchmarks standards de l’industrie sont des « outils marketing » qui échouent spectaculairement lorsqu’un document est simplement incliné d’un degré ou légèrement flou.
- Le paradoxe des appels : Dans le domaine de la santé, environ 80 % des refus de prise en charge initiaux sont annulés après appel, soulignant un échec massif du processus de décision initial basé sur les documents.
- Le risque du « Vibe Coding » : Contrairement au développement logiciel où un bug peut être annulé via une PR, le « vibe coding » (codage approximatif) d’un pipeline de documents dans la santé peut avoir des conséquences permanentes et réelles pour les patients.
Conseils pratiques
- Prioriser le rappel sur la précision : Lors de l’évaluation d’une IA documentaire, ne demandez pas seulement « La réponse est-elle correcte ? », mais demandez « Le modèle a-t-il complètement omis des informations pertinentes ? ».
- Implémenter une boucle de révision : Plutôt qu’un appel au modèle en « un seul passage », construisez un pipeline où un agent secondaire vérifie l’extraction par rapport à la source originale pour détecter les omissions silencieuses.
- Tester avec des données « bruitées » : Pour véritablement évaluer un fournisseur, testez vos documents avec de légères rotations, un flou gaussien ou des scans de mauvaise qualité pour voir si la précision s’effondre.
- Éviter les benchmarks génériques : Utilisez l’approche « LLM-as-a-judge » avec une grille d’évaluation personnalisée et adaptée à vos données spécifiques, plutôt que de vous fier à des classements publics et génériques.
- Décomposer les documents complexes : Pour les fichiers longs ou complexes, divisez le document en parties et utilisez des pipelines spécialisés pour les différents éléments (ex: un pour les graphiques, un pour les tableaux) avant de synthétiser la réponse finale.
- Miser sur la traçabilité : Assurez-vous que votre pipeline d’IA fournit des citations précises jusqu’au mot individuel ou à la zone de délimitation (bounding box), afin que les humains puissent vérifier instantanément les décisions à enjeux élevés.
Warum können wir eine KI bitten, eine Sinfonie zu schreiben oder eine komplexe App zu codieren, aber der simple Vorgang des Lesens eines PDFs führt bei Frontier-Modellen immer noch dazu, dass kritische Informationen „stillschweigend verworfen“ (silent drop) werden? Dieses Paradoxon steht im Zentrum der Arbeit von Adit Abraham von Reducto, der argumentiert, dass Dokumente nicht bloß Dateien sind, sondern die primären Artefakte der menschlichen Büroarbeit. In einem Gespräch mit a16z erklärt Abraham, dass Nutzer zwar eine nahtlose Erfahrung erwarten, wenn sie ein Dokument in einen Chatbot hochladen, die zugrunde liegende Infrastruktur – die traditionell auf starren OCR-Vorlagen basiert – jedoch völlig unzureichend für die Komplexität realer Daten ist, wie etwa verschachtelte Tabellen, mehrseitige Tabellenkalkulationen und dichte Blaupausen.
Abraham beschreibt die Entwicklung der Dokumentenverarbeitung, vom „Zeitalter“ des Dateidrucks und der vorlagenbasierten OCR bis hin zur aktuellen Ära der Vision Language Models (VLMs). Er stellt fest, dass traditionelle OCR scheiterte, weil es an kognitiver Fähigkeit (Reasoning) fehlte; sie konnte zwar Zeichen erkennen, verstand aber nicht, dass eine Tabelle, die sich über zwei Seiten erstreckt, eine spezialisierte Pipeline zur Zusammenführung benötigt. Um dies zu lösen, entwickelten Abraham und sein Team R1, ein spezialisiertes Foundation-Modell. Indem sie sich von Standardmodellen distanzierten und auf einen engen RL-Loop (Reinforcement Learning) sowie eine riesige Menge an „unordentlichen“ Produktionsdaten setzten, hat Reducto ein Maß an Determinismus und Rückverfolgbarkeit erreicht, das generischen Frontier-Modellen oft fehlt.
Ein kritischer Punkt der Diskussion zwischen a16z und Abraham ist die Unterscheidung zwischen Präzision (Precision) und Trefferquote (Recall). Abraham weist auf einen gefährlichen Trend hin: Frontier-Modelle weisen oft eine hohe Präzision auf (die extrahierten Informationen sind meist korrekt), aber eine schlechte Trefferquote (sie vergessen schlichtweg, bestimmte Teile des Dokuments zu extrahieren). In Hochrisiko-Branchen wie dem Gesundheitswesen oder dem Rechtswesen kann das „stille Verwerfen“ eines einzigen Kontrollkästchens oder ein falsch gelesenes Wort – etwa wenn „chest pain“ als „chep pain“ gelesen wird – zu abgelehnten Versicherungsansprüchen oder medizinischen Fehlentscheidungen führen. Um dem entgegenzuwirken, führte Abraham „Deep Extract“ ein, ein Framework, das es Agenten ermöglicht, ihre eigene Arbeit zu überprüfen und zu korrigieren. Er behauptet, dass dies tatsächlich menschliche Annotatoren übertreffen kann, die oft nachlässig werden oder Datenzeilen übersehen.
Mit Blick auf die Zukunft sieht Abraham eine Welt, in der KI Dokumente nicht nur liest, sondern sie aktiv bearbeitet und darauf basierend handelt. Er hebt die aktuellen Schwierigkeiten von Agenten mit der Microsoft-Office-Suite hervor und kündigt Reductos Expansion in die Dokumentenbearbeitung und Lokalisierung an. Als a16z fragt, warum die „großen Labore“ dieses Problem nicht einfach lösen, argumentiert Abraham, dass diese in einem Wettrüsten um eine allgemeine Superintelligenz stecken, während Reducto sich auf die „tangentiale“, aber tiefe Infrastruktur des Dokumenten-Renderings konzentriert. Er behauptet, dass sie als Spezialisten preislich um Größenordnungen aggressiver auftreten können – mit einem Zielpreis von einem Cent pro Seite –, während sie gleichzeitig die „Astra-Qualität“ beibehalten, die für den Unternehmenseinsatz erforderlich ist.
Überraschende Erkenntnisse
- Die Recall-Lücke: Frontier-Modelle scheitern oft nicht durch Halluzinationen, sondern durch das „stille Verwerfen“ von Informationen. Dadurch wirken sie oberflächlich präzise, lassen aber kritische Datenpunkte aus.
- KI vs. Menschliche Ground Truth: Abraham stellte fest, dass Agenten mit einem Selbstkorrektur-Framework oft die „menschlichen Ground-Truth“-Datensätze übertrafen, da Menschen beim Annotieren häufig Zeilen übersehen oder Daten überspringen.
- Die „Zoll“-Metrik: Im Gesundheitswesen wird die Komplexität von Dokumenten manchmal an der physischen Höhe der Papierstapel (in Zoll) gemessen und nicht an der Anzahl der Seiten.
- Fragile Benchmarks: Einige Industriestandard-Benchmarks sind lediglich „Marketing-Tools“, die spektakulär versagen, wenn ein Dokument nur um ein Grad geneigt oder leicht unscharf ist.
- Das Widerspruchs-Paradoxon: Im Gesundheitswesen werden etwa 80 % der ursprünglichen Ablehnungen von Leistungsanträgen im Widerspruchsverfahren aufgehoben, was auf ein massives Versagen im ursprünglichen, dokumentenbasierten Entscheidungsprozess hindeutet.
- Das Risiko des „Vibe Coding“: Anders als in der Softwareentwicklung, wo ein Bug über einen Pull Request rückgängig gemacht werden kann, kann „Vibe Coding“ einer Dokumenten-Pipeline im Gesundheitswesen permanente, reale Folgen für Patienten haben.
Praktische Ableitungen
- Recall über Präzision priorisieren: Fragen Sie bei der Bewertung einer Dokumenten-KI nicht nur „Ist die Antwort korrekt?“, sondern „Hat das Modell relevante Informationen komplett übersehen?“.
- Review-Loop implementieren: Statt eines „One-Shot“-Modellaufrufs sollte eine Pipeline aufgebaut werden, in der ein sekundärer Agent die Extraktion mit der Originalquelle abgleicht, um stille Auslassungen zu finden.
- Mit „verrauschten“ Daten testen: Um einen Anbieter wirklich zu prüfen, testen Sie Ihre Dokumente mit leichten Rotationen, Gaußschem Weichzeichner oder schlechten Scans, um zu sehen, ob die Genauigkeit einbricht.
- Generische Benchmarks vermeiden: Nutzen Sie „LLM-as-a-judge“ mit einem benutzerdefinierten Rubrik, das auf Ihre spezifischen Daten zugeschnitten ist, anstatt sich auf öffentliche, generische Leaderboards zu verlassen.
- Komplexe Dokumente zerlegen: Unterteilen Sie lange oder komplizierte Dateien in Teile und nutzen Sie spezialisierte Pipelines für verschiedene Elemente (z. B. eine für Diagramme, eine für Tabellen), bevor Sie die finale Antwort synthetisieren.
- Auf Rückverfolgbarkeit fokussieren: Stellen Sie sicher, dass Ihre KI-Pipeline Zitate bis auf das einzelne Wort oder die Bounding Box liefert, damit Menschen hochriskante Entscheidungen sofort verifizieren können.
AI agents can reason over enormous amounts of information, but much of the world’s actual work is still trapped in PDFs, spreadsheets, scans, and other formats that models struggle to reliably understand. Reducto co-founder and CEO Adit Abraham argues that solving this document layer is essential if agents are going to take on consequential work in healthcare, legal, finance, and insurance.
Adit joins a16z General Partner Jennifer Li to explain why traditional OCR breaks down on messy real-world documents, how Reducto combines vision-language models with specialized infrastructure to reach high accuracy without sacrificing cost or latency, and why frontier models can silently drop information on long extraction tasks. Reducto now processes billions of pages each month, including its seven billionth page the morning of the recording.
They also discuss Reducto’s R1 model, agents that can review and correct their own document extraction, and the company’s push beyond simply reading files toward letting agents reliably work with and edit them. Underneath it all is a higher-stakes problem: when a misread word can affect a healthcare claim or financial decision, getting the input right matters just as much as making the model smarter.
Resources:
Learn more about Reducto:https://reducto.ai
Follow Adit Abraham on X: https://x.com/aditabrm
Follow Jennifer Li on X:https://x.com/JenniferHli
Stay Updated:
Find a16z on YouTube: YouTube
Find a16z on X
Find a16z on LinkedIn
Listen to the a16z Show on Spotify
Listen to the a16z Show on Apple Podcasts
Follow our host: https://twitter.com/eriktorenberg
Please note that the content here is for informational purposes only; should NOT be taken as legal, business, tax, or investment advice or be used to evaluate any investment or security; and is not directed at any investors or potential investors in any a16z fund. a16z and its affiliates may maintain investments in the companies discussed. For more details please see a16z.com/disclosures.
Hosted by Simplecast, an AdsWizz company. See pcm.adswizz.com for information about our collection and use of personal data for advertising.
-
Rebuilding the Internet for Privacy | Barrett Lyon on DoxxNet
a16z’s Joel de la Garza sits down with DoxxNet founder Barrett Lyon to discuss what it would take to rebuild the internet around privacy, direct communication, and less dependence on centralized intermediaries. Barrett explains why…
-
The $1 Trillion AI Buildout | State of Markets
a16z’s David George, Sarah Wang, Alex Immerman, and Santiago Rodriguez unpack 25 key charts from the latest State of Markets presentation, from the scale of the AI infrastructure buildout to what adoption looks like inside…
-
The Personal Agent Race Is Here | Anish Acharya & David Pawlan
a16z General Partner Anish Acharya sits down with Assistant Benchmark creator David Pawlan to unpack the sudden explosion of personal AI agents and what it will take for one to become part of everyday life.David…
-
AI Can Write Code. Why Isn’t Software Better?
a16z’s Ben Horowitz and Martin Casado sit down with TypeSafe AI founder Diogo Almeida to ask a simple question: AI has become remarkably capable, so where is all the automation? Diogo argues that coding agents…
-
Building a Team at AI Speed | Harvey’s Maggie Landers
a16z’s Katie Kirsch sits down with Harvey VP of Talent Maggie Landers to discuss what happens inside a company growing at AI speed, and how you preserve culture while adding more than 1,000 employees in…
-
Aaron Levie, Steven Sinofsky & Martin Casado: How Do You Secure a World of AI Agents?
Erik Torenberg sits down with Box CEO Aaron Levie, and a16z’s Martin Casado, and Steven Sinofsky to debate how the AI industry should think about safety, security, and regulation as increasingly capable agents move into…
-
The Reputation Graph of Silicon Valley | Introducing Cosign
a16z’s Erik Torenberg sits down with Josh Elman, Olivia Moore, and David Booth to introduce Cosign, a new product built around professional reputation and the people, companies, and products you’re willing to put your name…
-
The Case Against an AI Pause | Eddy Lazzarin
a16z crypto General Partner Eddy Lazzarin joins Theo Jaffee on MTS to debate the increasingly prominent calls to slow AI development and whether the current safety conversation is conflating very different kinds of risk. Eddy…
-
Amjad Masad on Rethinking College for the AI Era
Erik Torenberg sits down with Replit founder and CEO Amjad Masad and Horowitz and Andreessen Academy co-founder and CEO Gagan Biyani to ask what education should look like for a generation growing up with AI.…
-
Why a16z is Building a New School for the AI Era | Ben Horowitz
Ben Horowitz and Erik Torenberg sit down with Gagan Biyani to introduce the Horowitz and Andreessen Academy and discuss a bigger question: what should education look like when AI is rapidly changing the skills people…