为什么切碎文档会撞墙

把文档切成小块、按相似度捞几块喂给模型,遇到'要通读全文才能答'的问题就抓瞎——答案根本不在任何单独一块里。

这两年只要做过 AI 问答,大概都撞过同一堵墙。主流做法叫 向量检索(把每段文字转成一串数字坐标,靠'坐标挨得近'来判断哪段和问题相关):先把文档切成小块、算好坐标,提问时捞回最像的几块喂给模型。

问'我们三季度的退款政策是什么',它答得漂亮——答案就躺在某一块里。可一旦问'两年客诉里反复出现的主题是什么',它当场哑火。答案不在任何一块里,而在所有块的关系里。

这种切块式检索有三个结构性盲区:

  1. 串不起线索:答案得靠不同段落里的同一个实体拼出来时,各自孤立的块看不见这条线。
  2. 看不见全局:'主要主题是什么'要吃下整个语料,而相似度搜索只捞回表面上像问题的那几块。
  3. 切断了上下文:复杂推理最依赖的层级和关系,恰恰是切块那一刀切掉的。

微软研究院提出 GraphRAG 时把这点说得很直白:

基础版检索'串不起线索',面对'从海量数据里整体理解、归纳出的语义概念'时表现很差。

图谱换掉了什么

GraphRAG 在你提问之前,就先让大模型把整个语料读成一张实体关系网,并预写好每簇主题的小结;提问时靠现成小结分头作答再汇总。

GraphRAG 的思路是:在你提问之前就先动手。建索引阶段,大模型把每一块都读一遍,抽出里面的实体、关系和主张,拼成一张带权重的 知识图谱(实体和它们的关系连成的一张网)。接着用社区检测算法把这张网聚成一簇簇相关主题,并给每一簇预先写好一段自然语言小结。

提问时,干活的就是这些现成小结:每个相关簇先各自起草一段'局部答案',再把这些草稿排序、合并,最后由模型综合成终答。这一步业内叫 map-reduce——先分头做、再汇总。决定模型看到什么上下文的,不再只是'坐标像不像',而是'实体之间有没有关系'。

① 读全文,抽实体 大模型逐块读,拎出人/事/物和彼此关系 ② 拼成关系网 所有实体连成一张带权重的知识图谱 ③ 社区聚类 Leiden 算法把相关主题归成一簇簇 ④ 预写摘要 每一簇先写好一段自然语言小结 ⑤ 提问:分头答再汇总 相关簇各出草稿,排序合并成终答 前四步在提问之前就做完(建索引),第五步才是回答问题。
GraphRAG 的完整流程:功夫下在提问之前,答题时靠现成的分簇小结。步骤据微软 GraphRAG 论文。

全局问题:图谱大胜

在'读懂整个语料'这类全局问题上,让大模型当裁判打分,图谱七到八成场次赢过传统切片。

在'读懂整个语料'这类全局问题上,图谱赢得干脆。微软让 GraphRAG 和普通向量检索在百万字级别的数据集上正面对打,请一个大模型当裁判,从三个角度打分:回答的全面性、多样性、和信息增量。

结果:全面性上图谱赢下 72% 到 83% 的对局,多样性上赢下 62% 到 82%。而且它最高层的那份摘要,比直接啃原文省下了最多 97% 的算力开销。

在恰好会拖垮切块检索的那类问题上,图谱三局能赢两局以上。

多跳检索:图谱捞得到

遇到要跨多段线索才能答的问题,图谱把该找的关键段落捞回搜索前几名的成功率大幅提高。

换个角度看的是检索质量:该用来支撑答案的那段话,到底进没进搜索结果的前几名?在几个标准的 多跳问答测试(要串联好几处线索才能答,如 MuSiQue、HotpotQA、2Wiki)上,图谱引导的检索把命中率大幅拉高。

平均召回率从传统检索的 73.4% 升到 87.8%,涨了近 20 个百分点;而且越是难、越要跨文档的数据集,涨得越猛。另一套叫 HippoRAG 的方法则报告,多跳问答准确率最高提升 20%,同时比反复检索的老办法便宜十到二十倍、快六到十三倍。

+19.6 多跳问答召回率 平均提升(百分点) +31 最难的 MuSiQue 数据集 +28 跨文档的 2Wiki 数据集
图谱引导检索让关键段落进入前 5 名的成功率大涨,越难的跨文档任务涨得越多。数据据原文多跳评测。

公平对决:各有胜负

同条件对决里没有单一赢家:单事实查询传统切片反而略胜,多跳推理才轮到图谱领先——两条路互补。

但图谱不是一键升级。2025 年密歇根州立大学和 Meta 做了一次同条件对决——切块方式、坐标算法、生成模型全都统一,让向量检索对上四类 GraphRAG——结果没有单一赢家,两条路是互补的。

在单事实查询(自然问题集)上,朴素检索反而略微领先(F1 得分 64.8 比 63.0);在多跳推理(MultiHop-RAG)上,图谱引导才反超(准确率 70.3 比 67.0)。图谱是把专用手术刀,只在问题需要跨多处推理时才回本。

什么时候该用图谱

最新评测把界线画清楚了:问题越需要推理,图谱优势越大;越是孤立的事实,切片越守得住。

最新的评测 GraphRAG-Bench(ICLR 2026)专门去回答一个问题:到底哪种场景下图谱结构带来可测的好处?它按任务类型给出的准确率把界线画得很干净。

简单事实检索,切片 60.9、图谱 60.1,基本打平——这种问题用不上图谱那套结构,反成累赘;复杂推理,图谱 53.4、切片 42.9,领先约 10 分;上下文摘要,图谱 64.4、切片 51.3,领先约 13 分。

问题越需要推理,图谱优势越大;越是孤立的事实,切片越守得住。

图谱比切片高出的准确率(分) 0 简单事实检索 ≈ 打平 图谱 60.1 vs 切片 60.9,反被切片略高 复杂推理 +10.5 分 图谱 53.4 vs 切片 42.9 上下文摘要 +13.1 分 图谱 64.4 vs 切片 51.3
同一套 GraphRAG-Bench 评测:问题越需要推理,图谱领先越多;查孤立事实时反而不占便宜。数据据原文。

代价:贵,裁判还偏心

两个坑让这事没那么美好:建图谱很烧钱,而且很多'胜绩'是另一个有系统偏见的大模型当裁判判出来的。

两个坑让这事远没到稳赢,忽视它们正是不少团队最后失望的原因。

建图谱很烧钱。让大模型把整个语料的实体关系都抽一遍,成本不低。有分析算过,中等规模语料用 GPT-4o 建一次索引大约 48 美元,远高于普通向量索引。(微软自己的后续版本 LazyGraphRAG 把抽取推迟到提问时才做,直接把成本砍到原来的 0.1% 左右——这等于承认原始版本的开销对很多场景根本不实际。)

更麻烦的是,很多'胜绩'是另一个大模型当裁判判出来的,而这种裁判有系统偏见。一份独立审计发现它毛病成堆:位置偏见(把两个答案谁排前面对调一下,胜率能摆动超过 30 个百分点)、长度偏见、还有同样的对比多跑几次结果不一致。经过校正,某个热门方法原本报告的 66.7% 胜率掉到了约 39%——跌破了 50% 的及格线。

结论不是'研究错了'。而是:那些大幅度的提升——20% 的多跳准确率、15 到 30 点的召回跳升——是稳的;而那些只赢一点点的全面性差距,值得用有标准答案的指标再怀疑地复核一遍。

建一次索引的成本(GPT-4o,中等规模语料) 原始 GraphRAG 约 $48 LazyGraphRAG 约 $0.05(降到 0.1%)
建图谱的一次性索引开销:微软后续版本把抽取推迟到提问时,成本砍到约千分之一。数据据原文。

别给所有东西建图谱

2026 年靠 GraphRAG 赢的团队,不是给所有东西都建图谱的,而是知道哪些问题值得建图、并造出能自动分流的管线。

撇开炒作,该怎么选其实很实在。

问题是多跳、全局、要通盘理解的,要的是全面、多视角的答案,而且语料本身盘根错节(研究文库、案卷、事故史、知识库)——用图谱。查询大多是单个事实、语料又小又平、你更在乎索引成本和响应速度——老老实实用切块。

而最好的答案往往是两者混用。这些系统研究给出的建议出奇一致:给每个问题分流到合适的方法,或者把两边的证据融合起来——图谱加切块的组合,稳定地打败任何一个单干。你不必信仰某一派,你要造的是一个会分流的路由器。