6000 万段资料的索引从 201GB 压到 6GB，拿时间换空间这事儿靠谱吗？ 折腾过本地知识库（RAG）的人都知道，最吃硬盘的往往不是模型，而是向量索引。
原理其实很简单：想让 AI 查你的邮件、聊天记录或者文档，得先把资料切成小段，每段算出一串长数字（向量）存起来。问题来了，段落一多，这串数字占的地方极大。6000 万段维基百科资料，传统做法建出来的索引要 201GB。很多人的本地部署就卡在这：模型跑起来了，硬盘被索引撑爆了。
伯克利 Sky Computing Lab 开源的 LEANN 给出了个挺狠的解法：不存完整向量了。
它只存一张精简过的图（标明哪些段落意思相近）和一份压缩过的粗略数字。查资料的时候，顺着图先用粗略数字筛出几个最相关的候选段落，再直接拿这几段的原文，当场现算完整向量做比对。毕竟查一次只用得上几段话，没必要为了备查把几千万段话的数字全存硬盘里。
这么搞下来，6000 万段资料的索引直接从 201GB 降到了 6GB。换到个人场景也一样：40 万条聊天记录的索引，从 1.8GB 缩到 64MB。准确率也没掉。按官方公布的标准问答测试（我没自己复跑），新老办法在同样的召回率（90%，就是该找回的十段里找回了九段）下，最终答题准确率都是 25.5%。
但代价是检索变慢了。同一个测试里，老办法找资料只要 0.05 秒，LEANN 要 2.48 秒，慢了 50 倍。好在后面大模型生成答案本来就要 20 秒左右，总耗时从 20 秒出头变成 22 秒多，平时自己用感知不明显。但如果遇到要跨多段资料找线索的复杂问题，团队在 Mac 上测出来光检索就要 44.8 秒，这就真得干等了。
所以这东西好不好用，全看场景。如果是自己电脑上跑私人资料库，我肯定换，省下大把硬盘，多等两秒完全能接受。但如果是很多人同时在线查的线上服务，这 50 倍的检索延迟能不能扛住，就得先打个问号了。
觉得这种论文拆解有用的话，欢迎收藏这个博客，或者订阅更新。很多论文只把好看的数字放标题，代价全藏在最后几页的表格里。后面有空，咱们接着扒这些表格背后的账。