Sirchmunk v0.2.0：LENS 论文发布、多路 DEEP 检索与大语料鲁棒性

Sun, 20 Sep 2026 00:00:00 +0000

Sirchmunk v0.2.0 是项目的一个转折点。Sirchmunk 检索引擎背后的核心算法已在研究论文中形式化并发布至 arXiv，DEEP 搜索管线围绕多路融合进行了重构，系统现在强制执行严格的检索成本不变量，确保在任意规模的语料上都能保持可预测的性能。

LENS：研究论文

Sirchmunk 上下文搜索的理论基础已在 “LENS: In-Context Search via Latent Evidence Exploration over Dynamic Raw Documents”（）中形式化。

LENS 将检索重新表述为预算约束证据定位：给定查询和原始文档语料，系统在隐式证据空间上维护一个查询条件信念，通过提议策略和 LLM 相关性预言机迭代精炼 — 全程受显式 token 预算约束。

受控评估的关键结果：

500 题评估：62.4% 精确匹配（EM），84.8% 证据召回率（对比 ReAct 基线 65.2% EM，但证据召回仅 50.4%）。
150 题 fullwiki 子集（原始 Wikipedia 转储，零索引）：LENS 达到 43.3% EM，对比 ReAct 的 42.7% EM，且证据接地能力显著更强（84.0% vs. 70.7%）。

这些数据表明 LENS 以微小的准确率代价换取了显著更好的证据可追溯性 — 答案不仅正确，而且可证地接地于源材料。

DEEP 模式经过了根本性重构。取代单一检索策略，现在并行运行 五条互补的检索路径：

五条路径的结果通过**置信度加权倒数排名融合（RRF）**进行融合。soft 路由收缩机制在单条路径产生高置信度匹配时动态禁用低产出路径，在不损失答案质量的前提下降低延迟和 token 消耗。

Sirchmunk v0.2.0 系统架构：多路 DEEP 检索与 LENS 框架集成。

早期版本在超大、含归档文件的语料上可能卡顿或超时。v0.2.0 引入了检索成本不变量 — 确保单文件和单次查询成本永远不会无界增长的硬约束：

GREP_RGA_ADAPTERS：基于能力的适配器白名单。查询热路径上仅启用有界文档提取器（poppler、pandoc）；无界递归适配器（decompress、zip、tar、sqlite、ffmpeg）限制为离线提取。
GREP_MAX_FILESIZE_MB：单文件大小上限。超过阈值的文件在实时查询中被跳过。
GREP_TIERED_SCAN：对所有文件执行快速原生 rg 扫描，与限定富格式扩展名的 rga 扫描取并集，避免适配器调度遍历整棵文件树。
快速失败超时预算：GREP_TEXT_TIMEOUT 用于文本扫描，GREP_TIMEOUT 用于富文档扫描；超时后搜索优雅降级为原生 rg，而非挂起。

目录扫描现已默认开启以增强文件名路由，硬 token 预算将每次查询限制在可配置额度内。

v0.2.0 对基准特定硬规则采取了原则性立场。硬编码的实体模式、固定列位置、仅限英语的停用词等基准绑定逻辑已被可泛化的替代方案取代：

每个替换行为都通过环境开关控制，默认启用新实现，并允许单项故障回滚。

Web UI 新增基于 Cytoscape.js 的交互式知识图谱。图谱可视化自进化知识聚类及其语义关系，包括生命周期状态（Emerging、Stable、Meta）和边权重。用户可以探索、过滤和深入聚类拓扑，直观了解系统知识随使用的演化过程。

可视化背后，KnowledgeEvolver 编排了四阶段后台进化周期——连接与合并、边刷新、元聚类发现（基于 Leiden 社区发现算法）和全局更新——持续维护和整合知识图谱，且不阻塞查询。

KnowledgeEvolver — 知识图谱维护的四阶段进化周期

设计理念是观测驱动的：进化由实际搜索模式触发，而非预定义规则；源头保真始终被保护——系统改变的是寻找证据的导航路径，而非证据本身。完整动画演示请参见。

pip install --upgrade sirchmunk

或安装全部附加组件：

pip install "sirchmunk[all]"