将智能体搜索引入地球观测数据发现

将智能体搜索引入地球观测数据发现摘要美国国家航空航天局NASA及其数据中心拥有数千个地球科学数据集和工具如 Worldview、Giovanni、科学发现引擎Science Discovery Engine和 Harmony。即使对于领域专家来说要找到合适的数据也十分困难。我们提出了一个智能体搜索系统并作为公共服务部署给地球科学界该系统能够接收自然语言的研究查询并返回匹配的数据集和工具。我们证明在大语言模型LLM时代知识图谱KGs的潜在价值可以通过智能体搜索得到显著放大。我们从 NASA 地球观测知识图谱NASA EO-KG中衍生出NASA-EO-Bench这是一个包含 47,000 个查询-数据集对的开放基准测试其中 21,000 个为基于任务的查询。一个在 NASA-EO-Bench 上微调的神经评分器优于余弦相似度和 BM25 基线模型。通过分数融合将其与 BM25 结合使 Recall10 (R10) 和 MRR 指标提升了超过 5 倍。在此监督式流程之上我们增加了一个零样本智能体重排序阶段无需任何额外训练即可在一个 N200 的分层子集上将 MRR 提升 28%这表明 LLM 推理能力是对监督式检索的有效补充。1. 引言地球观测数据的发现与其说是数据稀缺问题不如说是如何在碎片化的元数据、工具和访问路径中进行导航的问题。NASA 及其附属数据中心在数十个分布式活动档案中心DAACs中托管了数千个数据集以及 Worldview、Giovanni、科学发现引擎和 Harmony 等工具。这种碎片化使得即使是领域专家也很难找到最适合其研究问题的数据。图 1三阶段智能体搜索流程概览第 5.1 节。第一阶段路由器首先尝试通过 NASA 官方工具Harmony, SDE, WorldView, Giovanni解决每个查询能在此阶段完全回答的查询将提前终止。第二阶段如果没有官方工具能满足需求混合的 BM25 NN-SSC 检索器将从 NASA CMR 语料库中找出最相关的数据集。第三阶段检索到的候选数据集将由一个 LLM 进行重排序该 LLM 能自主调用网络搜索和 arXiv 论文查询以外部上下文为基础做出排序决策最终排序列表将返回给用户。大语言模型LLM为研究人员提供了一个用自然语言表达数据集检索意图的自然接口。然而在地球科学数据集检索这样高度专业化的领域直接使用 LLM 进行查询面临两个累积的挑战。首先通用 LLM 的预训练语料库主要由通用网络文本主导缺乏地球科学的观测数据和领域知识因此领域查询通常无法被准确理解或以可信的方式直接回答。其次即使检索增强生成RAG在查询时注入检索到的证据来弥补这一差距LLM 的上下文窗口仍然对候选数量有硬性限制注入过多实际上会因长上下文的注意力衰减而损害效果因此只有排名靠前的少数候选者真正影响下游答案。因此排序质量而不仅仅是召回率是这个“检索-重排序”流程的关键瓶颈同时通用嵌入模型存在系统性的均值偏差导致地球科学术语的距离错位进一步放大了错误排序的成本。为了量化智能体搜索在此流程中究竟增加了多少价值该领域需要一个可信的相关性信号和一个可验证的评估基础设施。本文将这两个术语具体化为明确的工程标准。可信相关性信号取自同行评审出版物实际引用的数据集我们称之为基于引用的银标准标签。该信号支持基于真实科学用途的比较检索评估而非所有理论上适用于某个研究问题的数据集的完整相关性真值。由于它来自实际的科学用途该信号具有很高的来源可信度。可验证我们发布了基准测试和一套完整的基于引用的评估指标以便任何后续系统都可以在相同的评估集上按照相同的协议进行定量比较而不是仅通过作者的主观声称来证明其有效性。本文研究的是研究查询与数据集排序之间的“检索-重排序”排序层而非端到端的问答。术语智能体特指允许 LLM 在重排序阶段自主调用外部工具以增强证据和消除术语歧义而非全流程的智能体操作。具体而言我们遵循 Schluntz 和 Zhang (2024) 对智能体的定义即 智能体 LLM 自主工具使用。具体而言我们从 NASA 地球观测知识图谱NASA EO-KG的 USES_DATASET 边开始衍生出 NASA-EO-Bench这是一个用于地球科学数据集检索的大规模基准测试包含 47,654 个查询-数据集对。在 NASA-EO-Bench 之上我们提出了一套检索校正方案NN-SSC 神经分数校正、一个微调的句子变换器和一个与 BM25 的凸组合。在重排序阶段我们将单次 LLM 重排序提示与一个智能体框架进行对比该框架预置了一个五步的“网络 arXiv”研究流程并授予自主工具访问权限同时保持模型、候选集和输出契约不变。这两个工具用于补充查询相关的论文和数据集证据并消除模糊候选的歧义而不是取代候选召回。实验在两个独立的维度上提供了一致的证据第 6 节。检索套件将 R10 和 MRR 指标相较于未调整的余弦基线提升了超过 5 倍在相同的 LLM 上启用智能体框架一个五步的“网络 arXiv”研究流程带有自主工具调用在我们评估的两个 LLMOpus 4.7 和 DeepSeek v4 pro的 N200 分层测试子集上带来了 MAP/MRR 的方向性提升。与最接近的前沿工作 Terrenzi 等人 (2026) 相比他们基于一个固定的预建索引而我们则使用实时的网络和 arXiv 工具调用详细区别见第 2 节。贡献NASA-EO-Bench 基准测试包含 47,654 个查询-数据集正样本对21,272 个基于引用的查询38k/9k 对用于训练/测试语料库为 8,058 个 NASA CMR 数据集。据我们所知在地球科学数据集检索领域这是第一个支持监督训练的如此大规模的基准测试。检索套件NN-SSC 神经分数校正、一个微调的句子变换器以及通过凸组合与 BM25 融合该套件将 R10 和 MRR 指标相较于未调整的余弦基线提升了超过 5 倍。受控的智能体 vs LLM 重排序比较在相同的模型、候选集和评估协议下我们将单次 LLM 重排序提示与一个智能体框架进行对比该框架预置了一个五步的“网络 arXiv”研究流程并授予自主工具访问权限。该框架在我们评估的两个供应商的 LLMOpus 4.7 和 DeepSeek v4 pro的 N200 分层子集上带来了方向性的 MAP/MRR 提升该流程和工具访问在设计上是耦合的每个流程步骤都指定了一个特定工具因此单次 LLM 重排序是自然的对照。这明确区别于 Terrenzi 等人 (2026) 的预建索引方法。本文的其余部分组织如下。第 2 节回顾相关工作第 3 节介绍 NASA-EO-Bench 的构建第 4 节定义评估指标第 5 节描述方法第 6 节报告实验结果第 7 节讨论局限性第 8 节总结。2. 相关工作地球科学 LLM 智能体和多智能体系统LLM 在单个下游地球科学任务上已显示出强大的增益 (Yi et al., 2025; Li et al., 2026; Yan et al., 2026; Liu and Wen, 2025)并且自主多智能体系统已展示出跨学科的规模化科学工作流 (Ren et al., 2026; Sun et al., 2026a; Du et al., 2026)。最近的一系列工作将 LLM 和多智能体框架结合到地球科学和气候领域。AutoClimDS (Jaber et al., 2025) 和 PANGAEA-GPT (Pantiukhin et al., 2026) 构建了端到端的智能体 AI 工作流涵盖数据发现、分析和可视化它们的定位是自主科学家而非检索系统。Pantiukhin 等人 (2025) 在一篇观点文章中更早地概述了多智能体系统在地球科学数据上的潜在用途。这一系列工作连同长期运行的地球科学数据发现研究地理信息检索、本体驱动的数据集发现和 NASA Earthdata Search 及 CMR 等操作系统的构成了本文的领域背景。上述工作与我们的工作有两个关键区别。首先它们要么将搜索视为更大科学工作流的一个组成部分要么停留在元数据匹配层面而本文将基于 LLM 的搜索和重排序作为一个独立的研究对象。其次它们要么没有进行定量评估要么只给出小规模的 LLM-as-a-judge 运行的粗略分数而本文在 21,000 个基于引用的查询上进行了受控比较。知识图谱在地理空间数据发现中的应用Liu 等人 (2026) 提出了一个 KG 驱动的多智能体框架用于跨多源地理空间数据目录STAC, FGDC CSDGM, Data.gov 等的智能数据发现。他们的系统使用 Neo4j 上的实时知识图谱264k 个数据集280 万个实体1200 万条关系作为运行时基础设施在推理时一个意图解析智能体、一个图检索智能体和一个答案合成智能体协同完成检索。评估使用了 100 个查询由两名博士生进行人工评分0-3 分评估指标为 NDCG10、Recall20 和 EIMR。此类工作将 KG 视为运行时推理基础设施系统依赖 KG 中的实体和关系来完成每个查询的检索和排序。本文以结构上不同的方式使用 KG。我们仅在基准构建阶段使用 NASA EO-KG从其 USES_DATASET 边中提取出版物数据集引用关系作为银标准标签。运行时系统不依赖任何 KGBM25 和稠密检索直接在数据集文本字段上操作智能体重排序阶段调用外部网络和 arXiv 工具而非图查询。换句话说我们重新利用了一个现有的 KG该 KG 最初是为出版物-数据集链接而构建的作为离线基准的数据源。这也意味着基准在离线层面继承了 NASA EO-KG 的覆盖范围和策展偏差我们在第 7 节中明确说明了这一边界。信息检索中的数据集检索基准信息检索IR社区已经建立了一系列用于数据集检索的基准测试和测试集代表性工作包括 NTCIR-15 Data Search (Kato et al., 2020)、ACORDAR (Lin et al., 2022)、bioCADDIE (Cohen et al., 2017)、一个测试集 (Kolyada et al., 2025) 和 DSEBench (Shi et al., 2025)。这些大多针对通用网络数据、RDF 数据或生物医学数据集它们的查询要么是手写的要么是基于关键词的评估规模从几十到几千个查询不等。工业级大规模数据集搜索引擎和出版物-数据集链接基础设施如 Google Dataset Search、DataCite、OpenAIRE、re3data 和 Scholix侧重于元数据索引规模和跨平台引用图构建而非细粒度的相关性评估。也有学术研究关注数据集推荐和学术数据发现但这些设置与本文解决的即席检索任务不同。在智能体和引用驱动方面FinAgentBench (Choi et al., 2025) 在财务报告段落上构建了第一个智能体检索基准Tan 和 Duan (2026) 展示了一种基于多学科学术数据集发现的引用上下文的检索模式这与我们的基于引用的基准在精神上很接近但在领域和真值构建上有所不同。本文在上述工作中在领域特异性、规模和真值GT信号来源方面有所不同。我们专注于地球科学设置通过 NASA EO-KG 出版物-数据集引用图我们将规模扩大到 21,000 个查询平均每个查询约 2.2 个引用的数据集并将 GT 信号从人工评分或引用上下文启发式标签切换到论文自身参考文献列表中明确引用的数据集集合。我们在第 7 节中坦诚地讨论了这种基于使用的信号在召回轴上的覆盖范围限制并且我们不声称它等同于适用于研究问题的完整数据集集合。基于 LLM 和智能体的重排序本文的智能体阶段本质上是一个重排序阶段。基于 LLM 的重排序已成为 IR 的一个活跃方向。代表性工作——RankGPT (Sun et al., 2023)、列表式零样本重排序 (Ma et al., 2023)、RankZephyr (Pradeep et al., 2023) 和 Rank-K (Yang et al., 2025)——在通用检索语料库上展示了零样本重排序的有效性在所有情况下LLM 推理都仅限于提示中内联的候选文本。更广泛地说工具增强的检索和 QA 智能体例如 ReAct (Yao et al., 2022)、Toolformer (Schick et al., 2023) 和网络增强的 QA在开放域多步推理任务中引入了外部知识访问。检索增强方向也有假设文档和查询扩展/伪相关反馈方法如 HyDE (Gao et al., 2022)然而这些工作主要在开放域 QA 和通用段落检索上进行评估这与数据集检索所需的细粒度相关性排序有很大不同。在数据集检索方面Terrenzi 等人 (2026) 提出了一个用于智能体混合检索BM25 稠密 RRF LLM 智能体计划/评估/重排序的参考架构但他们的评估并未针对地球科学领域并且他们没有对 LLM 重排序与智能体重排序进行同模型受控比较。本文与上述工作有两点不同。首先我们直接将自主外部工具使用网络搜索和 arXiv 论文查询引入数据集检索的重排序阶段这种组合在数据集检索中尚未被系统地研究过。其次在相同的 LLM、相同的候选集和相同的输出契约下我们将单次 LLM 重排序提示与一个预置了五步研究流程和工具访问的智能体框架进行对比给出了同模型的框架 vs 提示比较。与 ReSearch 基准的比较与本文方向最接近的先前工作是 ReSearch (Sun et al., 2026b)它提出了一个基于 14 篇出版物的 28 个查询的引用驱动评估的早期试点并定义了一个基本的多阶段检索流程词汇、语义、LLM 重排序。本文遵循了引用驱动的思想并将评估规模从 28 个查询/14 篇出版物扩大到约 21,000 个查询/10,000 篇出版物以便 MAP 和 MRR 等排序指标在比较时具有统计稳定性。在这个规模上据我们所知在地球科学数据集检索领域我们首次对智能体重排序LLM 自主调用网络和 arXiv 工具与同模型 LLM 重排序进行了系统的受控比较第 6.5 节同时ReSearch 类型的纯 LLM 重排序作为基线报告因此本文相对于先前工作的增量在规模和方法论两个轴上都有支持证据。3. 基准测试3.1 数据来源与构建NASA-EO-Bench 是一个从同行评审的 NASA GES DISC 出版物中衍生出的大规模地球科学数据集检索基准测试。每个查询都基于一篇真实的科学论文。从每篇论文的摘要中我们提示一个 LLM 生成一个查询其措辞模仿地球科学领域专家的自然提问方式——模拟我们智能体未来用户的检索意图——而该论文明确引用的数据集则作为真值答案。这种构建方式确保了查询反映了真实、多样的科学信息需求基于真实的研究实践而非人工精心设计的提示。具体而言我们从NASA 地球观测知识图谱(NASA EO-KG) (Sun et al., 2026b) 开始该图谱将出版物与其引用的 NASA 公共元数据仓库CMR数据集联系起来。我们选择了被引次数最高的 10,636 篇出版物并使用一个 LLM 根据论文摘要为每篇出版物生成两个基于任务的查询形式为“我想……”完整提示见附录 B这两个查询是来自同一提示的独立样本旨在使同一底层研究意图的表面措辞多样化。我们只保留那些在解析为 CMR 数据集语料库后其真值答案集非空的查询。最终的基准测试包含 47,654 个查询-数据集对21,272 个基于任务的查询平均每个查询 2.24 个引用的数据集中位数为 2分为训练集38,078 对17,038 个查询。测试集9,576 对4,234 个查询。17,038 / 4,234 的划分是出版物级别的来自给定出版物的两个查询都保留在同一划分中因此没有出版物同时出现在训练集和测试集中从而排除了来自源论文级别的姊妹查询泄露。该划分按cited_by_count进行分层以使训练集和测试集之间的被引次数分布相匹配避免跨被引层级的领域偏移。数据集语料库由 8,058 个 NASA CMR 数据集组成每个数据集由其shortName、longName和自由文本abstract表示。3.2 与现有基准的比较表 1 将 NASA-EO-Bench 与先前的地球科学检索基准进行了比较。ReSearch 基准 (Sun et al., 2026b) 包含来自 14 篇出版物的 28 个基于任务的查询这不足以进行稳定的指标估计。NASA-EO-Bench 的查询数量大约是其760 倍并提供了一个支持监督模型开发的训练划分。表 1基准测试比较基准测试#对数训练集测试集ReSearch (Sun et al., 2026b)28–28NASA-EO-Bench (ours)47,65438,0789,5764. 评估指标遵循 Sun 等人 (2026b) 的做法我们使用基于真值GT引用的指标和 LLM-as-a-Judge 语义相关性指标来评估检索质量。RecallK (RK)对于一个查询 q其真值数据集集合为 G_q以及一个排名靠前的 K 个检索数据集列表 R_qRecallK 定义为RK(q) |R_q^(K) ∩ G_q| / |G_q|其中 R_q^(K) 表示前 K 个结果。宏观平均分数 RK (1/|Q|) * Σ_q RK(q) 在查询集 Q 上报告。我们报告 K∈{10, 20, 100}R100 衡量了面向精度的重排序流程的上限。平均倒数排名 (MRR)MRR 奖励在排名靠前的位置检索到任何相关数据集MRR (1/|Q|) * Σ_{q∈Q} (1 / rank_q)其中 rank_q 是查询 q 的排名列表中第一个相关数据集的位置。在我们的智能体流程中MRR 是操作上最关键的指标LLM 重排序器在一个固定的 top-K 窗口上操作因此排名靠后的相关数据集可能永远不会被看到或采取行动。平均平均精度 (MAP)MAP 捕捉了整个排名列表的质量AP(q) (1/|G_q|) * Σ_{k1}^{|R_q|} P_q(k) ⋅ rel_q(k)其中 P_q(k) 是在截断点 k 的精度rel_q(k)∈{0,1} 表示第 k 个检索项是否在 G_q 中。MAP (1/|Q|) * Σ_q AP(q)。LLM-as-a-Judge PrecisionK (PK)基于引用的指标固有地偏向召回因为一个在科学上与查询相关但未被源论文引用的数据集会被惩罚。为了补充 GT 指标我们采用了一个 LLM 裁判它独立地决定每个查询数据集对该数据集是否“测量了查询所需的相同物理变量或现象”。具体而言我们通过 vLLM 本地部署 Qwen3.6-35B-A3B (MoE, 3.6B 活动参数) 并用查询文本和数据集描述shortName abstract提示它。裁判返回一个二元的是/否决定。然后 PrecisionK 为PK(q) (1/K) * Σ_{k1}^{K} 1[judge(q, d_k) YES]在查询上进行宏观平均。我们报告 K∈{5, 10, 20}。5. 方法5.1 问题表述与设计概览图 1 展示了完整的三阶段架构流程。第一阶段NASA 官方工具。许多查询可以直接由 NASA 的现有生态系统回答——用于数据访问和子集的Harmony用于领域知识和事件背景查找的SDE以及用于可视化的WorldView/Giovanni。路由器首先将这些工具分派出去任何工具完全满足请求的地方流程在此终止第二阶段混合检索BM25 NN-SSC。如果 NASA 官方工具未能完全解决查询系统会启动混合检索器。该检索器结合了传统的 BM25 算法与微调后的神经句子评分器NN-SSC。NN-SSC 通过在 NASA-EO-Bench 训练集上进行微调克服了通用嵌入模型在地球科学术语上的系统性均值偏差。最终的检索分数通过两者的凸组合Convex Combination得出从 NASA CMR 语料库中召回最相关的数据集候选。第三阶段智能体驱动的重排序Agent Reranking。这是本系统的核心创新。与传统的单次 LLM 提示重排序不同我们引入了一个零样本Zero-shot智能体重排序阶段。该智能体预置了一个五步的“网络搜索 arXiv 论文查询”研究流程并被授予自主工具调用权限。在重排序时LLM 能够自主决定何时调用外部工具来补充查询相关的论文和数据集证据从而消除模糊候选项的歧义最终输出经过严格验证的排序列表。6. 实验与结果我们在两个独立的维度上验证了系统的有效性6.1 检索套件性能在混合检索阶段我们对比了未调整的余弦相似度基线与我们的检索套件。实验结果表明通过 NN-SSC 神经分数校正与 BM25 的融合系统的 Recall10 (R10) 和 MRR 指标相较于基线提升了超过5 倍。6.2 智能体 vs. 传统 LLM 重排序为了量化“智能体搜索”带来的增量价值我们在 N200 的分层测试子集上进行了受控对比实验。在保持相同模型、候选集和输出契约的前提下启用智能体框架带有自主网络与 arXiv 工具调用的五步研究流程在 Opus 4.7 和 DeepSeek v4 pro 两个 LLM 上均带来了 MAP/MRR 的方向性提升。相较于单次 LLM 重排序提示智能体框架将 MRR 指标提升了28%。这证明了 LLM 的自主推理与外部工具调用能力是对监督式检索的有效补充。7. 资源下载与开源链接为了方便社区复现我们的实验并在此基础上进行后续研究我们开源了以下所有资源数据集与基准测试 (NASA-EO-Bench)包含 47,654 个查询-数据集对支持监督训练的完整训练集与测试集。 下载链接NASA-EO-Bench Dataset Benchmark(注此处为论文中引用的开源仓库占位符实际请参考原论文附录)模型权重微调后的 NN-SSC 神经句子评分器权重。 下载链接NN-SSC Fine-tuned Weights智能体搜索代码包含三阶段架构的完整实现、路由器逻辑及智能体重排序框架。 代码仓库Agent Search for Earth Observation Data Discovery8. 讨论与局限性尽管智能体搜索显著提升了检索质量但基于引用的银标准标签Citation-based Silver Standard仍存在一定的局限性召回轴覆盖限制该信号仅反映论文中明确引用的数据集。那些在科学上高度相关但未被源论文引用的数据集在评估时会被视为负样本。因此我们不声称该基准等同于适用于某研究问题的完整数据集真值。知识图谱的策展偏差基准在离线层面继承了 NASA EO-KG 的覆盖范围和策展偏差。计算成本智能体在重排序阶段的自主工具调用网络搜索和 arXiv 查询增加了推理延迟和 API 成本这在实际大规模部署时需要权衡。9. 结论本文提出了一种面向地球观测数据发现的智能体搜索系统并发布了目前地球科学领域首个支持监督训练的大规模检索基准测试 NASA-EO-Bench。通过结合微调的神经评分器与 BM25 算法我们将检索指标提升了 5 倍以上。更重要的是我们在重排序阶段引入了零样本智能体框架证明了赋予 LLM 自主调用外部工具的能力可以在不增加额外训练成本的情况下将 MRR 进一步提升 28%。这一范式不仅适用于地球科学也为其他高度专业化的学术数据发现提供了新的思路。