基于大型语言模型LLM的代理越来越多地被用于解决涉及工具使用的复杂任务如网页浏览、代码执行和数据分析。然而当前的评估基准测试并未充分评估其解决需要从多个来源综合信息并推断超越简单事实检索的现实任务的能力。为此我们介绍了DeepSynth这是一个新颖的基准测试旨在评估代理在现实且耗时的问题上结合信息收集、综合和结构化推理以产生洞见。DeepSynth包含120任务收集于7涵盖的领域和数据源67国家。DeepSynth 采用多阶段数据收集流程构建要求标注者收集官方数据源、提出假设、进行人工分析并设计具有可验证答案的任务。在 DeepSynth 上评估时11最先进的大型语言模型和深度研究代理可获得最高F1分数8.97以及17.5在LLM评判指标上凸显了基准的难度。我们的分析显示当前代理在大信息空间中存在幻觉和推理问题凸显DeepSynth作为指导未来研究的重要基准。