Agent Attention On the Integration of Softmax and Linear Attention创新性地融合了 Softmax 注意力的强表达能力与线性注意力的高效计算特性。该方法通过引入少量 “代理令牌Agent Tokens” 作为查询与键值对的中间交互载体在保持全局感受野的同时将计算复杂度从 Softmax 注意力的二次方降至线性。一、研究背景与核心问题Transformer 中的注意力机制是视觉任务成功的关键但现有注意力范式存在核心矛盾表达能力与计算效率不可兼得具体局限如下Softmax 注意力如 ViT、Swin Transformer通过计算所有查询 - 键对的相似度建模全局依赖表达能力强但复杂度为 O (N²)N 为令牌数在高分辨率图像等令牌数多的场景下计算开销激增难以落地线性注意力如 Efficient Attention、Linear Angular Attention通过映射函数 φ(・) 改变计算顺序复杂度降至 O (N)但映射函数设计难度大简单函数会导致性能大幅下降复杂设计又引入额外开销整体表达能力弱于 Softmax 注意力现有优化方案如窗口注意力、稀疏注意力通过限制感受野或引入稀疏性降低复杂度但不可避免地损失了长距离依赖建模能力泛化性受限。核心研究目标设计一种通用注意力范式既具备 Softmax 注意力的全局建模与强表达能力又保持线性注意力的高效计算特性且可无缝集成到现有视觉 Transformer 架构中。二、模型整体架构Agent AttentionAgent Attention 的核心思想是引入代理令牌A作为中间媒介拆分查询Q与键K、值V的直接交互通过 “代理聚合 代理广播” 两步 Softmax 注意力实现全局信息传递整体架构如图 2 所示核心框架输入处理将输入特征映射为查询 Q∈ℝ^(N×C)、键 K∈ℝ^(N×C)、值 V∈ℝ^(N×C)N 为输入令牌数C 为特征维度代理令牌生成通过池化、卷积或可学习参数等方式生成少量代理令牌 A∈ℝ^(n×C)n 为代理令牌数n≪N默认设置 n 远小于 N两步注意力交互代理聚合Agent Aggregation将 A 作为查询与 K、V 进行 Softmax 注意力计算聚合全局信息得到代理特征 V_A σ(A K^T) V代理广播Agent Broadcast将 A 作为键与 Q、V_A 进行 Softmax 注意力计算将全局信息广播至每个查询得到最终输出 O σ(Q A^T) V_A增强模块引入代理偏置Agent Bias补充位置信息通过深度卷积DWC恢复特征多样性构成完整的 Agent Attention Module。核心优势复杂度线性化整体复杂度为 O (NnC)因 n≪N等价于 O (N)远低于 Softmax 注意力的 O (N²C)表达能力保留通过两步 Softmax 注意力实现 Q 与 K/V 的间接全局交互未牺牲长距离依赖建模能力模型无关性可作为插件模块替换现有 Transformer 中的注意力层无需重构整体架构高分辨率适配线性复杂度使其在高分辨率图像场景中优势显著无需限制感受野。MolCLR: 基于分子对比学习的图神经网络模型 论文: https://doi.org/10.1038/s42256-022-00447-x• 代码: https://github.com/yuyangw/MolCLR无监督学习一个重要的途径比对学习。无监督学习、有监督学习、自监督学习。在标注分子数据极其有限、化学空间又极其庞大的现实下怎样通过自监督学习获得通用而且可迁移的分子表示用于分子性质预测和药物发现。传统方法要么依赖人工构造的分子指纹如ECFP要么使用SMILESRNN/Transformer或者直接在分子图上训练GNN但在小数据、分布偏移的场景下它们往往泛化能力不足。研究团队提出了基于图对比学习的自监督框架MolCLR在包含三种分子图增强策略原子掩蔽、键删除、子图移除的大规模无标注分子数据上进行千万级预训练并在多种下游分子性质预测任务上取得SOTA性能。t-SNE 可视化和指纹相似性分析进一步表明MolCLR 学到的表征能够有效捕捉分子骨架与官能团层面的结构相似性同时在分子筛选与药物发现中开创性地引入对比学习以及“预训练和微调”的等方法对后续方法设计具有重要的启发意义。分子机器学习在高效分子性质预测和药物发现中具有巨大潜力。然而标注分子数据的获取往往代价高昂且耗时。由于标注数据有限监督学习模型在面对庞大化学空间时很难实现良好的泛化能力。为此该研究提出MolCLRMolecular Contrastive Learning of Representations via Graph Neural Networks这是一种利用大规模未标注数据约一千万个独特分子的自监督学习框架。在MolCLR的预训练阶段首先构建分子图并设计图神经网络编码器来学习可微的分子表征。该方法提出了三种分子图增强方式原子遮蔽atom masking、键删除bond deletion和子图移除subgraph removal。对比学习估计器通过最大化同一分子不同增强视图之间的一致性、最小化不同分子之间的一致性来进行训练。实验表明该对比学习框架显著提升了图神经网络编码器在多种分子性质基准任务上的表现涵盖分类和回归任务。得益于在大规模未标注数据库上的预训练MolCLR在若干具有挑战性的基准数据集上微调后可以达到当前最优水平。此外进一步分析表明MolCLR能够将分子嵌入到一种表征空间中使其能够区分在化学上合理的分子相似性。在该研究中提出了如图1所示的MolCLRMolecular Contrastive Learning of Representations via Graph Neural Networks用于解决前文提到的这些挑战。MolCLR是一种自监督学习框架在约1000万条未标注分子构成的大型数据集上进行训练。通过对比损失函数MolCLR通过对比正样本分子图对与负样本分子图对学习有效的分子表示。MolCLR引入了三种分子图增强策略原子掩蔽atom masking、键删除bond deletion和子图移除subgraph removal。由同一个分子通过增强得到的图对被视为正样本对而来自不同分子的增强图对则被视为负样本对。在MolCLR中采用了两类广泛使用的GNN模型——图卷积网络GCN和图同构网络GIN——作为编码器从分子图中提取信息量丰富的表示。随后将预训练好的模型在MoleculeNet提供的下游分子性质预测基准数据集上进行微调。与直接通过有监督学习训练的GCN与GIN相比MolCLR在分类和回归任务上都取得了显著性能提升。得益于在大规模未标注数据库上的预训练MolCLR在多个分子基准任务上优于其他自监督学习和预训练方法。此外在若干任务上即便与那些使用复杂分子图卷积算子或领域特定特征工程的有监督学习基线方法相比MolCLR也能达到甚至超越其性能。该研究还表明当将这些分子图增强策略直接作为数据增强模块应用到有监督学习中时也能显著提升分子基准任务的表现。进一步将MolCLR表征与传统指纹FP对比的结果表明MolCLR通过在大规模未标注数据上的预训练学会了区分化学上合理的分子相似性。总结而言提出了MolCLR这一用于分子表示学习的自监督框架设计了三种用于生成对比样本对的分子图增强策略原子掩蔽、键删除和子图移除受益于在大规模未标注数据上的预训练经MolCLR训练的简单GNN模型在所有分子基准任务中相较传统有监督学习取得了显著性能提升与无法利用未标注数据的更复杂GNN模型相比结合微调策略后MolCLR甚至可以将这些简单GNN模型提升到若干分子基准任务的SOTA水平。Performative Time-Series Forecasting标题Performative Time-Series Forecasting期刊KDD’25: Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining V.2时间2025作者Zhiyuan Zhao, Haoxin Liu, Alexander Rodríguez, B. Aditya Prakash*机构Georgia Institute of Technology, Atlanta, GA, USADOIhttps://doi/10.1145/3711896.3737078Codehttps://github.com/AdityaLab/pets尽管现有模型通过使用精心设计的注意力机制捕捉长期依赖关系实现了最先进性能但这些模型的开发并未考虑输入特征与目标变量之间的反馈循环。这些模 型忽略了预测可能影响其试图预测结果的事实这一现象被称为表演性。概念漂移在非平稳分布下的学习——即外生协变量到目标的条件分布随时间变化的情况。表演性预测涉及在预测模型θ影响底层数据分布D(θ)的情况下进行预测。自反性时间序列对齐Performative Time-Series Alignment最大化目标序列与完整训练数据上外生特征的滑动窗口之间的相似性余弦相似度来确定延迟时间τ。延迟转换模块Delay Translation Module解决测试期间延迟响应数据因tτ可能大于T而无法观测未来数据的挑战。基于当前输入特征准确预测延迟响应隐式 anticipating从D到D(θ, t)的分布偏移。采用序列到序列映射神经网络处理该自回归任务。预测模块Forecasting Module从延迟翻译模块获得估计的延迟响应后问题就转化为涉及多元时间序列数据的常规时间序列预测。FPS是一个两阶段前向算法首先预测因表演性分布偏移产生的中间目标——延迟响应随后利用预测的延迟响应来预测最终目标。FPS中预测模块与传统时间序列预测的关键区别在于FPS在预测窗口中采用估计的延迟响应这模拟了目标预测的直接成因。相比之下传统时间序列预测仅使用回看窗口中的未考虑表演性且可能模拟时间步间错误的因果效应 。