论文介绍MetaFormer（Transformer的抽象架构）已被证实对实现强劲性能具有重要作用。本文进一步探索MetaFormer的潜力，再次聚焦于无需精心设计token mixer的特性：基于MetaFormer框架引入数种采用最基础或常见mixer的基线模型，主要发现如下：（1）MetaFormer确保性能的坚实下限。仅采用恒等映射作为token mixer时，该模型（IdentityFormer）在ImageNet-1K上仍能取得80%的准确率。（2）MetaFormer兼容任意token mixer。即使采用随机矩阵混合token，所得模型RandFormer准确率仍超81%，优于IdentityFormer。采用新型token mixer时，MetaFormer的性能表现具有可靠性保障。（3）MetaFormer轻松实现前沿性能。仅使用五年前的传统token mixer实例化的模型即可超越现有最优成果：ConvFormer超越ConvNeXt：以常见的深度可分离卷积为token mixer的纯CNN模型ConvFormer，性能优于强CNN基线ConvNeXt。CAFormer创ImageNet-1K新记录：在底层阶段使用深度可分离卷积，顶层阶段采用普通自注意力机制，该模型在224×224分辨率下以常规监督训练（无需外部数