训练CV模型新思路来了：用NLP大火的Prompt替代微调，性能全面提升

Prompt tuning，作为 NLP 领域中的一个新宠，甚至曾被学者誉为 NLP 预训练新范式那么，它能否借鉴到 CV 领域并产生同样的成绩呢

现在，来自康奈尔大学和 Meta AI 等机构，通过 Prompt 来调整基于 Transformer 的视觉模型，结果发现:完全可以！

比起全面微调，Prompt 性能提升显著无论模型的规模和训练数据怎么变，24 种情况中有 20 种都完全胜出

与此同时，它还能大幅降低每项任务所需的存储成本。

只使用不到 1% 的模型参数

大家一贯使用的全面微调，需要为每个下游任务存储和部署单独的主干参数副本，成本太高，尤其是现在基于 Transformer 的模型越来越大，已经超过 CNN 架构。

所谓 Prompt，最初指的是在输入文本中预编语言指令，以便预培训的语言模型后续可以直接理解各种下游任务它曾让 GPT—3 即使在少样本或零样本的情况下表现出很强的泛化能力

最近一些成果则表明，Prompt 与完全微调的性能相当，参数存储量还减少了 1000 倍NLP 中的高超性能让不少人开始在 CV 领域中探索 Prompt 的魔力，不过都只局限于跨模态任务中文本编码器的输入

在实操中，这些附加参数只用预先加入到每个 Transformer 层的输入序列中，并在微调期间与线性 head 一起学习。

他们一共探索出两种变体:

VPT—Deep 变体为 Transformer 编码器每层的输入预先设置一组可学习的参数，

VPT—Shallow 变体则仅将提示参数插入第一层的输入。北京微电子技术研究所消息显示，近日，中国航天科技集团公司九院772所率先提出基于栅氧反熔丝技术研制抗辐射PROM的技术路线，研制出国际最大容量抗辐射反熔丝PROM存储器，产品存储容量达到128Mbit，可满足Virtex5系列和Kintex7系列主流FPGA配置需求，提供了一条自主创新，自主可控的大容量FPGA配置解决方案。

两者在下游任务的训练过程中，只有特定于任务的提示和线性头的参数会更新，而整个 Transformer 编码器被冻结。

接下来，是骡子是马。。拉出来溜溜～

20/24 的优胜率

实验涉及两种在 ImageNet—21k 上预训练好的主干，一个来自 Vision Transformer，一个来自 Swin Transformer。

进行对比的微调方法有三大种，7 小种，包括:

完全微调:更新所有主干和分类头参数

以分类头为重点的微调，包括 Linear，Partial—k 和 Mlp—k 三种，

以及在微调过程中更新一个主干子集参数或向主干添加新的可训练参数的方法，分为 Sidetune，Bias 和 Adapter 三种。

实验的数据集有两组，一共涉及 24 个跨不同领域的下游识别任务，包括:

由 5 个基准细粒度视觉分类任务组成的 FGVC，

由 19 个不同视觉分类集合组成的 VTAB—1k，细分为使用标准相机拍摄的自然图像任务，用专用设备捕获的图像任务以及需要几何理解的任务，比如物体计数。

测得每项任务上的平均准确度后，得出的主要结果如下:

VPT—Deep 在 24 个任务中有 20 个的表现都优于全面微调，同时使用的总模型参数显著减少，

要知道，在 NLP 领域中 Prompt 再厉害，性能也不会超过全面微调这说明 Prompt 很适用于视觉 Transformer 模型和其他微调方法相比，VPT—Deep 的性能则全部胜出

此外，选择不同主干参数规模和模型规模的 ViT进行测试还发现，VPT 方法不会受影响，依然基本保持性能领先。

而在 Swin Transformer 中，全面微调法的平均准确度虽然更高，但也付出了巨大的参数代价其他微调方法则全部不敌 VPT

一作贾梦霖，康奈尔大学信息科学博士生，主要研究方向为视觉和文本信息的细粒度识别，截至目前共发表过 4 篇顶会。

共同一作为唐路明，也是康奈尔大学的一位计算机博士在读学生，本科毕业于清华大学数学与物理专业。

他的主要研究方向为机器学习和计算机视觉的交叉领域。

论文地址: