论文阅读笔记《Meta-learning for semi-supervised few-shot classification》_self-supervised continuous meta-learning for few-s-程序员宅基地

小样本学习&元学习经典论文整理||持续更新

核心思想

本文提出一种基于半监督训练的小样本分类算法。所谓半监督就是在训练集中即包括带有标签的图片，也包含不带有标签的图片，作者认为人类在学习物品分类时，也会观察到许多非目标类别的物体，这种学习方式更加接近实际使用需求，并且可以提高算法的泛化能力。本文以原型网络（Prototypical Network）作为baseline，在此基础上提出了三种改进型，以满足无监督训练的需要。与原型网络（Prototypical Network）相似，训练集也划分为支持集与查询集，不同的是在支持集中还包含有不带有标签的图片，这些图片的类别既有支持集中需要训练的类别，也有原本支持集中并不存在的类别（作为干扰项），测试集情况基本类似。
在这里插入图片描述
下面主要介绍本文提出的原型网络的三种改进型，关于原型网络的介绍可以查看之前的文章（点击此处查看），此处不再重复介绍了。

带有软k均值的原型网络
对于无标签的图片分类而言，最直接的方法就是k均值（k-means）算法了，本文选择软k均值（soft k-means）算法，是因为硬k均值算法不可微。首先使用正常的原型网络得到带有标签数据集对应的原型 $p_c$ 作为聚类中心，然后根据无标签样例与聚类中心之间的欧氏距离得到一个局部位置 $\tilde{z}_{j,c}$ ；最后通过将无标签的样例整合到各个原型中，得到更新后的原型 $\tilde{p}_c$ ，计算过程如下：

这个改进可以理解为先利用有标签样例得到原型，再将无标签的样例按照就近原则划分给各个原型，并修正原型的位置。
带有一个干扰项中心和软k均值的原型网络
上个方案存在一个重要的问题，就是在无标签数据集中包含部分干扰项，其类别与有标签数据集中的类别不同，如果简单的将其划分给现有的原型，会导致数据污染。为了避免这一情况，作者为干扰性提供了一个初始值为0的聚类中心，并引入一个长度尺度参数 $r_c$ 用于表示与聚类中心之间距离的变化，具体计算过程如下：

整合的方式与第一种改进型相同，这一方案相当于为所有的干扰项提供一个新的聚类中心，以避免其干扰之前的原型。
带有掩码和软k均值的原型网络
第二个方案只把所有的干扰项分为一类，这显然太过简单了，不符合实际情况。作者提出的第三个改进方案并不是将干扰项都划分到具备高方差多类别的原型里去，而是采用一种掩码的方式，使得与原型距离远的样本被掩盖掉，距离近的则更少被掩盖。首先计算未标记的样例与原型之间的规范化距离 $\tilde{d}_{j,c}$

然后，通过训练的方式得到两个参数，分别是软阈值 $\beta_c$ 和斜率 $\gamma_c$ ，这两个参数是通过一个多层感知机得到的，输入值是关于规范化距离 $\tilde{d}_{j,c}$ 的统计学参数

式中skew表示倾斜度，kurt表示峰值系数。最后利用学习到的参数 $\beta_c$ 和 $\gamma_c$ 实现掩码

式中 $\sigma$ 表示sigmoid函数，因为sigmoid函数当输入越小，输出越接近于0；输入越大，输出越接近于1；输入为0时，输出为0.5。所以当规范化距离 $\tilde{d}_{j,c}$ 超过阈值 $\beta_c$ 时，其掩码值 $m_{j,c}$ 会接近于0（相当于被掩盖了）；当规范化距离小于阈值时，其掩码值则更接近于1（相当于被保留了）。

实现过程

网络结构

与原型网络相同

损失函数

正确分类概率的负对数均值
在这里插入图片描述

创新点

提出一种半监督训练的小样本分类算法，提高算法的泛化能力
在原型网络的基础上提出三种改进型

算法评价

本文是原型网络的改进型，也是看到的第一篇采用半监督学习的元学习算法。整体而言还是具有一些有趣的创新点的，尤其是第三种改进型中应用的掩码方法，是之前没有见过的。但由于训练集中包含无标签样例，因此在训练量总数相同的情况下，其准确率还是低于有监督学习的。而且根据作者的实验结果，也无法确定三种改进型的优劣（在不同测试条件下，表现并不统一），因此对于小样本分类任务的改进作用有限。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。在这里插入图片描述

本文链接：https://blog.csdn.net/qq_36104364/article/details/106243619

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

pta基础编程题目集，c语言实现_pta编程题-程序员宅基地

文章浏览阅读657次，点赞6次，收藏6次。由于考研复试的机试需要指定c语言完成，很长时间没有写过c语言的代码，故而用c语言刷了pta上的基础编程题目集，后续会继续更新c语言实现的数据结构。_pta编程题

yolov5 检测一类物体_怎么让yolov5只检测单一物体-程序员宅基地

文章浏览阅读8.2k次，点赞15次，收藏99次。yolov5的官方框架可较好的对共80种类进行目标检测，本文介绍一种直接修改源代码来只检测一类物体的方法以及通用的方法。_怎么让yolov5只检测单一物体

configmap中json或者yaml内容格式问题_不符合yaml1.2的json-程序员宅基地

文章浏览阅读2.2k次。configmap中json或者yaml内容格式问题，是什么原因？怎么排查问题呢？_不符合yaml1.2的json

系统函数-文件操作-truncate()_truncate的返回值-程序员宅基地

文章浏览阅读1k次。文件截断或填充truncate#include int truncate(const char * path, off_t length);int ftruncate(int fd, off_t length);函数说明：truncate()会将参数path 指定的文件大小改为参数length 指定的大小. 如果原来的文件大小比参数length 大, 则超过的部分会被删去.返_truncate的返回值

java:打印三角形的星星(附完整源码)_java打印三角形星星-程序员宅基地

文章浏览阅读534次。java:打印三角形的星星(附完整源码)_java打印三角形星星

技术博客汇总-程序员宅基地

文章浏览阅读4.1k次。Android中文WikiAndroidStudio-NDK开发-移动开发团队谦虚的天下 - 博客园gundumw100博客 - android进阶分类文章列表 - ITeye技术网站CSDN博文精选：Android系列开发博客资源汇总 - CSDN.NET - CSDN资讯Android笔记本——半年来的研究笔记,导航。 - 思想实践地 - 程序员宅基地【魏祝林】Android中

随便推点

oracle 左连接(left join) 排序问题_left join改变结果顺序-程序员宅基地

文章浏览阅读7.1k次。项目环境：linux、tomcat8.5、SSM框架、oracle11g项目中一个列表查询，使用了左连接(left join)，类似这样：select * from A left join B on A.xx=B.xx(A是个视图，视图内是有order by的)在PL/SQL中查询的结果集排序同A表，但项目部署到服务器后，排序却乱了，确认A表使用了order by，排序无问题，那么可能问..._left join改变结果顺序

菜鸟小万的每天一道ccf题Day12（201612-01中间数）-程序员宅基地

文章浏览阅读104次。欢迎大家留言一起探讨更好的解法，有什么错误也欢迎指正呀。呜呜呜呜，dbq，连上21天课我要废了，时间只能让我完成第一题了。忙完这周必然开始第二题（flag）。标题已经加了题号了，方便查找。201612-01中间数问题描述　　在一个整数序列a1, a2, …, an中，如果存在某个数，大于它的整数数量等于小于它的整数数量，则称其为中间数。在一个序列中，可能存在多个下标不相同的中间数，这些中间数的值是相同的。　　给定一个整数序列，请找出这个整数序列的中间数的值。输入格式　　输入的第一行包含了一个整