半监督学习将再度兴起！谷歌祭出大杀器：无监督数据增强-程序员宅基地
近日，谷歌AI发布了一篇博文，博文指出可以对无标注数据执行数据增强，从而显著提高了半监督学习(SSL)的性能，因此研究人员相信"半监督学习将再度兴起！"
以下是具体内容：
很大程度上，影响深度学习成功的关键因素有：算法的进步、并行处理硬件(GPU / TPU)以及大规模标注数据集的可用性(如ImageNet）。
然而，当标注数据稀缺时，很难通过训练使神经网络表现良好。这种情况下，研究人员可以应用数据增强技术，例如：通过转述一个句子或旋转一个图像，可以有效加的训练数据量。
近来，在用于自然语言处理（NLP）、视觉和语音等领域的数据增强方法上，已经取得了重大进展。遗憾的是，数据增强通常仅限于监督学习，在这种学习中，标签需要从原始示例迁移到扩展示例。
基于文本(顶部)或基于图像(底部)的训练数据的增强操作示例。
在近来的工作中《用于一致性训练的无监督数据增强(UDA)》一文中，我们发现可以对无标注数据执行数据增强，从而显著提高半监督学习(SSL)的性能。
基于此，我们相信SSL会再度兴起，理由如下：
(1)SSL可以匹配甚至优于使用更多标记数据的纯监督学习。
(2)SSL可用于文本和视觉的跨领域工作。
(3)SSL可结合迁移学习，例如，在BERT的微调。
GitHub传送门：
https://github.com/google-research/uda
无监督数据增强
无监督数据增强(UDA)同时使用标记数据和未标记数据。为了使用标记数据，UDA使用监督学习的标准方法来计算损失函数以此来训练模型，如下图左侧所示。
对于未标注的数据，在一致性训练中，应用于强制未标注的示例和增强未标注的示例的预测相似。如图右侧所示。
在这里，将相同的模型应用于未标注的示例和增强的对应示例，以生成两个预测模型，从中计算一致性损失(即两个预测分布之间的距离)。然后，UDA通过联合优化标注数据的监督损失和未标注数据的无监督一致性损失来计算最终的损失。
关于无监督数据增强的概述
左: 使用标注数据计算标准监督损失。右:使用未标注的数据，计算示例与其增强版本之间的一致性损失。
通过最小化一致性损失，UDA可将标注信息从已标注示例传播到未标注示例。直观地说，可以将UDA看作一个隐式迭代过程。
首先，该模型通过少量标记示例正确预测一些未标注的示例，通过一致性损失将标注信息传播到到增强的对应项中。
随着时间的推移，将会正确预测更多未标注的示例，这反映了模型被普遍改进。其他各类噪音也经过了一致性训练的测试(如高斯噪声、对抗性噪声等)，然而，我们发现数据增强比这些表现都好，从而在语言到视觉的各种任务上都达到了最先进的水平。UDA根据任务不同应用（包括反向翻译、自动增强和TF-IDF单词替换）等不同的增强方法，
NLP和计算机视觉的基准
在IMDb的情绪分析任务中，只用20个标记示例，UDA通过50000个未标记的示例，实现了4.20的错误率。在之前的模型训练中，UDA使用25,000个标记的示例，错误率为4.32。上述结果表明，在低数据环境下，UDA更有效。大数据体制下，UDA使用完整的训练集，提供了巨大的收益。
IMDb的基准是一种情绪分析任务。在不同培训规模的监督学习中，UDA最先进。
在CIFAR-10半监督学习的基准上，UDA的性能比现有的SSL方法(如VAT、ICT和MixMatch)都要好得多。
使用4k的示例，UDA的错误率为5.27，与使用50k示例的全监督模型的性能相匹配。此外，由于采用了更先进的体系结构PyramidNet+ShakeDrop, UDA实现了2.7的最新错误率，与之前最好的半监督结果的错误率相比降低了45%以上。
在SVHN上，UDA使用250个标注的样本，错误率是2.85，与经过~70k标注样本训练的全监督模型的性能相匹配。
基于CIFAR-10的SSL基准测试是一个图像分类任务。UDA超越了所有使用Wide-ResNet-28-2结构的半监督学习方法，在4000个示例中，UDA的性能与50,000个示例的完全监督设置相匹配。
在ImageNet上，使用10%标注的示例时，UDA将top-1的准确率从55.1%提高到68.7%。在高数据状态下，使用完全标注集和额外130万个未标注的示例，UDA将top-1的精度从78.3%提高到79.0%。
参考链接：
https://ai.googleblog.com/2019/07/advancing-semi-supervised-learning-with.html
欢迎关注磐创博客资源汇总站：http://docs.panchuang.net/
欢迎关注PyTorch官方中文教程站：http://pytorch.panchuang.net/
智能推荐
Sublime Text 关闭自动更新 | Mac_mac sublime text 取消更新提示-程序员宅基地
文章浏览阅读3.1k次。1. 打开配置文件Mac 如下图2. 在文件内部添加这段文字，就可以了："update_check":false _mac sublime text 取消更新提示
Linux系统下DNS配置指南_linux 服务器修改网络dns-程序员宅基地
文章浏览阅读548次，点赞10次，收藏6次。Linux系统下DNS配置指南_linux 服务器修改网络dns
Springboot/java/node/python/php基于springboot+vue手机售后管理系统【2024年毕设】-程序员宅基地
文章浏览阅读779次，点赞19次，收藏24次。springboot微信小程序的小疾病问诊服务系统的设计与实现。springboot基于spring的物业管理系统的设计与实现。springboot基于Java的高校学生请假系统。ssm基于Android的购物商场APP设计与实现。springboot基于微信小程序的智慧校园系统。ssm基于Android的英语词典的设计与开发。ssm基于SSM+Vue的学生实践管理平台开发。ssm基于android的企业员工考勤系统。ssm基于web的暗香小店系统的设计与实现。ssm基于Web的高等学校公费医疗管理系统。
css中hover属性的使用技巧_css hover的用法-程序员宅基地
文章浏览阅读2.3w次，点赞15次，收藏63次。hover属性用不同的书写方式，来改变不同关系的元素样式。元素:hover 表示聚焦后改变自己元素:hover 元素 表示聚焦后改变其子元素元素:hover + 元素 表示聚焦后改变其指定的“亲兄弟”（条件是该兄弟元素与其相邻）元素元素:hover ~ 元素 表示聚焦后改变其指定的兄弟元素，两个元素相不相邻都行。示例：.first:hover {color: white;}/* 聚焦我改变自己 */.three:hover .three-son {font-size: 20px._css hover的用法
coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习_pca反向压缩-程序员宅基地
文章浏览阅读6k次，点赞3次，收藏15次。coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习1聚类算法clutering1聚类算法简介2K-means21kmeans的目标函数22随机初始化23选择类别数3考试quiz维数约减 dimensionality reduction1数据压缩2数据可视化3维度约简-主成分分析法PCA1 PCA_pca反向压缩
vim插件安装及常用技巧_bxbx.vim-程序员宅基地
文章浏览阅读5.2k次。一、插件安装Vundle是vim的一个插件管理器， 同时它本身也是vim的一个插件。插件管理器用于方便、快速的安装、删除、Vim更新插件。mkdir -p ~/.vim/bundlegit clone https://github.com/gmarik/Vundle.vim.git ~/.vim/bundle/Vundle.vim管理器安装完成后，vim ~/.vimrc命令创建.vimrc文件syntax on" tab宽度和缩进同样设置为4set tabstop=4set softta_bxbx.vim
随便推点
【全开源】JAVA婚恋相亲红娘牵线系统源码支持微信小程序+微信公众号+H5+APP-程序员宅基地
文章浏览阅读530次，点赞23次，收藏10次。springboot+mybatisplus+mysql 用户端 uniapp（vue语法）管理后台 vue+elementUi。后台服务 springboot+mybatisplus+mysql。一、我们技术使用JAVA后台服务 前后端分离。管理后台 vue+elementUi。用户端 uniapp（vue语法）适配小程序+H5+公众号。私信客服获取演示地址。私信客服获取演示地址。
6.python输入整数年份，判断对应整数年份是否为闰年并输出结果_判断闰年的python程序直接输入一个代表年份的正整数-程序员宅基地
文章浏览阅读3.3k次，点赞3次，收藏5次。# -*- coding: UTF-8 -*-year = int(input("输入一个年份："))if year % 100 == 0: if year % 400 == 0: print('%d年是闰年' % year) else: print('%d年不是闰年' % year)else: if year % 4 == 0: print('%d年是闰年' % year) else: print('%d_判断闰年的python程序直接输入一个代表年份的正整数
【图像去噪】偏微分方程PDE图像去噪（含SNR）【含Matlab源码 1890期】_pdnet 深度学习 偏微分方程 去噪-程序员宅基地
文章浏览阅读987次，点赞20次，收藏19次。偏微分方程PDE图像去噪（含SNR）完整的代码，方可运行；可提供运行操作视频！适合小白！_pdnet 深度学习 偏微分方程 去噪
Ubuntu18.04安装教程（很详细）_ubuntu18安装-程序员宅基地
文章浏览阅读6.6w次，点赞128次，收藏962次。Ubuntu18.0详尽版安装教程下载Ubuntu18.04下载VMware Workstation安装虚拟机下载Ubuntu18.04官方网站：http://old-releases.ubuntu.com/releases/18.04.4/?_ga=2.44113060.1243545826.1617173008-2055924693.1608557140下载VMware Workstation这个在网上有很多教程下载，这里我就不写了，我用的版本是14 pro。如下图：安装虚拟机1、打开_ubuntu18安装
Android四大组件之Activity--管理方式_android activityrecord中的activitytype-程序员宅基地
文章浏览阅读1.7k次。1. 概览Activity的管理有静态和动态两层涵义： 静态是指Activity的代码组织结构，即Application中声明的Activity的集合，这些Activity被组织在一个APK中，有特定的包名。 在编写应用程序时，Activity对应到用户界面，它定义了用户界面的布局、交互行为、启动方式等，最重要的，是Activity的生命周期函数。 在应用进程看来，只需要按照Android定义的规范，实现生命周期函数的具体逻辑即可，所有的用户界面都遵循同一个规范。 编写完一个应用程序的所有用户界面_android activityrecord中的activitytype
[LINUX]sed查找不包含某个字符串的行，并进行替换_sed不包含字符串-程序员宅基地
文章浏览阅读5.5k次，点赞3次，收藏7次。sed 查找不包含某个特性 sed -i "/src/!s/xxx/bbb/g" xxx将不包含src的行中的xxx替换为bbb_sed不包含字符串