技术标签: cnn 计算机视觉 深度学习 人工智能 神经网络
视频链接:https://www.bilibili.com/video/BV1J3411C7zd?vd_source=a0d4f7000e77468aec70dc618794d26f
代码:https://github.com/WZMIAOMIAO/deep-learning-for-image-processing
FCN是2015年提出的首个端对端的针对像素级预测的全卷积网络。
如今的pytorch实现的FCN都是基于ResNet-50的backbone,不是论文中的VGG16,且使用的是空洞卷积(也叫膨胀卷积)
而换为卷积层之后,最后得到的是1000通道的2D图像,可以可视化为heat map图。
一般说的vgg16是D:
全连接操作前后:77512(通道)
【 假 设 忽 略 偏 置 】 \color{red}{【假设忽略偏置】} 【假设忽略偏置】
全连接FC1计算:计算对应某一个结点的输出,将该节点与上一层某一个结点的权重与输入对应节点数值相乘,再求和
FC1参数:
25088*4096=102760448下层使用7*7的卷积核、stride=1,4096个卷积核的一个卷积层
Conv参数:
77512*4096=102760448一 个 卷 积 核 和 F C 1 一 个 节 点 参 数 量 一 样 \color{red}{一个卷积核和FC1一个节点参数量一样} 一个卷积核和FC1一个节点参数量一样,一共4096个卷积核,FC也是4096个节点。
【 不 忽 略 偏 置 的 正 常 卷 积 操 作 , 4096 个 卷 积 核 应 该 有 4096 个 偏 置 项 】 \color{red}{【不忽略偏置的正常卷积操作,4096个卷积核应该有4096个偏置项】} 【不忽略偏置的正常卷积操作,4096个卷积核应该有4096个偏置项】
全连接层的输入是一维数组,多维数组需先进行Flatten进行一维化处理,然后连接全连接层。全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。全连接图结构如下:
其中,x1、x2、x3为全连接层的输入,a1、a2、a3为输出,有
权值参数=输入一维数组大小*全连接层输出结点数
偏置参数b=全连接层输出结点数
eg:
输入有[5044]个神经元结点,输出有500个结点,则一共需要5044*500=400000个权值参数W和500个偏置参数b
卷积跟全连接都是一个点乘的操作,区别在于卷积是作用在一个局部的区域,而全连接是对于整个输入而言,那么只要把卷积作用的区域扩大为整个输入,那就变成全连接了,我就不给出形式化定义了。所以我们只需要把卷积核变成跟输入的一个map的大小一样就可以了,这样的话就相当于使得卷积跟全连接层的参数一样多。
eg:输入是224x224x3 的图像,假设经过变换之后最后一层是[7x7x512]的,那么传统的方法应该将其展平成为一个7x7x512长度的一层,然后做全连接层,假设全连接层为4096×1000层的(假设有1000个分类结果)。 那么用1×1卷积核怎么做呢,因为1×1卷积核相当于在不同channel之间做线性变换,所以:
先选择7×7的卷积核,输出层特征层数为4096层,这样得到一个[1×1×4096]层的
然后再选择用1×1卷积核,输出层数为1000层,这样得到一个[1×1×1000]层这样就搞定了。
上采样倍率为32的模型对应的就是FCN-32s,16s、8s同理。
FCN原论文中backbone的第一个卷积层padding=100,为了防止图片过小(例如192192)后面的卷积层会报错。
如果图片小于3232的话在卷积过程就会报错。
但是没必要设置,只要输入图片大小大于32*32,我们就可以将padding设置为3。
对于FCN-32s
:
vgg16 backbone输出的特征图大小就为h/32,w/32,512。高度宽度变为原图的1/32。
之后经过FC6层:
由于我们将FC6卷积层的padding设置为3、卷积核大小7*7,通过FC6之后将不会改变特征图的高和宽;且我们使用了4096个卷积核,所以这里就得到了4096个2D特征图。
经过FC7:
使用了1*1大小的卷积核,步距也为1,所以输出特征图shape也不会发生变化。
之后经过卷积核大小为1*1的卷积层:
它的卷积核的个数和我们的分类类别数一样(包含背景,对于voc为20类+1背景),将特征图通道数变为num_cls。
之后通过一个转置卷积:
这里的s32我们会将特征图上采样32倍【原论文中使用的是双线性插值】,得到特征图大小变为h,w,num_cls。
之后特征图经过一个softmax处理就能得到针对每一个pixel的预测类别。
前面的backbone使用的是vgg16的预训练权重,整个结构十分简单,但是效果还是非常不错的。
其实这里的转置卷积在原论文中其实是将参数给冻结住了,冻结住意味着其实它就是一个简单的双线性卷积了。
所以这里其实可以不使用转置卷积,可以直接使用深度学习框架提供给我们的双线性插值方法。
为什么会冻结呢?
作者说冻结不冻结作者觉得结果好像没有什么差别,而且冻结参数会少一些。up主觉得冻结不冻节效果一般的原因是这里的上采样倍率太大了,有点强人所难的感觉。有兴趣的可以看一下u-net中的上采样率是多少。
FC6、FC7、Conv2d核32s的一样。
不同点:
【 F C N − 16 s 中 融 合 了 来 自 m a x p o o l 4 的 信 息 】 \color{red}{【FCN-16s中融合了来自maxpool4的信息】} 【FCN−16s中融合了来自maxpool4的信息】
须知:vgg16经过mxpool3之后特征图大小下采样率为8,经过maxpool4后下采样率为16。
不同点:
【 由 此 可 见 , F C N − 16 s 和 F C N − 8 s 融 合 了 一 个 底 层 的 信 息 ; 而 F C N 32 s 是 最 简 单 的 , 它 没 有 融 合 底 层 信 息 】 \color{red}{【由此可见,FCN-16s和FCN-8s融合了一个底层的信息;而FCN32s是最简单的,它没有融合底层信息】} 【由此可见,FCN−16s和FCN−8s融合了一个底层的信息;而FCN32s是最简单的,它没有融合底层信息】在网上看到最多的是FCN-32的实现。
针对每一个pixel都会去计算它所对应的一个Cross Entropy Loss,然后将所有pixel的交叉熵损失进行一个求平均操作就得到了一个我们网络的最终的一个损失
见前言:语义分割前沿
ResNet-50中先经过conv1 7*7的一个卷积
不 同 的 地 方 : \color{red}{不同的地方:} 不同的地方:
Bottleneck1:
将残差连接的2*2卷积层步距改为1,原来resnet这个分支会进行一个下采样将高和宽缩短为一半,【这里因为语义分割中下采样倍率过大的话,再还原成原图后,这里的效果其实会受影响,所以我们这里就没有必要再做一个下采样了。】
此外主干分支3*3卷积的步距也从2改为了1,同时引入了r参数,即膨胀系数。
Bottleneck2:
接下来通过FCN Head模块:33卷积层缩小通道为原来的1/4【2048-512】,再通过一个dropout和一个11卷积层,这里11卷积层调整特征层的channel为分割类别中的类别个数。
最后经过双线性插值还原特征图大小到原图。【图例:输入480480,上采样也到480*480】
layer3中引出的一条FCN Head,官方回答:为了防止误差梯度没法传递到网络浅层,这里就引入了一个辅助分类器。和google net中辅助分类器是差不多的。
训练的时候是可以使用辅助分类器件的【可用可不用,都可以试一下】,但是最后去预测或者部署到正式环境的时候只用主干的output,不用aux output。
up主的代码地址:https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/pytorch_segmentation/fcn
文章浏览阅读408次。 在ubuntu 8.04下安装Oracle 11g2008年05月22日 星期四 11:02oracle 11g 数据库虽然提供了linux x86的版本,但是支持的linux版本只有Red Hat,Novell and Solaris 这几个,debian 和 ubuntu 不在支持之列,所以在ubuntu下安装就相对麻烦一些,请照着下文的方法一步一步的安装,不
文章浏览阅读166次。新东方在线中考网整理了《初一英语下册语法知识点全汇总》,供同学们参考。一. 情态动词can的用法can+动词原形,它不随主语的人称和数而变化。1. 含有can的肯定句:主语+can+谓语动词的原形+其他。2. 含有can的否定句:主语+can't+动词的原形+其他。3. 变一般疑问句时,把can提前:Can+主语+动词原形+其他? 肯定回答:Yes,主语+can。否定回答:No,主语+can't...._七年级下册计算机知识点
文章浏览阅读3k次。在平时开发中,可能会遇到UFUN函数没有的功能,比如创建PTP的加工程序(我目前没找到,哪位大神可以指点一下),可以使用Grip创建PTP,然后用UFUN函数UF_call_grip调用Grip程序。具体如下截图(左侧UFUN,右侧Grip程序):..._uf调用grip
文章浏览阅读156次。第一个:原生普通样式(随着主题不同,样式会变)第二个:原生普通样式-小icon第三个:自定义RatingBar 颜色第四个:自定义RatingBar DrawableRatingBar 各样式实现===============原生样式原生样式其实没什么好说的,使用系统提供的style 即可<RatingBarstyle="?android:attr/ratingBarStyleIndicator"android:layout_width=“wrap_cont.._ratingbar样式修改
文章浏览阅读4.6k次,点赞6次,收藏11次。安装vs2017:参考vs2017下载和安装。安装cmake3.12.3:cmake是一个工程文件生成工具。用户可以使用预定义好的cmake脚本,根据自己的选择(像是Visual Studio, Code::Blocks, Eclipse)生成不同IDE的工程文件。可以从它官方网站的下载页上获取。这里我选择的是Win32安装程序,如图所示:然后就是运行安装程序进行安装就行。配置glfw3...._vs2017的opengl环境搭建(完整篇)
文章浏览阅读976次。MLC NAND,UBIFS_ubifs warning
文章浏览阅读2.2k次。计算机系统的两种存储器形式介绍时间:2016-1-6计算机系统的存储器一般应包括两个部分;一个是包含在计算机主机中的主存储器,简称内存,它直接和运算器,控制器及输入输出设备联系,容量小,但存取速度快,一般只存放那些急需要处理的数据或正在运行的程序;另一个是包含在外设中的外存储器,简称外存,它间接和运算器,控制器联系,存取速度虽然慢,但存储容量大,是用来存放大量暂时还不用的数据和程序,一旦要用时,就..._计算机存储器系统采用的是主辅结构,主存速度快、容量相对较小,用于 1 分 程序,外
文章浏览阅读5.6k次。1. STEP 7(Simatic Manager):STEP 7或者Simatic Manager是西门子PLC编程最常用的软件开发环境。4. STEP 7 MicroWin:STEP 7 MicroWn是一款专门针对微型PLC(S7-200系列PLC)的编程软件,是Simatic Manager的简化版。如果需要与PLC系统配合使用,则需要与PLC编程工具进行配合使用。除了上述软件之外,西门子还提供了一些配套软件和工具,如PLC模拟器、硬件调试工具等,以帮助PLC编程人员快速地进行调试和测试。_西门子plc编程软件
文章浏览阅读36次。【代码】HashMap扩容。_hashma扩容
文章浏览阅读2.9k次。1mvn dependency:copy-dependencies2 项目右键 -> Maven -> Disable Maven Nature3 项目右键 -> Configure -> Convert to Maven Project_maven资源加载不全,怎么重新加载
文章浏览阅读527次。DMLDML的全称是Database management Language,数据库管理语言。主要包括以下操作:insert、delete、update、optimize。本篇对其逐一介绍INSERT数据库表插入数据的方式:1、insert的完整语法:(做项目的过程中将字段名全写上,这样比较容易看懂)单条记录插入语法:insert into table_name (column_name1,......_dml的全称是
文章浏览阅读136次。可以参考: http://git.oschina.net/jrain-group/ 组织下的Java Modbus支持库Modbus-系列文章1、虚拟成对串口(1)下载虚拟串口软件VSPD(可在百度中搜索)image.png(2)打开软件,添加虚拟串口。在设备管理中,看到如下表示添加成功。..._最好用的 modebus调试工具