网摘一些概念全连接层 roi rpn_全连接层扁平化-程序员宅基地

先贴一篇讲的比较全的

http://www.cnblogs.com/dudumiaomiao/p/6560841.html

http://blog.csdn.net/myarrow/article/details/51878004

一全连接层

1.整体的结构框图

2.全连接层的推导：

转自如下链接

http://blog.csdn.net/daydayup_668819/article/details/59486223

3。全连接层的具体含义：

全连接层（fully connected layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽。

卷积层模仿人的视觉通路提取特征，全连接层一般负责分类或者回归，由于全连接层会丢失一些特征位置信息，所以最近FCN火了起来，全部卷积层，不用全连接层。

转自：https://www.zhihu.com/question/41037974/answer/150522307

全连接的核心操作就是矩阵向量乘积

$y = Wx$

本质就是由一个特征空间线性变换到另一个特征空间。目标空间的任一维——也就是隐层的一个 cell——都认为会受到源空间的每一维的影响。不考虑严谨，可以说，目标向量是源向量的加权和。

在 CNN 中，全连接常出现在最后几层，用于对前面设计的特征做加权和。比如 mnist，前面的卷积和池化相当于做特征工程，后面的全连接相当于做特征加权。（卷积相当于全连接的有意弱化，按照局部视野的启发，把局部之外的弱影响直接抹为零影响；还做了一点强制，不同的局部所使用的参数居然一致。弱化使参数变少，节省计算量，又专攻局部不贪多求全；强制进一步减少参数。少即是多）

在 RNN 中，全连接用来把 embedding 空间拉到隐层空间，把隐层空间转回 label 空间等。

作者：张程序员

链接：https://www.zhihu.com/question/41037974/answer/150546125

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

卷积层本来就是全连接的一种简化形式:不全连接+参数共享，同时还保留了空间位置信息。这样大大减少了参数并且使得训练变得可控。

全连接就是个矩阵乘法，相当于一个特征空间变换，可以把有用的信息提取整合。再加上激活函数的非线性映射，多层全连接层理论上可以模拟任何非线性变换。但缺点也很明显: 无法保持空间结构。

全连接的一个作用是维度变换，尤其是可以把高维变到低维，同时把有用的信息保留下来。

全连接另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达。

不同channel同一位置上的全连接等价与1x1的卷积。

N个节点的全连接可近似为N个模板卷积后的均值池化(GAP)。

作者：wangyang

链接：https://www.zhihu.com/question/41037974/answer/150712739

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

总的来说，全连接层就是将特征提取转为目标框的分类，并且这个起到了维度转化，没有保留之前的结构信息，采纳了所有点的信息，形象的说，还是那个蚂蚁的例子，每个蚂蚁看到了一小片面包，开一个蚂蚁大会，大家投票表决到底是个什么东西。

最后再加一个参考：http://blog.csdn.net/yiliang_/article/details/60468530

二 RoI pooling

1 Fast R-CNN的图

http://blog.csdn.net/NNNNNNNNNNNNY/article/details/68483053

2. RoI的输入输出

ROI pooling 层：

输入 shape ：(N, W/16, H/16, channels)，为什么除了16，因为使用VGG16的话，会经历四次 2*2 的 max poolinig。
输出 shape ：(num_rois, expected_H, expected_W, channels) ，论文中提到如果使用 VGG-16 的话，expected_H=expected_W=7
既然图片的大小已经下降了16 倍，那么输入的 roi 也会相应的就行缩小16倍。（在代码中也有体现）
这样的话，我们就可以用放缩后的 roi 来取图片的 roi 区域，然后对这些区域进行 roi-pooling

再贴另一篇将RoI输入输出的文章http://blog.csdn.net/lanran2/article/details/60143861

roi的主要目的还是从feature map上抠出感兴趣区域，然后pooling。

为什么要做pooling呢？因为只要pooling出来了最大值，那么不管这个最大值在图片中的哪个位置，都会被检测出来，也就引入了不变性。

注意；pooling的尺度是不一样的，比如可以设置成9*9的，4*4的，最后都卷积为一个值。

pooling的连接: http://www.cnblogs.com/573177885qq/p/6071646.html

三 rpn

转自：http://www.cnblogs.com/EstherLjy/p/6774848.html

RPN的实现方式：在conv5-3的卷积feature map上用一个n*n的滑窗（论文中作者选用了n=3，即3*3的滑窗）生成一个长度为256（对应于ZF网络）或512（对应于VGG网络）维长度的全连接特征。然后在这个256维或512维的特征后产生两个分支的全连接层：1.reg-layer,用于预测proposal的中心锚点对应的proposal的坐标x，y和宽高w，h；2.cls-layer，用于判定该proposal是前景还是背景。sliding window的处理方式保证reg-layer和cls-layer关联了conv5-3的全部特征空间。事实上，作者用全连接层实现方式介绍RPN层实现容易帮助我们理解这一过程，但在实现时作者选用了卷积层实现全连接层的功能。个人理解：全连接层本来就是特殊的卷积层，如果产生256或512维的fc特征，事实上可以用Num_out=256或512, kernel_size=3*3, stride=1的卷积层实现conv5-3到第一个全连接特征的映射。然后再用两个Num_out分别为2*9=18和4*9=36，kernel_size=1*1，stride=1的卷积层实现上一层特征到两个分支cls层和reg层的特征映射。注意：这里2*9中的2指cls层的分类结果包括前后背景两类，4*9的4表示一个Proposal的中心点坐标x，y和宽高w，h四个参数。采用卷积的方式实现全连接处理并不会减少参数的数量，但是使得输入图像的尺寸可以更加灵活。

最后贴一个cs231n学习笔记：http://blog.csdn.net/myarrow/article/details/51878004

本文链接：https://blog.csdn.net/hit_shaoqi/article/details/75017781

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

python opencv resize函数_python opencv 等比例调整（缩放）图片分辨率大小代码 cv2.resize()...-程序员宅基地

文章浏览阅读1.3k次。# -*- coding: utf-8 -*-"""@File : 200113_等比例调整图像分辨率大小.py@Time : 2020/1/13 13:38@Author : Dontla@Email : [email protected]@Software: PyCharm"""import cv2def img_resize(image):height, width = image...._opencv小图等比例缩放

【OFDM、OOK、PPM、QAM的BER仿真】绘制不同调制方案的误码率曲线研究（Matlab代码实现）-程序员宅基地

文章浏览阅读42次。对于这些调制技术的误码率（BER）研究是非常重要的，因为它们可以帮助我们了解在不同信道条件下系统的性能表现。通过以上步骤，您可以进行OFDM、OOK、PPM和QAM的误码率仿真研究，并绘制它们的误码率曲线，以便更好地了解它们在不同信道条件下的性能特点。针对这些调制技术的BER研究是非常重要的，可以帮助我们更好地了解这些技术在不同信道条件下的性能表现，从而指导系统设计和优化。6. 分析结果：根据误码率曲线的比较，分析每种调制方案在不同信噪比条件下的性能，包括其容忍的信道条件和适用的应用场景。_ber仿真

【已解决】Vue的Element框架，日期组件（el-date-picker）的@change事件，不会触发。_el-date-picker @change不触发-程序员宅基地

文章浏览阅读2.5w次，点赞3次，收藏3次。1、场景照抄官方的实例，绑定了 myData.Age 这个值。实际选择某个日期后，从 vuetool（开发工具）看，值已经更新了，但视图未更新。2、尝试绑定另一个值： myData，可以正常的触发 @change 方法。可能是：值绑定到子对象时，组件没有侦测到。3、解决使用 @blur 代替 @change 方法。再判断下 “值有没有更新” 即可。如有更好的方法，欢迎评论！..._el-date-picker @change不触发

PCL学习：滤波—Projectlnliers投影滤波_projectinliers-程序员宅基地

文章浏览阅读1.5k次，点赞2次，收藏8次。Projectlnliersclass pcl: : Projectlnliers< PointT >类 Projectlnliers 使用一个模型和一组的内点的索引，将内点投影到模型形成新的一个独立点云。关键成员函数 void setModelType(int model) 通过用户给定的参数设置使用的模型类型，参数 Model 为模型类型（见 mo..._projectinliers

未处理System.BadImageFormatException”类型的未经处理的异常在 xxxxxxx.exe 中发生_“system.badimageformatexception”类型的未经处理的异常在未知模块。 -程序员宅基地

文章浏览阅读2.4k次。“System.BadImageFormatException”类型的未经处理的异常在 xxxx.exe 中发生其他信息: 未能加载文件或程序集“xxxxxxx, Version=xxxxxx,xxxxxxx”或它的某一个依赖项。试图加载格式不正确的程序。此原因是由于 ” 目标程序的目标平台与依赖项的目标编译平台不一致导致，把所有的项目都修改到同一目标平台下（X86、X64或AnyCPU）进行编译，一般即可解决问题“。若果以上方式不能解决，可采用如下方式：右键选择配置管理器，在这里修改平台。_“system.badimageformatexception”类型的未经处理的异常在未知模块。中发生

PC移植安卓---2018/04/26_电脑软件移植安卓-程序员宅基地

文章浏览阅读2.4k次。记录一下碰到的问题：1.Assetbundle加载问题：原PC打包后的AssetBundle导入安卓工程后，加载会出问题。同时工程打包APK时,StreamingAssets中不能有中文。解决方案：（1）.加入PinYinConvert类，用于将中文转换为拼音（多音字可能会出错，例如空调转换为KongDiao||阿拉伯数字不支持，如Ⅰ、Ⅱ、Ⅲ、Ⅳ(IIII)、Ⅴ、Ⅵ、Ⅶ、Ⅷ、Ⅸ、Ⅹ..._电脑软件移植安卓

随便推点

聊聊线程之run方法_start 是同步还是异步-程序员宅基地

文章浏览阅读2.4k次。话不多说参考书籍汪文君补充知识：start是异步，run是同步，start的执行会经过JNI方法然后被任务执行调度器告知给系统内核分配时间片进行创建线程并执行，而直接调用run不经过本地方法就是普通对象执行实例方法。什么是线程？1.现在几乎百分之百的操作系统都支持多任务的执行，对计算机来说每一个人物就是一个进程（Process）,在每一个进程内部至少要有一个线程实在运行中，有时线..._start 是同步还是异步

制作非缘勿扰页面特效----JQuery_单击标题“非缘勿扰”,<dd>元素中有id属性的<span>的文本(主演、导演、标签、剧情-程序员宅基地

文章浏览阅读5.3k次，点赞9次，收藏34次。我主要用了层次选择器和属性选择器可以随意选择，方便简单为主大体CSS格式大家自行构造网页主体<body> <div class='main' > <div class='left'> <img src="images/pic.gif" /> <br/><br/> <img src="images/col.gif" alt="收藏本片"/&_单击标题“非缘勿扰”,元素中有id属性的的文本(主演、导演、标签、剧情

【Python】No module named ‘win32com‘，最简单的解决方法，适用windows、mac、linux_no module named 'win32com-程序员宅基地

文章浏览阅读2.2k次。完整的解决思路_no module named 'win32com

有了这6款浏览器插件，浏览器居然“活了”？！媳妇儿直呼“大开眼界”_浏览器插件助手-程序员宅基地

文章浏览阅读901次，点赞20次，收藏23次。浏览器是每台电脑的必装软件，去浏览器搜索资源和信息已经成为我们的日常，我媳妇儿原本也以为浏览器就是上网冲浪而已，哪有那么强大，但经过我的演示之后她惊呆了，直接给我竖起大拇指道：“原来浏览器还能这么用？大开眼界！今天来给大家介绍几款实用的浏览器插件，学会之后让你的浏览器“活过来”！_浏览器插件助手

NumPy科学数学库_数学中常用的环境有numpy-程序员宅基地

文章浏览阅读101次。NumPy是Python中最常用的科学数学计算库之一，它提供了高效的多维数组对象以及对这些数组进行操作的函数NumPy的核心是ndarray（N-dimensional array）对象，它是一个用于存储同类型数据的多维数组Numpy通常与SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用，用于替代MatLabSciPy是一个开源的Python算法库和数学工具包；Matplotlib是Python语言及其Numpy的可视化操作界面'''_数学中常用的环境有numpy

dind（docker in docker）学习-程序员宅基地

文章浏览阅读1.1w次。docker in docker说白了，就是在docker容器内启动一个docker daemon，对外提供服务。优点在于：镜像和容器都在一个隔离的环境，保持操作者的干净环境。想到了再补充：）一：低版本启动及访问启动1.12.6-dinddocker run --privileged -d --name mydocker docker:1.12.6-dind在其他容器访问d..._dind