rnn(一):概念介绍_rnn矩阵初始值-程序员宅基地

技术标签: 语音识别  

目录

RNN

要解决的问题:

解决问题得原理:


RNN

Recurrent Neural Network,循环神经网络。

要解决的问题:

训练样本输入是连续的序列,相关性很强,且序列的长短不一,比如基于时间的序列:一段段连续的语音,一段段连续的手写文字。

解决问题得原理:

图中左边是RNN模型没有按时间展开的图,如果按时间序列展开,则是上图中的右边部分。

 通过预测输出o(t)和训练序列真实输出y(t),以及损失函数L(t),可以用DNN类似的方法来训练模型,接着用来预测测试序列中的一些位置的输出。

RNN前向传播算法

简化一下,如下图:

o:输出层的值,一个向量;

V:权重矩阵,是隐藏层到输出层的。

W:权重矩阵 ,就是隐藏层上一次的值作为这一次的输入的权重。 循环神经网络隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。

 t时刻得输出:

 RNN反向传播算法推导

RNN反向传播算法的思路和DNN是一样的,即通过梯度下降法一轮轮的迭代,得到合适的RNN模型参数U,W,V,b,c。由于我们是基于时间反向传播,所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。

BPTT和DNN也有很大的不同点,即这里所有的U,W,V,b,c在序列的各个位置是共享的,反向传播时我们更新的是相同的参数

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/shi_xin/article/details/118910636

智能推荐

ThinkPHP Bootstrap简约自适应网址导航网站源码_php简单导航页源码-程序员宅基地

文章浏览阅读542次。简介:使用 ThinkPHP+bootstrap 开发,后台采用全局 ajax 无新加载,前后台自适应,前台页面非常简洁适合自己收藏网站或做导航网站。搭建教程:1.整个主机2.绑定域名3.上传源码,解压把解压出来的 nav.sql 文件导入数据库修改\App\Common\Conf\config.php 下的数据库信息即可给予读写权限安装完成访问apache环境下,域名+/admin 访问后台其他环境下,域名+/index.php/admin 访问后台后台账号密码admin 12_php简单导航页源码

vue封装dialog弹框组件_fc-dialog-container-程序员宅基地

文章浏览阅读2k次,点赞2次,收藏8次。vue封装dialog弹框组件dialog.vue<template> <div class="dialog" v-show="showMask"> <div class="dialog-container"> <div class="dialog-title">{{title}}</div> <div class="content" v-html="content"_fc-dialog-container

Linux 的 mysql 安装_centosqq涓嬭浇-程序员宅基地

文章浏览阅读10w+次,点赞2次,收藏5次。一、mysql 安装 1、下载 版本选择5.6.33,linux环境,centos6.8。wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz 2、解压tar -zxvf mysql-5.6.33-linux-..._centosqq涓嬭浇

️光天化日学C语言️(35)- 局部变量和全局变量_变量定义使用定义 就近原则-程序员宅基地

文章浏览阅读1.7k次,点赞21次,收藏26次。全局变量 和 局部变量_变量定义使用定义 就近原则

Java运算符优先级_java运算符优先级由高到低-程序员宅基地

文章浏览阅读5.9k次,点赞2次,收藏10次。Java运算符优先级​ 每种同类型的运算符都有内部的运算符优先级,不同类型的运算符之间也有相应的优先级顺序。一个表达式中既可以包括相同类型的运算符,也可以包括不同类型的运算符或者函数。当多种运算符出现在同一个表达式中时,应该先按照不同类型运算符间的优先级进行运算。各种运算符间的优先级如下:数值运算符、字符串运算符、关系运算符、逻辑运算符。可以用括号改变优先级顺序,使得括号内的运算优先于括号外的运算。对于多重括号,总是由内到外强制表达式的某些部分优先运行。括号内的运算总是最优先计算。一、优先级_java运算符优先级由高到低

2021-07-22-程序员宅基地

文章浏览阅读64次。图像阈值汇总threshold()函数cv.threshold()函数的作用是将图像上的像素点的灰度值设置为0或255。主要是为了制造掩膜来使用的。他的输入有五个,第一个是源图像,第二个是输出的图像,第三个是阈值,第四个是输出图像中像素值的最大值,第五个是阈值类型。返回值有两个,第一个是retl与参数thresh一致,第二个是结果图像。ret, mask = cv.threshold(img, 10, 255, cv.THRESH_BINARY)阈值类型说明:函数图像未处理前:编号

随便推点

require.js的用法_require.js怎么用 csdn-程序员宅基地

文章浏览阅读1.1k次。require.js的用法作者: 阮一峰日期: 2012年11月 7日这个系列的第一部分和第二部分,介绍了Javascript模块原型和理论概念,今天介绍如何将它们用于实战。我采用的是一个非常流行的库require.js。一、为什么要用require.js?最早的时候,所有Javascript代码都写在_require.js怎么用 csdn

作为程序员,你最常上的网站是什么-程序员宅基地

文章浏览阅读58次。Wikipedia当然是最应该先查阅的网站,作为了解概念、背景和相关知识的绝佳索引,能够引导走向包含详细技术细节文档,以及一些相关的技术和概念。http://www.wikipedia.org/Google还用多说么?Google it,什么都有!如果需要论文,那怎么少得了Google Scholar,还有Springer、IEEE Xplore和ACM Digital Library...

[LibreOJ β Round]ZQC的课堂_「libreoj β round」zqc 的课堂-程序员宅基地

文章浏览阅读661次。题目描述https://www.loj.ac/problem/503题解x和y是可以分开考虑的。 设si表示某维坐标的前缀和。 要求统计多少i满足si*si-1<=0(此时会有正负交替)。 我们发现这个条件等价于max(si,si-1)>=0且min(si,si-1)<=0。 这样两个限制依然不好统计。 改成用n减去不满足条件的。 1、max(si,si-1)<=0 2、min(si,_「libreoj β round」zqc 的课堂

QT中设置exe图标_qt设置exe图标-程序员宅基地

文章浏览阅读1.2k次。在项目路径下创建个txt文档改后缀名为rc即可。此时执行cmake便可以看到rc文件。我这里创建 logo.rc。这一步不去做的话会报错如图。用记事本打开rc文件。_qt设置exe图标

VScode python代码提示:添加自定义的寻找路径_vscode 编译器搜寻包的路径 添加-程序员宅基地

文章浏览阅读6.5k次。有些时候虽然代码没有问题但是VSCode代码提示却提示找不到包,通常这些包是我们自己编写或定义的一些包,为了让vscode能够找到这些包,需要指定查找路径。参考:Vscode 官方在settings.json文件中添加下面的变量,里面的变量值就是你的包所在的路径名称..._vscode 编译器搜寻包的路径 添加

推荐文章

热门文章

相关标签