【TheAnnotatedTransformers】Transformer的位置编码-程序员宅基地
技术标签： The Annotated Transformer 深度学习 transformer 人工智能
为什么需要位置编码
略
什么是(三角式位置编码)Sinusoidal Position Embedding
三角位置编码属于绝对位置编码的一种。更多PE知识可以参考:链接
此部分原文请参考:Transformer Architecture: The Positional Encoding
理想情况下，位置编码应该满足如下条件：
- 它应该为每个时间步长(句子中单词的位置)输出唯一的编码
- 任意两个时间步之间的距离在不同长度的句子中应该保持一致
- 我们的模型应该无需任何努力就能推广到更长的句子并且其值应该是有界的
- 必须是确定的
在Attention is all you need 原文中提出了该方法。具体表达形式如下：
t t t是输入句子所期望的位置，也就是token的位置， p t → ∈ R d \overrightarrow{
{p}_{t}}\in {\mathbb{R}}^{d} pt∈Rd是位置编码
其中
ω k = 1 10000 2 k d {\omega }_{k}=\frac {1} {
{10000}^{\frac {2k} {d}}} ωk=10000d2k1
d d d表示模型隐藏层维度，从函数定义可以看出，频率沿着向量维度递减，因此它在波长上形成从 2 π 2{\pi} 2π到 1000 ⋅ 2 π 1000\cdot2\pi 1000⋅2π的几何级数( 波长 = 2 π / 频率 波长=2\pi/频率 波长=2π/频率)
同时，也可以将位置嵌入向量 p t → \overrightarrow{
{p}_{t}} pt，其中包含每个频率的 s i n sin sin、 c o s cos cos对。
p t → = [ s i n ( ω 1 ⋅ t ) c o s ( ω 1 ⋅ t ) s i n ( ω 2 ⋅ t ) c o s ( ω 2 ⋅ t ) . . . s i n ( ω d / 2 ⋅ t ) c o s ( ω d / 2 ⋅ t ) ] d × 1 \overrightarrow{
{p}_{t}}= \left[ \begin{matrix} sin({\omega}_{1}\cdot{t}) \\ cos({\omega}_{1}\cdot{t}) \\ sin({\omega}_{2}\cdot{t}) \\ cos({\omega}_{2}\cdot{t}) \\ .\\ .\\ .\\ sin({\omega}_{d/2}\cdot{t})\\ cos({\omega}_{d/2}\cdot{t})\\ \end{matrix} \right] _{d\times1} pt=
sin(ω1⋅t)cos(ω1⋅t)sin(ω2⋅t)cos(ω2⋅t)...sin(ωd/2⋅t)cos(ωd/2⋅t)
d×1
为什么有效果
直觉上
正弦和余弦这种组合如何表示位置/顺序呢？
假设用二进制格式来表示一个数字：
You can spot the rate of change between different bits. The LSB bit is alternating on every number, the second-lowest bit is rotating on every two numbers, and so on.（原文）
但是在浮点数的世界中，使用二进制值会浪费空间。因此，我们可以使用它们的浮点连续对应物——正弦函数。事实上，它们相当于交替的位。
结合下图，来理解一下这样设计的含义。每一行都代表了一个token，每一列代表了每个token都第i个未知元素。随着频率不断减小，则波长不断变大，此时正余弦函数对t的变动越不敏感，以此来达到越向右的旋钮，指针移动步伐越小的目的。 这也类似于二进制编码，每一位上都是0和1的交互，越往低位走（越往左边走），交互的频率越慢。关于刻度盘的论述可以参考
并且由于正余弦函数是周期函数，如果函数的频率偏大，引起的波长偏短，那么不同t下位置向量可能出现重合的情况，如下图所示，图中的点表示每个token的位置向量，颜色越深，token的位置越往后，在频率偏大的情况下，位置响亮点连成了一个闭环，靠前位置（黄色）和靠后位置（棕黑色）竟然靠得非常近：
由于其是周期函数，位置n移动到n+1，也就是曲线从黄色->棕色过渡，但是在途中n+1的位置相当于1位置，我们期待让其两个位置应该远离。所以我们必须让函数是单调递增的，所以我们需要降低所有的频率。故原作者选择了1/10,000的最小频率。
位置矩阵热图如下图所示：
以下是如何解读上述嵌入向量 p t → \overrightarrow{
{p}_{t}} pt热图
- 编码不需要大部分的 p t → \overrightarrow{ {p}_{t}} pt矩阵，途中红色部分表示刻度盘已经打开。正弦和余弦值分别远离其初始值 0 和 1。这表明有多少嵌入空间用于存储位置信息。沿着红色曲线，沿着深度更深一步激活表盘会变得更加困难。
- 较大深度处的垂直线变化小于较低深度处的损失。选择一个固定的深度，然后向上移动，注意颜色如何从亮→暗→亮变化……这个循环的频率随着深度的增加而降低，这表明我们之前的直觉是深度越大的表盘越敏感。(这里的敏感指的是数值精确度的敏感)
相对位置
正弦位置编码的另一个特点就是它允许模型毫不费力得关注相对位置信息。
M ⋅ [ s i n ( ω k ⋅ t ) c o s ( ω k ⋅ t ) ] d × 1 = [ s i n ( ω k ⋅ ( t + ϕ ) c o s ( ω k ⋅ ( t + ϕ ) ] d × 1 M\cdot\left[ \begin{matrix} sin({\omega}_{k}\cdot{t}) \\ cos({\omega}_{k}\cdot{t}) \\ \end{matrix} \right] _{d\times1}= \left[ \begin{matrix} sin({\omega}_{k}\cdot{(t+\phi}) \\ cos({\omega}_{k}\cdot{(t+\phi}) \\ \end{matrix} \right] _{d\times1} M⋅[sin(ωk⋅t)cos(ωk⋅t)]d×1=[sin(ωk⋅(t+ϕ)cos(ωk⋅(t+ϕ)]d×1
(证明过程)
通过上式我们可以发现 M M M能够允许 p t + ϕ → \overrightarrow{
{p}_{t+\phi}} pt+ϕ对于任意的固定偏置 ϕ \phi ϕ是 p t → \overrightarrow{
{p}_{t}} pt得线性函数，这个属性使得模型能够很方便得学习相对位置。
正弦位置编码的另一个特性是相邻时间步之间的距离是对称的并且随着时间的推移能够很好得衰减。
参考博客：
Transformer Architecture: The Positional Encoding
The Annotated Transformer的中文注释版（1）
The Annotated Transformer
知乎回答
Master Positional Encoding: Part I
智能推荐
Kyligence 发布数据和分析领域垂直大模型司南（Compass）_司南模型怎么测试-程序员宅基地
文章浏览阅读140次。12 月 19 日，跬智信息（Kyligence）正式发布数据和分析领域垂直大模型司南（Compass）（以下简称“司南大模型”）。基于多年数据和分析领域的实践积累和全行业指标洞察的海量语料，Kyligence司南大模型已具备自然语言对话分析、指标搜索与推荐、自动化数据洞察、KPI 评估、智能决策建议等核心能力。_司南模型怎么测试
MySQL数据库Insert语句慢SQL处理-程序员宅基地
文章浏览阅读3.8k次。#问题描述insert into …普通的插入语句，经常出现耗时2s以上#数据状态1.表数据量大，每天产生200万条数据2.高并发插入#问题解决1.由于表中数据量庞大，建议数据归档处理，冷热处理2.表中有过多索引，当数据insert时，索引会重排产生太多的io操作。导致缓慢，有必然要的只保留主键。3.表的数据库引擎，默认InnerDB，若数据不重要，可以使用MyISAM......
EasyDarwin开源流媒体云平台之EasyRMS录播服务器功能设计_开源录播系统-程序员宅基地
文章浏览阅读3.6k次。需求背景EasyDarwin开发团队维护EasyDarwin开源流媒体服务器也已经很多年了，之前也陆陆续续尝试过很多种服务端录像的方案，有：在EasyDarwin中直接解析收到的RTP包，重新组包录像；也有：在EasyDarwin中新增一个RecordModule，再以RTSPClient的方式请求127.0.0.1自己的直播流录像，但这些始终都没有成气候；我们的想法是能够让整套EasyDarwin_开源录播系统
oracle Plsql 执行update或者delete时卡死问题解决办法_oracle delete update 锁表问题-程序员宅基地
文章浏览阅读1.1w次。今天碰到一个执行语句等了半天没有执行：delete table XXX where ......,但是在select 的时候没问题。后来发现是在执行select * from XXX for update 的时候没有commit，oracle将该记录锁住了。可以通过以下办法解决： 先查询锁定记录 Sql代码 SELECT s.sid, s.seri_oracle delete update 锁表问题
Xcode Undefined symbols 错误_xcode undefined symbols:-程序员宅基地
文章浏览阅读3.4k次。报错信息error:Undefined symbol: typeinfo for sdk::IConfigUndefined symbol: vtable for sdk::IConfig具体信息：Undefined symbols for architecture x86_64: "typeinfo for sdk::IConfig", referenced from: typeinfo for sdk::ConfigImpl in sdk.a(config_impl.o) _xcode undefined symbols:
项目05(Mysql升级07Mysql5.7.32升级到Mysql8.0.22)_mysql8.0.26 升级32-程序员宅基地
文章浏览阅读249次。背景《承接上文,项目05(Mysql升级06Mysql5.6.51升级到Mysql5.7.32)》,写在前面需要(考虑)检查和测试的层面很多，不限于以下内容。参考文档https://dev.mysql.com/doc/refman/8.0/en/upgrade-prerequisites.htmllink推荐阅读以上链接，因为对应以下问题，有详细的建议。官方文档：不得存在以下问题：0.不得有使用过时数据类型或功能的表。不支持就地升级到MySQL 8.0，如果表包含在预5.6.4格_mysql8.0.26 升级32
随便推点
使用flex-wrap实现弹性盒自动换行-程序员宅基地
文章浏览阅读2w次，点赞6次，收藏10次。布局的时候，我们常常会需要一行排列3/4/5/6个盒子，必要时自动换行，这时可以借助CSS3中的flex-wrap属性。flex-wrap: nowrap|wrap|wrap-reverse|initial|inherit;nowrap为默认值，wrap必要时实现自动换行，reverse必要时换行并反向排列关键是在父元素中设置flex-wrap值为wrap, 然后是设置子元素的wi...
改变Android Studio的背景background_as怎么设置背景-程序员宅基地
文章浏览阅读2.7k次，点赞2次，收藏5次。改变Android Studio的背景background我们先点File然后再点Settings里的Appearance，点击Theme换成Darcula 把白色换成黑色，这样的好处是换成background是图片比较清晰。此处正式开始AS换背景这里我们颜色从白色换成了黑色，先点File里Settings的Appearance然后点background image把你喜欢的图片放进去（图片放在D盘自己新建的文件）..._as怎么设置背景
桩筏有限元中的弹性板计算_专栏 l 增材制造点阵结构在压力容器优化设计中的应用...-程序员宅基地
文章浏览阅读179次。“增材制造是未来制造业的发展趋势，其优势显而易见，它可以实现传统加工工艺难以制造的设计，比如复杂薄壁结构、点阵结构、一体化结构等。其中，点阵结构作为一种新型的轻量化结构，具有良好的比刚度、比强度等力学性能。传统加工工艺很难制造点阵结构，3D打印技术的快速发展使得点阵结构的制造更加具有可行性。”本期谷.专栏列举了面向增材制造的点阵加筋一体化压力容器的设计与分析案例，仿真技术作为正向设计体系..._点阵结构的等效属性计算
Firefox安装广告屏蔽插件（uBlock Origin）_ublock origin插件-程序员宅基地
文章浏览阅读5.9k次，点赞2次，收藏2次。由于国内用户IP被屏蔽的原因，安装广告屏蔽插件（uBlock Origin、AdGuard、AdBlocker、AdBlock For Firefox、AdBlock）访问受限，官方原因为“由于法律原因不可用（HTTP 451 Unavailable For Legal Reasons）”，需要另辟蹊径安装，以下是安装uBlock Origin的方法介绍。然后，在Firefox的扩展管理页面，打开【从文件安装附加组件】选项。选择刚才下载的.xpi文件，就可以成功安装了。_ublock origin插件
k8s挂载目录_kubernetes（k8s）的pod使用统一的配置文件configmap挂载-程序员宅基地
文章浏览阅读1.2k次。在容器化应用中，每个环境都要独立的打一个镜像再给镜像一个特有的tag，这很麻烦，这就要用到k8s原生的配置中心configMap就是用解决这个问题的。使用configMap部署应用。这里使用nginx来做示例，简单粗暴。直接用vim常见nginx的配置文件，用命令导入进去kubectl create cm nginx.conf --from-file=/home/nginx.conf然后查看kub..._pod mount目录会自动创建吗
java计算机毕业设计springcloud+vue基于微服务的分布式新生报到系统_关于spring cloud的参考文献有啥-程序员宅基地
文章浏览阅读169次。随着互联网技术的发发展，计算机技术广泛应用在人们的生活中，逐渐成为日常工作、生活不可或缺的工具，高校各种管理系统层出不穷。高校作为学习知识和技术的高等学府，信息技术更加的成熟，为新生报到管理开发必要的系统，能够有效的提升管理效率。一直以来，新生报到一直没有进行系统化的管理，学生无法准确查询学院信息，高校也无法记录新生报名情况，由此提出开发基于微服务的分布式新生报到系统，管理报名信息，学生可以在线查询报名状态，节省时间，提高效率。_关于spring cloud的参考文献有啥