【论文阅读】2023 MTS-Mixers-程序员宅基地

2023，华为

1. 简介

由于擅长捕获了长期依赖性，基于Transformer的模型最近取了很多进展，也是研究的热点。但是作者发现Attention机制有以下问题（1）对于捕获时间相关，注意力机制性不是必需的（2）时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能，（3）对输入和预测序列之间的映射进行建模很重要。为此，我们提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。

如下图所示，多元时间序列无论是在temporal维度还是channel维度，都存在比较强的冗余性。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多多元时间序列的建模。

2. MTS-Mixer模型

MTS-Mixer的模型结构如下，第二列是一个抽象结构，后面3列是具体的实现方法

这三种实现方式的整体计算逻辑可以表示为如下形式，时间维度信息提取+空间维度信息提取+信息融合和输出映射。

Attention-based MTS-Mixer

Random matrix MTS-Mixer

Factorized temporal and channel mixing

3. 实验结果

论文对比了MTS-Mixer和多种模型的效果，基本都达到了SOTA效果

本文链接：https://blog.csdn.net/mataolc/article/details/129232940

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

android 开发框架_通过此拖放框架学习Android开发-程序员宅基地

文章浏览阅读223次。android 开发框架 1990年代后期，我开始进行涉及计算机的基于教室的研究时，我要做的第一件事就是将一些计算机带入教室。我的顾问获得了六台第一代Bondi Blue iMac的资助，这些iMac将在我们进行研究的中学安装。带着那些诱人的胶状形状的机器进入学校后，我对寻找参与者的担忧就烟消云散了。那时，任何地方的计算机，尤其是中学教室里的计算机，仍然相对不常见，我们能够将其新颖性融..._安卓拖拽框架

android EditText基本设置_android中设置edittext第一行7位第二行8位-程序员宅基地

文章浏览阅读6.8k次。身份证号码大都是数字，但是极少数的最后一位是字母的。比如说，可能是X、Y、Z。在xml里这样设置就可以了：android:digits="1234567890XYZ" 但是我要默认的输入法为数字，怎么实现？谢谢你的解答，解决了我的问题。android:inputType="number"android:digits="0123456789xyzXYZ"同时设_android中设置edittext第一行7位第二行8位

ELAS_ROS算法在KITTI数据集上生成稠密点云-程序员宅基地

文章浏览阅读2.5k次，点赞8次，收藏37次。ELAS是一种基于概率模型的有效立体匹配算法,能够给予双目图像生成深度图,进而转化为点云.该算法的一种改进算法为LS-ELAS,其论文发表在2017年ICRA上,文章题目为"LS-ELAS: Line Segment based Efficient Large Scale Stereo Matching".本片博客主要介绍ELAS算法的一种开源代码ELAS_ROS安装,及其在KITTI数据集上的具体实现.一.KITTI数据集下载与转换为rosbag本文使用的KITTI数据集由kitti2bag转换为._elas_ros

项目众包开源项目_您的开源项目应该报告其社会效益吗？-程序员宅基地

文章浏览阅读166次。项目众包开源项目尽管就“开源”和“自由”软件之间的差异写了很多字，但很少有人指出，对这些差异的讨论通常类似于围绕企业社会角色的辩论，最近几十年来，这种辩论一直占据着主导地位。企业社会责任（CSR）概念。但是，事实是，致力于开放原则的组织可以（并且应该）报告其活动，因为这些活动具有经济和社会影响。对这种情况的分析实际上可能有助于我们调和两个原则性立场，它们之间的共同点比他们可能意识到..._软件免费开放使用社会效益

seb小铺-程序员宅基地

文章浏览阅读235次。seb小铺链接:http://shop33201394.taobao.com/ ..._华为电脑^seb不能使用

华为鸿蒙HarmonyOS与安卓到底有何不同？_安卓系统臃肿吗_安卓和harmonyos底层-程序员宅基地

文章浏览阅读405次，点赞3次，收藏4次。IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**_安卓和harmonyos底层

随便推点

中软培训PMP国际认证培训_中软国际项目管理序列任职资格管理专业委员会-程序员宅基地

文章浏览阅读1.2k次。一、培训背景PMP是美国PMI在全球191以上国家和地区推出的项目经理资格认证体系，是目前全球项目管理方面含金量最高的资格认证，是项目管理专业人士身份的象征。我国许多媒体也把PMP称为继MBA，MPA之后的三大金字招牌之一！PMP已得到了全球普遍的高度重视。IT、金融、工程、医疗、物流等诸多行业都在致力于健全其项目管理体系与项目管理人才的培养，很多国内一流企业也都把项目管理能_中软国际项目管理序列任职资格管理专业委员会

Proteus8.7闪退的终极办法，亲测非常有效，并附上完整版教程。_proteus的programdata改动-程序员宅基地

文章浏览阅读7w次，点赞77次，收藏141次。Proteus8.7闪退大部分原因是你pojie的原因。我也被这个深陷其中，我是用替换文件来pojie安装的，打开仿真或者连仿真都不打开直接修改器件都会闪退，简直要命，还不自动保存。文件有这两个，右边的.exe是安装文件，安装过程就不多说了。最后是将patch的文件夹中的的BIN和MODELS替换这个路径的BIN和MODELS，即软件安装路径的BIN和MODELS。替换..._proteus的programdata改动

vue项目element框架表格el-table 进行拖动排序_vue el-table实现拖拽-程序员宅基地

文章浏览阅读596次。【代码】vue项目element框架表格el-table 进行拖动排序。_vue el-table实现拖拽

达梦数据库基础2-数据库实例(Linux)_linux达梦数据库创建实例-程序员宅基地

达梦数据库基础2-数据库实例(Linux)，介绍了在Linux系统中创建和管理达梦数据库实例的方法，包括使用图形界面工具和命令工具来进行操作。摘要长度：88个字符。

Django1.6与extjs4整合-程序员宅基地

文章浏览阅读189次。从今日开始，公司的新后台系统，我将全部迁移到python的环境下，主要使用了Django与extjs4、jquery1.7的，数据库mysql5.5，容器是nginx。因为不考虑并发因素，所以在这里没有高深的python的线程处理，只是向刚毕业的大学生，几个框架的整合而已，没啥营养，我也是对于python的掌握，觉得Django这框架做的挺好的，模板处理、model层的映射等都比之前玩java..._django extjs

微服务雪崩保护_网络波动会导致微服务都不可用吗-程序员宅基地

文章浏览阅读1.8k次。一.微服务雪崩问题一.分布式系统问题由于网络的不稳定性，决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候，作为服务的提供者，自身可能会被拖死，导致服务调用者阻塞，最终可能引发雪崩效应。二.可能产生雪崩的原因：1.服务不可用：缓存击穿、大量的请求、程序bug、硬件故障、资源耗尽等导致服务不可用2.流量过大：由于用户或者代码逻辑重试三.现象：1.开始线程1中微服务D不可用了，线程1阻塞在微服务D2.线程2中，由于微服务C依赖于不可用的微服务D，那么导致微服务C也不可用，线程2阻_网络波动会导致微服务都不可用吗