技术标签: image captioning 深度学习 pytorch 人工智能 medical report generation 自然语言处理 神经网络
文章链接:https://www.aclweb.org/anthology/2020.emnlp-main.112.pdf
GitHub:https://github.com/cuhksz-nlp/R2Gen
医学图像常被用于临床诊断和医疗诊断的实验。写医学报告对于无经验的医生来说是一个耗时且容易出错的。因此,自动地生成医疗报告被赋予高期望去减轻放射科专家的工作量,并推动临床自动,这对于应用人工智能到医学领域是一个关键任务。本文,我们提出利用memory-driven的Transformer生成医疗报告,其中一个relational memory-driven被设计去记录生成的关键信息,一个memory-driven条件层归一化被用于整合memory到Transformer的解码器中。在两个受欢迎的诊断报告数据集上的实验结果,IU X-Ray和MIMIC-CXR,表明我们提出的方法超越之前的模型。对于语言生成指标和临床评价。尤其,这是第一个工作报告在MIMIC-CXR的生成结果据我们所知。进一步分析也证明我们的方法能够生成重要医学术语的长报告,且是具有意义的图像-文本注意力映射。
我们模型由三个主要部分组成,visual extractor, the encoder and decoder, 其中提出的memory和memory的组合为Transformer主要是作用于decoder中。
给定一个医疗图像,VGG或ResNet去编码作为接下来模块的源序列。
利用Transformer的encoder,输出隐藏状态h
我们模型的骨干解码器是来自Transformer,其中我们通过提高带有MCLN的初始层归一化,引入一个额外的memory module到其中,如图2每个解码层。因此解码过程为:
RM:relational memory
MCLN:Memory-driven Conditional LN
给定前文提到的结构,整个生成过程表示为以下链式法则:
是目标文本序列。模型被训练去最大化
通过给定Img,Y的negative conditional log-likelihood
theta是模型参数
对于任何相关Img,他们可能在他们的报告中共享相同的模式,并且他们被用作互相的好的参考,去帮助生成过程。如图1,模式如“The lungs are clear bilaterally”和“no evidence of focal consolidation, or pleural effusion”总同时出现于类似图像的报告中。为了利用这种特性,我们提出使用额外的组件,如relational memory去增强Transformer去学习模式并使得计算模式间的计算和生成过程更加便利。
随后,relational memory使用一个矩阵去转换它的随生成时间步的状态,其中这个状态利用每一行(namely,memory slot)记录重要的模式信息表示一些模式信息。在生成期间,矩阵被一步步更新整合利用来自前一时间步的输出。然后,在时间步t,来自先前时间步的矩阵,Mt-1作为查询并且它和之前的输出的拼接作为key和value传入multi-head attention module。给定H个头在Transformer中,通过三个线性转换生成H组queries,keys and values。对于每个head,我们获得query,key and value在relational memory 通过
其中yt-1是上一步输出的嵌入。[Mt-1;yt-1]是Mt-1和yt-1的点积拼接。W是线性变换权重。Multi-head attention被用于建模Q,K and V为了描述不同模式间的关系
Z为multi-head attention module的输出。考虑到伴随解码过程用循环方式的relational memory,具有潜在地梯度消失和爆炸问题。我们因此引入残差连接和门控机制:
其中fmlp表示MLP。在relational memory中的门控机制的细节结构如下:
其中忘记和输入门被用于平衡Mt-1和yt-1的输入。为了确保yt-1能被用于计算Mt-1,被扩充为Yt-1通过赋值多个维度。因此,忘记和输出门为:
门机制最后输出为:
Mt表示整个relational memory module在时间步t的输出
尽管memory在许多NLP任务中展现了其效果,但它默认被用于编码单独的设计。然而,给定文本生成是一个动态的过程并且在每个解码步受到输出影响,memory期望去更好整合到decoder中。
因此,我们提出一个新颖的MCLN并利用它去整合relational memory去增强Transformer的解码。传统的Transformer,为了提高泛化性,alpha和beta是两个关键参数对于缩放和转移学习的表示。因此我们提出整合relational memory通过MCLN,通过喂入它的输出Mt到alpha和beta。接下来,这种设计从memory中获得好处,同时防止它影响到Transformer的太多参数,因此,一些用于生成的核心信息不受影响。
每个Transformer,我们利用三个MCLNs,其中第一个MCLN的输出是作为query,接下来来自编码器的multi-head attention module与隐藏层一起作为key and value去传入每个MCLN,在时间步t,relational memory Mt的输出被扩展为Mt。然后一个MAP被用于去与猜测来自mt的变换
通过下面更新:
被用于平均来自前一个生成的结果的multi-head attention module的平均值和方差:
r是来自之前的模块的输出,
是r的平均值和标准差。
来自MCLN被传入下一个模块(1st MCLN and 2nd MCLN)或作为生成的最后输出(3rd MCLN)。
IU X-Ray 和 MIMIC-CXR数据集的训练校验测试集的各个Image,report,patient的长度统计:
在IU X-Ray 和 MIMIC-CXR数据集上的消融实验 其指标:
和现有模型在两个数据集上的指标比较:
个人见解
papper更改Transformer的结构的地方较为新颖。并且提供了开源代码具有极大的参考和学习价值。
不同于之前的各种medical report generation方法,利用relational memory 和 MCLN结构引入Transformer的decoder。
其实验效果与之前的文章相比可能不是SOTA。 但idea值得一看
文章浏览阅读3.5k次,点赞2次,收藏13次。为了从FTP服务器下载文件,需要要实现一个简单的FTP客户端。FTP(文件传输协议) 是 TCP/IP 协议组中的应用层协议。FTP协议使用字符串格式命令字,每条命令都是一行字符串,以“\r\n”结尾。客户端发送格式是:命令+空格+参数+"\r\n"的格式服务器返回格式是以:状态码+空格+提示字符串+"\r\n"的格式,代码只要解析状态码就可以了。读写文件需要登陆服务器,特殊用..._ftp 登录返回230
文章浏览阅读648次。前提:systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing:强制模式,SELinux 运作中,且已经正确的开始限制..._centos7 安装rabbitmq3.6.5
文章浏览阅读5.8k次。满意答案s55f2avsx2017.09.05采纳率:46%等级:12已帮助:5646人新版Android Studio/IntelliJ IDEA可以直接导入eclipse项目,不再推荐使用eclipse导出gradle的方式2启动Android Studio/IntelliJ IDEA,选择 import project3选择eclipse 项目4选择 create project f..._android studio 项目导入idea 看不懂安卓项目
文章浏览阅读860次,点赞2次,收藏6次。AI大模型技术已经在自然语言处理、计算机视觉、多模态交互等领域取得了显著的进展和成果,同时也引发了一系列新的挑战和问题,如数据质量、计算效率、知识可解释性、安全可靠性等。城市运维涉及到多个方面,如交通管理、环境监测、公共安全、社会治理等,它们需要处理和分析大量的多模态数据,如图像、视频、语音、文本等,并根据不同的场景和需求,提供合适的决策和响应。知识搜索有多种形式,如语义搜索、对话搜索、图像搜索、视频搜索等,它们可以根据用户的输入和意图,从海量的数据源中检索出最相关的信息,并以友好的方式呈现给用户。_ai大模型应用开发
文章浏览阅读8.2k次,点赞12次,收藏121次。为什么要测量阻抗呢?阻抗能代表什么?阻抗测量的注意事项... ...很多人可能会带着一系列的问题来阅读本文。不管是数字电路工程师还是射频工程师,都在关注各类器件的阻抗,本文非常值得一读。全文13000多字,认真读完大概需要2小时。一、阻抗测试基本概念阻抗定义:阻抗是元器件或电路对周期的交流信号的总的反作用。AC 交流测试信号 (幅度和频率)。包括实部和虚部。图1 阻抗的定义阻抗是评测电路、元件以及制作元件材料的重要参数。那么什么是阻抗呢?让我们先来看一下阻抗的定义。首先阻抗是一个矢量。通常,阻抗是_阻抗实部和虚部
文章浏览阅读955次。前面章节分享试用了pyzero,pygame但随着想增加更丰富的游戏内容,好多还要进行自己编写类,从今天开始解绍一个新的python游戏库arcade模块。通过此次的《连连看》游戏实现,让我对swing的相关知识有了进一步的了解,对java这门语言也有了比以前更深刻的认识。java的一些基本语法,比如数据类型、运算符、程序流程控制和数组等,理解更加透彻。java最核心的核心就是面向对象思想,对于这一个概念,终于悟到了一些。_arcade语言 like
文章浏览阅读1.1k次。源码简介与安装说明:2021增强版短视频去水印源码 去水印微信小程序源码网站 去水印软件源码安装环境(需要材料):备案域名–服务器安装宝塔-安装 Nginx 或者 Apachephp5.6 以上-安装 sg11 插件小程序已自带解析接口,支持全网主流短视频平台,搭建好了就能用注:接口是公益的,那么多人用解析慢是肯定的,前段和后端源码已经打包,上传服务器之后在配置文件修改数据库密码。然后输入自己的域名,进入后台,创建小程序,输入自己的小程序配置即可安装说明:上传源码,修改data/_去水印机要增强版
文章浏览阅读557次。1. 触发器是FPGA存储数据的基本单元2. 触发器作为时序逻辑的基本元件,官方提供了丰富的配置方式,以适应各种可能的应用场景。_fdre #(.init(1'b0) // initial value of register (1'b0 or 1'b1) ) fdce_osc (
文章浏览阅读560次。本该是不同编译器结果不同,但是尝试了g++ msvc都是先计算c,再计算b,最后得到a+b+c是经过赋值以后的b和c参与计算而不是6。由上表可知,将q复制到p数组可以表示为:*p++=*q++,*优先级高,先取到对应q数组的值,然后两个++都是在后面,该行运算完后执行++。在电脑端编译完后会分为text data bss三种,其中text为可执行程序,data为初始化过的ro+rw变量,bss为未初始化或初始化为0变量。_嵌入式面试笔试c语言知识点
文章浏览阅读2.3k次。57 Things I've Learned Founding 3 Tech CompaniesJason Goldberg, Betashop | Oct. 29, 2010, 1:29 PMI’ve been founding andhelping run techn_mature
文章浏览阅读1.9k次。问题:先讲下需求,有若干个文本文件(txt或者csv文件等),每行代表一条数据,现在希望能合并成 1 个文本文件,且需要去除重复行。分析:一向奉行简单原则,如无必要,绝不复杂。如果数据量不大,那么如下两条命令就可以搞定合并:cat a.txt >> new.txtcat b.txt >> new.txt……去重:cat new...._python 超大文本合并
文章浏览阅读489次。这个过渡页是第一次打开小程序展示的,点击某个小程序前把手机的开发者->network link conditioner->enable & very bad network 就会在停在此页。比如《支付宝运动》这个小程序先看这个类的.h可以看到它继承于DTViewController点击左上角返回的方法- (void)back;#import "DTViewController.h"#import "APBaseLoadingV..._类似支付宝页面过度加载页