0 引入

0.1 题目

  CVPR2022：用于组织病理学整片图像分类的双层特征蒸馏多实例学习 (DTFD-MIL: Double-tier feature distillation multiple Instance learning for histopathology whole slide image classification)

0.2 背景

  多示例学习 (MIL) 在病理学整片图像 (histopathology whole slide images, WSIs) 分类上的应用日趋成熟。然而，这样的针对性研究仍然面临一些困难，如小样本队列 (small sample cohorts) 。在此背景下，WSI图像 (包) 数量有限，且单张WSI的分辨率巨大，进一步导致海量的被裁剪区块 (实例)。
  Tips：不知小样本队列的表述是否准确；之前下载过WSI图像，单个样本可能就超过一个G，着实吓人

0.3 方法

  通过引入伪包 (pseudo-bags) 的概念来虚拟地增加包的数量，并在此基础上构建一个双层 (double-tier) MIL 框架以有效利用其内在特征。此外，在基于注意力的MIL框架下推导计算实例概率，并利用推导来帮助构建和分析所提出的框架。

0.4 Bib

@inproceedings{
    Zhang:2022:double,
author		=	{
    Hong Run Zhang and Yan Da Meng and Yi Tian Zhao and Yi Hong Qiao and Xiao Yun Yang and Sarah E Coupland and Ya Lin Zheng},
title		=	{
    {
    DTFD}-{
    MIL}: {
    D}ouble-tier feature distillation multiple instance learning for histopathology whole slide image classification},
journal		=	{
    Computer Vision and Pattern Recognition},
year		=	{
    2022}
}

1 引入

  整片图像 (WSI) 标注是计算机视觉领域的重大挑战之一，其在组织病理学中的广泛使用，促使了数字病理学对病理学家的工作流程和诊断决策的改进，同时也刺激了对 WSI 智能或自动分析工具的需求。单张WSI实在是太大了，从100M到10G不等。由于这样的独特性质，现有的机器学习方法，如自然图像和医学图像模型直接拿来主义实在是不现实；深度学习模型则需要大规模数据与高质量注释。But，像素级别的标注对WSI来说只能是(￣▽￣)"。于是乎，这样的少量标注问题激发了深度学习研究者的极大热情，如弱监督与半监督，而大部分的弱监督WSI研究则可被刻画为MIL研究。在MIL框架下，一个WSI看作是一个包，其可包含成千上百的区块 (实例)。只要满足至少一个实例为正，则该WSI为正。
  在计算机视觉领域，已有多种方法对MIL问题进行尝试。然而，WSI 的先天特性决定了MIL下的WSI分类方案不如其他计算机视觉子领域那么简单，因为用于训练的唯一直接指导信息是几百张WSI的标签。这可能导致过拟合问题，即机器学习模型在优化过程中倾向于陷入局部最小值，而学习到的特征与目标疾病的相关性较低，从而降低模型的泛化能力。
  为解决过度拟合问题，MIL下WSI研究的指导思想是从较少标签中习得更多信息。互例关系 (mutual-instance relation) 是其中的一个有效方法，可以被指定为空间或特征距离，或者通过神经模块学习，如循环神经网络、变换器，以及图神经网络。
  已有的大多数方法可以被归类为基于注意力机制的 (attention-based, AB_MIL)，其中的主要区别则在注意力分数的计算上。然而，在AB-MIL框架下明确推断实例概率被认为是不可行的，且作为替代方案，注意力分数通常用作正激活的指示。本文中，我们认为注意力分数不是用于此目的的严格度量，而是在AB-MIL框架下推导的实例概率。
  给定一张超大号WSI，所直接处理的单元是从WSI中裁剪的极小区块。为WSI而生的MIL模型的目的则是去识别最与众不同的区块，因为它最可能触发包的标签。然而，WSI的数量较少，其中的区块却不胜其数，且标签信息是WSI级别的。此外，病理学WSI中，对应于病变区域的正实例往往只占据组织的一小部分，这进一步导致正实例的数量的极小的。因此，在极可能导致过拟合的情况下，去识别这些正实例还是让人兴奋啊

  近年来 ，尽管有很多方法利用互例信息来提升MIL性能，但是他们并没有明确地去解决上述由WSI本质特征所引发的问题。为了缓解这些问题的负面影响，我们于算法框架中引入伪包的概念，即随机划分一张WSI中的实例，划分结果则对应于伪包。每一个伪包将分配其父包，即原始包的标签。这样的方法可以有机地增加包的数量，而保证伪包中只有较少实例，这便是我们双层特征蒸馏MIL模型的伟大构想，如图1。特别需要说的是，一个1层级AB-MIL模型被应用于所有WSI的伪包中。然而，有一个风险问题是来自正包的伪包中其实可能没有正实例，这样它便被分配了一个错误的标签。
  扎心了啊老铁

图1：所提出方法与传统MIL的不同

 
  为了解决这个问题，我们从每一个伪包中蒸馏出一个特征向量，并在这些向量之类建立一个2层级AB-MIL模型，如图3。经过这样的蒸馏，1层级模型将提供清晰特征，以供2层级模型获取父包的更好表示。此外，对于特征蒸馏，我们利用为可视化深度学习特征Grad-CAM (基于梯度的类别激活图, grad-based class activation map) 模型的基本思想，在AB-MIL框架下推导出实例概率。

图3：DTFD-MIL总体框架。一些实例的集合首先从WSI组织区域中裁剪，这里仅列举九个。所有的这些实例将进一步被划分，获取M (如3) 个伪包。1层级AB-MIL获取所有伪包的特征向量，并作为2层级AB-MIL的输入。包的真实标签则用于监督两层模型的预测标签

 
  本质上，我们从一个新奇的角度，即使用双层MIL框架来处理WSI问题，主要的贡献如下：
  1）引入伪包的概念，以应对WSI不足的窘境；
  2）利用Grad-CAM的基本思想，从AB-MIL的角度出发直接推导出实例概率，这可以在未来中作为很多MIL方法的延申；
  3）通过实例概率的推到，制定了双层MIL框架，且在两个大型公开WSI数据集上展示了其优越性。

2 方法

2.1 回顾Grad-CAM和AB-MIL

2.1.1 Grad-CAM

  一个端到端的深度学习图像分类模型通常包含两个模块，即用于高级别特征提取的深度卷积网络 (deep convolution neural network, DCNN) 和用于分类的多层感知 (multi-layer perceptron, MLP)。一张图像投喂给DCNN后可以获取多个特征图，并可通过池化函数获取一个特征向量。这样特征向量再交给MLP，就可以获取类别概率啦，如图2 (a)。

图2：(A) 深度学习图像分类模型说明。全局平均池化用于提取整张图像的特征图，并进一步获取特征向量。特征向量传递给MLP获取类别概率。(B) AB-MIL说明。实例的提取特征通过注意力得分加权，所有实例的加权平均结果作为包的新表示，进而交由MLP输出包预测。

 
  假设DCNN的输出特征图为$U\in {\mathbb{R}}^{D\times W\times H}$，其中$D$是通道数，$D$和$H$是维度大小。在$U$上施加全局平均池化将获取表示包的特征向量：
$$\mathbf{f}={\text{GAP}}_{W,H}(U)\in {\mathbb{R}}^D\text{\hspace{1em}(1)}$$其中${\text{GAP}}_{W,H}(U)$表示关于$W,H$的平均池化，即$\mathbf{f}$的第$d$个元素$f_d=\frac{1}{WH}{\sum }_{w=1,h=1}^{W,H}{U}_{w,h}^d$。使用$\mathbf{f}$作为输入，MLP将输出类别 c ∈ { 1 , 2 , c … , C } c\in\{1,2,c\dots,C\} c∈{ 1,2,c…,C}的逻辑值$s^c$，其表示当前属性属于$c$类的信号强度，可通过softmax操作获取所预测的类别概率。基于Grad-CAM的第$c$类类别激活图被定义为特征图的加权和：
$${\mathbf{L}}^c=\sum _d^D{\beta }_d^c{U}^d,{\beta }_d^c=\frac{1}{WH}\sum _{w,h}^{W,H}\left(\frac{\partial s^c}{\partial U_{w,h}^d}\right)\text{\hspace{1em}(2)}$$其中${\mathbf{L}}^c\in {\mathbb{R}}^{W\times H}$，$L_{w,h}^c$是${\mathbf{L}}^c$是在位置$w,h$的幅度值，表示这个位置趋同于类别$c$的强烈程度：
$$L_{w,h}^c=\sum _{d=1}^D{\beta }_d^c{U}_{w,h}^d\text{\hspace{1em}(3)}$$

2.1.2 AB-MIL

  给定有$K$个实例的包 X = { x 1 , x 2 , … , x K } X=\{x_1,x_2,\dots,x_K\} X={ x1​,x2​,…,xK​}，每个实例$x_k,k\in 1,2,\dots ,K$持有隐藏标签$y_k$ (不可知的)，其中$y_k=1$表示正，$=0$表示负。MIL的目标是检测包中是否至少包含一个正实例。在训练阶段唯一能使用的是包标签，其被定义为：
$$Y=\{\begin{array}{ll}1,& \text{if}{\sum }_{k=1}^K{y}_k>0\\ 0,& \text{otherwise}\end{array}\text{\hspace{1em}(4)}$$解决该问题的一个简单方法是为实例分配相应包的标签，并由此训练分类器，最终通过平均池化或者最大池化汇聚实例预测结果为包标签。另一个策略是学习包表示$\mathbf{F}$，从而将该问题简化为传统的分类任务。这种策略更为有效，可以看作是MIL嵌入学习的一种。包嵌入则被定制为：
F = G ( { h k ∣ k = 1 , 2 , … , K } ) (5) \tag{5} \boldsymbol{F}=\text{G}(\{\boldsymbol{h_k|k=1,2,\dots,K}\}) F=G({ hk​∣k=1,2,…,K})(5)其中$\text{G}$是汇聚函数，${\mathbf{h}}_k\in {\mathbb{R}}^d$是实例$k$的提取特征。典型的汇聚函数是注意力机制：
$$\mathbf{F}=\sum _{k=1}^K{\alpha }_k{\mathbf{h}}_k\in {\mathbb{R}}^D\text{\hspace{1em}(6)}$$其中${\alpha }_k$是实例${\mathbf{h}}_k$的习得权重，$D$是向量$\mathbf{F}$和${\mathbf{h}}_k$的维度。这样的一个机制如图2 (b)所示。注意力得分的计算有多种，例如经典AB-MIL的权重计算为：
α k = exp ⁡ { w T ( tanh ⁡ ( V 1 h k ) ⊙ sigm ( V 2 h k ) ) } ∑ j = 1 K exp ⁡ { w T ( tanh ⁡ ( V 1 h j ) ⊙ sigm ( V 2 h j ) ) } (7) \tag{7} \alpha_k=\frac{\exp\{ \boldsymbol{w}^T(\tanh (\boldsymbol{V}_1\boldsymbol{h}_k) \odot\text{sigm}(\boldsymbol{V}_2\boldsymbol{h}_k)) \}}{\sum_{j=1}^K\exp\{ \boldsymbol{w}^T(\tanh (\boldsymbol{V}_1\boldsymbol{h}_j) \odot\text{sigm}(\boldsymbol{V}_2\boldsymbol{h}_j)) \}} αk​=∑j=1K​exp{ wT(tanh(V1​hj​)⊙sigm(V2​hj​))}exp{ wT(tanh(V1​hk​)⊙sigm(V2​hk​))}​(7)其中$\mathbf{w}$、${\mathbf{V}}_1$，以及${\mathbf{V}}_2$是习得参数。

2.2 AB-MIL中实例概率的推导

  尽管MIL包嵌入方法性能卓越，但是其在计算实例类别概率时似乎是不可行的。本文则证明了在AB-MIL中获取单个实例的预测概率是可行的，证明略。因此，应用Grad-CAM到AB-MIL来直接推断实例属于某个确定类别的信号强度是可行的。与公式2类似，实例$k$归属于类别$c$的信号强度可以被记作：
$$L_k^c=\sum _{d=1}^D{\beta }_d^c{\hat{h}}_{k,d},{\beta }_d^c=\frac{1}{K}\sum _{i=1}^K\frac{\partial s_c}{\partial {\hat{h}}_{k,d}}\text{\hspace{1em}(8)}$$其中$s_c$是MIL分类器关于类别$c$的输出逻辑、${\hat{h}}_{k,d}$是${\hat{\mathbf{h}}}_k$的元素，以及${\hat{\mathbf{h}}}_k={\alpha }_{k}K{\mathbf{h}}_k$。通过运用softmax函数，实例属于第$c$的预测概率为：
$$p_k^c=\frac{\exp (L_k^c)}{{\sum }_{t=1}^C\exp (L_k^t)}\text{\hspace{1em}(9)}$$

2.3 双层特征蒸馏MIL

  给定$N$个包 (WSI)，每个包有$K_n$个实例，即 X n = { x n , k ∣ k = 1 , 2 , … , K n } , n ∈ { 1 , 2 , … , N } \boldsymbol{X}_n=\{ x_{n,k} | k=1,2,\dots,K_n\},n\in\{ 1,2,\dots,N \} Xn​={ xn,k​∣k=1,2,…,Kn​},n∈{ 1,2,…,N}，$Y_n$则表示包的真实标签。每一个实例对应的特征记作${\mathbf{h}}_{n,k}$，其由神经网络$\mathbf{H}$提取，即${\mathbf{h}}_{n,k}=\mathbf{H}(x_{n,k})$。每个包中的实例被随机划分为$M$个伪包，包中的实例大致为偶数， X n = { X n m ∣ m = 1 , 2 , … , M } \boldsymbol{X}_n=\{ \boldsymbol{X}_n^m | m = 1,2,\dots,M \} Xn​={ Xnm​∣m=1,2,…,M}。伪包的标签被标记为其父包的标签，即$Y_n^m=Y_n$。1层级AB-MIL模型记作${\text{T}}_1$，被用于处理每个伪包，则每个伪包通过${\text{T}}_1$获取的包概率为：
y n m = T 1 ( { h k = H ( x k ) ∣ x k ∈ X n m } ) (10) \tag{10} y_n^m=\text{T}_1(\{ \boldsymbol{h}_k = \mathbf{H}(x_k)|x_k\in\boldsymbol{X}_n^m \}) ynm​=T1​({ hk​=H(xk​)∣xk​∈Xnm​})(10)  ${\text{T}}_1$层的损失函数基于交叉熵定义：
$${\mathcal{L}}_1=-frac1MN\sum _{n=1,m=1}^{N,M}{Y}_n^m\log y_n^m+(1-Y_n^m)\log (1-y_n^m)\text{\hspace{1em}(11)}$$随后伪包中每个实例的概率通过公式8–9获得。基于实例概率，每个伪包的特征向量可以被获得，其中第$n$个包的第$m$个伪包的蒸馏结果表示为${\hat{\mathbf{f}}}_n^m$。所有的蒸馏结果则传递给2层级AB-MIL ${\text{T}}_2$，其结果便是每个包标签的推断：
$${\hat{y}}_n={\text{T}}_2\left(\left\{{\hat{\mathbf{f}}}_n^m|m\in (1,2,\dots ,M)\right\}\right)\text{\hspace{1em}(12)}$$  ${\text{T}}_2$的损失被定义为：
$${\mathcal{L}}_2=\frac{1}{N}\sum _{n=1}^N{Y}_n\log {\hat{y}}_n+(1-Y_n)\log (1-{\hat{y}}_n)\text{\hspace{1em}(13)}$$  分类的总体损失为：
$$\mathcal{L}=\underset{{\mathbf{\theta }}_1}{\mathrm{argmin}}{\mathcal{L}}_1+\underset{{\mathbf{\theta }}_2}{\mathrm{argmin}}{\mathcal{L}}_2\text{\hspace{1em}(14)}$$其中${\mathbf{\theta }}_1$和${\mathbf{\theta }}_2$是网络参数。
  需要注意的是伪包中有大量的噪声标签，随机划分并不能保证每一个正伪包中都至少包含一个正实例。而深度学习对噪声标签是有一个容忍度的。此外，噪声等级可以粗略与$M$挂钩，之后也会使用消融实验来评估$M$对最终性能的影响。
  四种特征蒸馏策略将被考虑：
  MaxS (maximum selection)：${\text{T}}_1$处理后，伪包中具有最大正概率实例的特征传递给${\text{T}}_2$；
  MaxMinS (maxMin selection)：选两个；
  MAS (maximum attention score selection)：选具有最大注意力得分的；
  AFS (aggregated feature selection)：通过公式6汇聚。