开始之前

【2】Triplet loss通常是在个体级别的细粒度识别上应用，传统的分类是花鸟够的大类别的识别，但是有些需求要精确到个体级别，比如精确到哪一个人的人脸识别，所以triplet loss的最主要应用也就是face identification、person re-identification、vehicle re-identification的各种identification问题上。这个loss虽然很好，但是用起来真的很烦，而且不太好理解。最近一直被这个题目困扰，搜了一下，又看到metric learning和circle loss之类的词汇，真是一口老血，学无止境啊。

从Lazy Triplet Loss说起

philipperemy deep-speaker有实现一种简单的实现方法Lazy Triplet Loss，实测有效，但是如果要精调模型，或者想获得更加深入理解TripletLoss，这显然是不能满足要求的。这个方法大底是即基于easy triplets公式来实现的。在诉说为啥叫lazy之前，先回顾一下triplets的基本概念。

triplets里的三个兄弟和三种loss 标准

triplets三兄弟

triplets三胞胎的大哥刘备a是anchor，是扛把子baseline；二弟关羽p是positive，处处要学着a争取跟a一模一样；三弟张飞n是negative，处处要跟a对着干，离得越远越好。

triplets三兄弟的关系

distance作为评判这三兄弟的关系，其实就是二弟、三弟和哥哥靠的近不近，这个和谐的兄弟关系应该是这样：$d(a,p)$越近越好，$d(a,n)$越远越好，怎么个好法呢？需要一个诸葛亮$margin$来搅和一下

评判triplets三兄弟关系的标准

诸葛亮刚来，觉得大哥和二弟关系太近，搅和了一下，争取平和一下刘关张的关系：

$$L=MAX(d(a,p)-d(a,n)+margin,0)$$

easy triplets: $L=0$

$d(a,p)+margin<d(a,n)$，那么Max算子肯定取0了。这时候说明刘备a和关羽p哥俩好的像一个人似的，基本没张飞n啥事，诸葛亮$margin$上来也没办法疏远，那么此时的情况天下太平。当然这种case也没有用。

semi-hard triplets: $L!=0$

在诸葛亮margin的成功搅和下，关羽和刘备疏远了， $d(a,p)+margin>d(a,n)$，但诸葛亮不在的时候两个人还可以 $d(a,p)<d(a,n)$，按照通用的公式来就是$d(a,p)+margin>d(a,n)>d(a,p)$。这种情况如果神经网络不处理，就会演变成下面的极端情况。

hard triplets: $L!=0$

$d(a,p)>d(a,n)$，不管有没有诸葛亮，关羽和刘备都闹掰了，这个时候有故事看了，需要神经网络来调理调理。
到此用三国人物来大致调侃了一下triplets的概念，主要为了加深理解。

理想的分类模型应该是这样，所有的关系都满足easy triplets，这时候就没有必要训练了，这组数据集合经过embedding，分类效果杠杆滴，t-sne图上同类散点紧密簇在一起，感官上很完美；退而求其次就是semi-hard triplets，其实这种模型也不错，类间距总是大于类内距，t-sne图上同类散点基本上簇在一起，但是在实际应用中容易受到噪声的干扰，少部分离散点跑到别的类上去了；那么最后一种hard triplets就很容易理解了，无法准确的分辨出类别，t-sne散点图糊了。都解释的这么直白了，triplets的终极目标，没有hard，尽量少semi，最好都easy。

Lazy Triplets Loss最投机取巧的办法是：

• 随机的获取batch，这是时候没有做任何筛选，不管刘关张的关系如何，lazy就在这里体现了。
• train的时候，利用semi条件保留算出的loss，最后取平均，满足easy的batch没有被摘除，让训练到一定程度，由于满足easy的越来越多，导致均值loss很低，收敛越来越慢。

虽然训练结果还不错，但是从机制上不够严谨，应该在batch筛选上再下功夫。

不能从0开始，要站在巨人的肩膀上

在DeepLearning的世界里，每次我想结束一个议题的时候，结果是又推开了另一扇门，就比如说这个triplets loss已经让我毛发稀疏了，本来希望通过一遍笔记收敛这个话题，搞一个终极解决方案出来，结果发现这个triplets loss的mining非常深奥，往前一探，就是度量学习，翻了翻这块的东西，我觉得还是先关上它，聚焦到triplet mining上，争取找到一个比lazy更好的策略，提高embedding的分离度。面对浩如烟海、日新月易的AI世界，无力感满满，还好有无数的先行者为后面的人开辟了道路，不至于每件事情从头做，为了能取得更好的结果，翻了一下本站，发现Triplet-Loss原理及其实现、应用翻译Triplet Loss and Online Triplet Mining in TensorFlow并用numpy重写了里面的方法，因为采用了mask的办法，使得满足easy条件的数据不会再被选中，这样可以进一步的提高后期的训练效率，这个方法值得一试，但要确认好不好用得花点时间。参考中的最后一篇对loss有更多的介绍，肯定要仔细研究，但不是现在，留个彩蛋吧。
本章剩下的部分就是讨论triplets batch策略，这个与之前的均方差，交叉熵等等最大的区别是：筛选过程可能要走一遍inference，这样才能得到要度量的结果，提前签知道哪些属于easy，没必要进training，既费时有费事。而且每个epoch训练完，上一次easy的可能这次就semi或者hard了，三者的关系随着每个epoch动态变化，咔咔，想想就头大。不妨再回顾一下Triplet Loss and Online Triplet Mining in TensorFlow提到的策略，有了我这么多铺垫，应该就不难理解了。

triplets mining

根据上节提到的三种loss度量，训练中需要选取hard和semi-hard的train sets，丢弃easy的train sets，一般分为offline和online两种策略。

Offline mining

Offline就是训练完一个epoch之后，下一个epoch之前，将train sets所有的数据做一遍inference，根据inference得来的embedding计算满足hard和semi-hard的结果，计算最后的triplets loss平均值，启动下一个epoch的training。脑补一下计算量和麻烦的程度，就是知道这个虽然很理想主义，单不靠谱。所以Offline策略只是个策略，没见人用的。

Online mining

Online是各大论文采用和研究的主题，主导思想就是定义好了batchsize，每次启动下一个epoch之前，提取batch，将满足要求（hard、semihard）的loss拿来计算，训练再次走起，很显然这个方法loss似乎更加显著，而且人工干预少。In Defense of the Triplet Loss for Person Re-Identification先假设一个输入的batchsize $B=PK,P=PersonNumber,K=ImageNumberforthisperson$具体的策略还分为如下：

1. Batch All：选取所有有效的triplets，就算hard、semihard triplets的平均值。这样就屏蔽了easy triplets的个体数量，避免了训练后期loss过低的问题，当然要计算PK(K-1)(PK-K) triplets(PK anchors, K−1 possible positives per anchor, PK−K possible negatives) ，这个数其实看上去有点懵，没关系，画一个表格就容易理解了。假设刘关张三（P）个人，每人有三(K)个case，batchsize就是9（B=PK）。每次提取这九个测试样本，按照表格来看，刘备的某一个case d（a，p）是（K-1），（a,n）是K*（P-1）。每个triplets都是d（a，p）和d（a,n）的组合，就算刘备的triplets 数量=（K-1）* K *（P-1），所有人次的结果就是
   $$P\ast K\ast （K-1）\ast K\ast （P-1）=PK(K-1)(PK-K)$$

人名	空	刘备	刘备	关羽	关羽	关羽	张飞	张飞	张飞
空	空	d（a,p）	d（a,p）	d（a,n）	d（a,n）	d（a,n）	d（a,n）	d（a,n）	d（a,n）
刘备	anchor1	anchor2	anchor3	anchor1	anchor2	anchor3	anchor1	anchor2	anchor3
刘备	anchor2	anchor1	anchor3	anchor1	anchor2	anchor3	anchor1	anchor2	anchor3
刘备	anchor3	anchor1	anchor2	anchor1	anchor2	anchor3	anchor1	anchor2	anchor3
关羽	anchor1
关羽	anchor2
关羽	anchor3
张飞	anchor1
张飞	anchor2
张飞	anchor3

3. Batch Hard: 对于每个anchor（ $B=PK$个），只留下来最硬的positive（biggest distance d(a,p)）和最硬的negative（smallest distance d(a,n)），这样每个的算法batch $B=PK$个三兄弟拿去训练。这里应该很好理解了。

论文说batch Hard好，那接下来就研究如何mine一下自己的triplet，希望能比lazy好点。

参考

1.philipperemy deep-speaker
2.Triplet loss学习笔记
3.Deep Metric Learning
4.周志华《Machine Learning》学习笔记（12）–降维与度量学习
5.【论文笔记4】深入理解行人重识别网络的Loss