论文阅读之Joint cell segmentation and tracking using cell proposals

　　论文提出了一种联合细胞分割和跟踪方法，利用细胞segmentation proposals创建有向无环图，然后在该图中迭代地找到最短路径，为单个细胞提供分割，跟踪和事件。

　　

3. PROPOSAL GENERATION

　　论文的方法的第一个阶段是proposal generation，目标是生成大量的segmentation proposals，使其具有较高的recall。segmentation proposals生成的主要步骤:首先，从背景中分割单元；第二，blob detection用于检测单个细胞; 最后，利用分水岭对单个细胞进行分割。初始的二值分割可以用任何方法从背景分离细胞。论文根据序列使用graph-cuts [12]或阈值化。

　　为了在二进制分割图像中分割cell簇，论文使用N个广义拉普拉斯高斯（gLOG）滤波器组[13]来覆盖常见的cell尺寸和纵横比。滤波器组中的所有滤波器都是具有比例（σx,σy）和纵横比的基本滤波器的旋转版本。每个滤波器组应用于图像，响应图像Rn通过使用以下方法对其中所有M个滤波器的对数标度归一化[13]响应Rnm求和来获得：

　　其中α是控制检测到的blobs的偏心率的参数[13]。这种标准化对于确保所有滤波器组的响应具有相同的比例并且可以进行比较是必要的。检测响应图像Rn中高于阈值的局部峰值，并通过分水岭变换将其用作细胞标记，以分裂细胞簇并获得单个细胞分割。这导致N组细胞segmentation proposals，其包含许多重复的cell proposals。非最大值抑制用于删除这些重复的proposals。剩余的proposals被安排在分层proposals树中，如图2a所示（图2b和2c将在第4节中解释），其中沿着分支的proposals彼此冲突，并且在推理期间可以从每个分支中仅选择一个proposals。（这里，有点疑惑，难道是最后产生N组图片，然后进行取每张图片的最大值，放到一张图片中？）

　　　　　　图1：a）来自HeLa-01的原始图像，b）二进制segmentation，c）过滤器组的单独过滤器响应，左上角显示过滤器，d）累积滤波器响应，e）检测到的细胞seeds，f）一组segmentation proposals。

图2：a）来自二进制segmented图像的连通区域的Segmentation proposal树。b）超节点结构。c）简化的图形结构（未显示有丝分裂和细胞凋亡的边）

4. GRAPHICAL MODEL

　　在第二阶段，论文的方法为整个序列创建有向无环图，其包括表示选择好的cell proposals所需的所有概率及其在帧之间的正确关联的链接。

4.1. Graph Structure

　　图2c示出了具有三个帧和六个cell proposals的序列的简化图结构。在该图中，从tstart开始并以tend结束的每个cell track从Start节点开始，通过入口节点Etstart，一些cell proposals超节点，并终止于End节点。高门控阈值用于限制相邻帧中彼此相距太远的proposals之间的连接。在许多细胞追踪应用中，细胞经常进入或离开成像区域; 我们使用入口节点（Et）和出口节点（Lt）来允许新track分别在这些cell的每个时刻t开始和结束。

4.2. Super Node Structure

　　图2b显示了超节点Pt,i的结构，它代表了每个细胞segmentation proposal。它由五个节点组成，因此这些节点中的四个，Dt,i（移动），Mt,i（有丝分裂），At,i（细胞凋亡）和Vt,i（离开）代表细胞可以通过的事件，第五节点Ft,i将该proposal连接到入口节点Et和先前帧中的proposal。

4.3. Model Probabilities

　　连接Ft,i与事件节点的图2b中的绿色边缘表示该proposal是cell的概率。使用SVM分类器计算该概率，该SVM分类器被fed基本形状和外观特征。这些特征包括面积，周长，坚固度，偏心率，范围，滤波器比例，hu矩，gLOG响应的平均值和标准偏差以及强度图像。 它确保类似于实际cell的proposals比具有非典型形状或外观的proposals更可能被选择。

　　没有特定的内在或外部引导细胞经常和突然改变它们的移动速度和方向，所以论文的方法使用布朗运动模型。使用两个proposals的质心和SVM分类器的输出之间的距离来计算相邻帧中的图2b和图2c中的蓝色边缘的概率，所述SVM分类器使用来自两个proposals的上述特征以及它们的重叠以预测它们是否属于相同的cell。论文的模型通过允许边缘处理错过的检测，在非相邻帧中的proposals之间具有取决于跳过的帧的数量的附加cost项。

　　论文的方法假设当细胞经历有丝分裂时，它导致在下一帧中出现两个非常接近父母质心的子细胞。它使用子proposal pair与父proposal的重叠，它们之间的距离以及来自所有三个提议的上述特征来计算父提案分成子提议对的概率。然后，使用图2b中的红色边缘，将父proposal Pt,i与子proposal pair 连接，其在所有子proposal pair中具有最高的有丝分裂概率。

　　细胞消失也带来一些挑战，因为任何未能检测到由于细胞死亡或离开成像区域而导致的细胞消失都可能导致其轨迹继续通过附近的proposal，这可能干扰未来轨道的路径。由于在正常细胞培养条件下细胞死亡是一种相对罕见的事件，并且通常没有足够的训练样本，论文的方法使用proposal的最大重叠与下一帧中的proposal来计算这个概率，图2b中的棕色边缘。在具有高死亡率的序列中，可以使用形状和外观特征来学习该概率。

　　细胞经常在图像边界和轴向方向上进入和离开视野。在一些序列中，与其他细胞相比，从轴向进入/离开成像区域的细胞通常具有更小的尺寸和更低的强度。论文的方法使用proposal的大小，强度和距离最近图像边界的距离来计算其进入/离开成像区域的概率，图2b和图2c中的粉色/橙色边缘。

5. GREEDY APPROXIMATE INFERENCE

　　有向无环图中的边e表示每个细胞proposal可以经历的不同细胞事件（移动，有丝分裂，死亡，进入，离开）的概率Pr(e)。通过该图的每个路径k具有cost Ck，其是通过该路径中的边缘集合S遍历的proposals and transitions（cell events）的cell track的概率的负对数。

　　论文的方法试图用cell tracks覆盖all proposals，以便最小化所有K tracks的组合cost。

（3）的全局最优解可以使用Integer Linear Programming[8,9,10]找到，但它可能在计算上很昂贵，并且对于非常密集和长的序列可能并不总是可行的。因此，论文使用贪婪迭代最短路径算法对此图执行推理。论文的方法使用Dijkstra算法迭代地找到通过一组cell proposals PS的该有向图中从Start节点到End节点的最低成本路径S。然后，它删除包含PS中包含任何proposals的分支的所有proposals，并创建交换节点[4]，这允许将来的轨道对先前找到的tracks进行修改。

　　论文贪婪方法找到的第一条轨道是全局最优的，因为所有可能的proposals and transitions都被考虑在内。但是，由于无法恢复已删除的proposals，因此后续跟踪不再是全局最优的。然而，次优路径仍然考虑了大量的proposals和transitions，并导致选择非常好的轨道。

如果轨道通过proposals的有丝分裂节点，指示已发生有丝分裂事件，则从第二子节点Ft+1,j而不是Start节点开始下一轨道。如果轨道跳过几帧，论文的方法使用linear motion来预测跳过的帧中该cell的位置，并将最后检测到的cell放置在那些位置。一旦所有proposals都用尽，搜索就会终止。

6. RESULTS

　　论文在三种荧光显微镜序列上评估了论文提出的方法，即来自ISBI 2015细胞追踪挑战的Fluo-N2DH-GOWT1-01，Fluo-N2DH-HeLa-01和Fluo-N2DH-SIM+-01。论文使用阈值处理获得Fluo-N2DH-SIM+-01的初始分割，而使用graph cuts[12]获得其他两个。论文使用ISBI 2015细胞追踪挑战中使用的跟踪性能测量（TRA）和Jaccard相似性指数（SEG）进行比较。TRA旨在通过不同地惩罚跟随错误来反映纠正跟踪算法生成的轨道中的错误所需的手动工作：FN（假阴性），FP（误报），NS（欠分割），EA（缺失边缘），EC（未标记边缘）和ED2（额外边缘）。TRA和SEG值都在0到1之间（完美结果），使比较更容易。

　　由于产生了大量的cell proposals，导致较高的TP，较低的FN，使得recall{=TP/(TP+FN))}较高。

　　

Fig. 3: Segmentation results for a frame (segmented cells are labeled using 7 repeating colors). Contrast has been enhanced in (a) to show dark cells. *in (a) mark the centroids of ground truth cells. FN, FP, NS and Over-segmentation errors are highlighted in (b), (c) and (d)

小结：

阅读该论文后，感觉产生cell proposals的思想比较新颖（博主阅读量短缺），通过多组的filters进行提取不同尺寸/方向的cell。另外由于大数据量的线性规划求解复杂度高，选择使用贪心迭代求最短最佳路径，也值得一试。

本人是cell tracking小白，望有相关领域的研究者交流、学习，本人QQ295727947

附cell tracking challlenge 网站：http://celltrackingchallenge.net/