CN103430213B - 追踪肿瘤的装置 - Google Patents

Abstract

通过利用从一对双平面图像确定的肿瘤的之前位置、肿瘤的3D模型和双平面几何性和生成一组分割假设。基于该组假设构造体事前概率。使用体事前概率选择种子像素，并且使用辉度梯度和种子像素构造双平面双图像图形以使用图像辉度获得对应于肿瘤边界的分割掩模，从而确定肿瘤的当前位置。

Description

追踪肿瘤的装置

技术领域

本发明一般地涉及追踪3D对象，并且更具体地，涉及为了粒子束放疗而追踪一系列双平面图像中的移动肿瘤。

背景技术

粒子束放疗将带电粒子传递给肿瘤同时使得对周围的健康组织的伤害最小。粒子的能量沉积分布具有布拉格峰。该峰在粒子停止移动之前出现。能够控制该分布以在粒子的几毫米的范围内传递最大能量。因此，规定的照射被集中在肿瘤上而几乎没有粒子束的侧散射和加宽。

然而，由于随机的全身性的运动，需要在治疗期间实时地连续追踪肿瘤。使用了诸如超声、X射线和磁共振成像(MRI)的若干仪器来追踪身体的内部结构。在这些当中，作为X射线的替代，超声成像提供了非侵入性。在实现费用以及时间效率的同时，具有3D成像能力的高频超声系统还实现了更好的分辨率、最小尺寸的腹部转移的识别和检测，并且有利地与X射线成像进行匹配。

超声成像不仅描绘肿瘤的中心而且描绘了变化很大的高反差肿瘤的整个体和边界。超声成像在传统上用于肿瘤的检测和病期诊断。

对于可见的肿瘤，能够通过图像分割来执行肿瘤追踪，其中，各像素被标记为前景(肿瘤)或者背景(健康组织)。通常，这项工作属于水平级以及图形分割技术。对于图像分割，水平级描述了前部随时间的演变，并且对于图像分割来说，更具体地，描述了两个分离的闭合区域之间的边界。

通过间接地将前部建模为时间相关的高维隐函数的零水平级的嵌入，解决了这些问题，同时无需将其作为特殊情况来处理。因此，在演变前部之后能够追踪该隐函数的零水平级，例如从闭合曲线开始并且允许该曲线从根据图像局部导出的初始速度开始垂直于自身而移动。典型的技术利用离散参数化而将曲线的评估表示为其位置根据给定的模型而更新的点的集合。

基于图形分割的分割技术是高效且准确的，并且确保了针对很多能量函数的广域最优性。在图形理论中，割(cut)是将图形的顶点(节点)划分为两个不相交的子集。假设一组前景像素和一组背景像素，由图形表示图像，并且能够通过最大化通过图形的流而获得二元分割的最大事后概率(MAP)估计。对于对象/背景指派进行评估，图形边能量被设计为数据相关项。各像素被视为图形中的顶点。

图形包括两个额外的顶点，即分别表示整体前景和整体背景的源点和汇点。通过将图像中的各像素连接到具有加权边的对象顶点和背景顶点来实现数据相关项。加权图形的最小割表示将前景与背景最佳地分离的分割。如果沿着该割的权重的和不大于任何其它割的和，则该割是最小的。由于该属性，即使基础外观描绘了细长的对象，图形切割方法也趋于产生紧凑的区域。

形状事前信息能够包括在图形切割框架中而没有使得处理的广域最优性妥协。在事前信息和图像在多个尺度对齐并且成对的开销项被赋予有用于相邻像素的形状匹配开销项之后，能够利用形状的距离变换来编码形状事前信息。该开销项是子模。因此，仍然能够获得广域优化解。然而，能够对于不同的尺度重复修改处理以确定最佳匹配，这消耗了很多时间。

其它技术将形状事前信息并入到一元项中。能够使用核主成分分析(PCA)来从训练形状训练生成模型。能够从初始轮廓开始反复地执行图形切割。在各反复执行期间，基于之前反复执行的分割，从训练的形状模型生成原图像。该原图像用作事前概率分布，并且按像素的负的对数似然值用于对由一元项编码的最终的权重进行修改。图像归一化处理用于处理形状的仿射变换。通过将多相级别集合分割置于图形切割框架下，该方法能够分割不连接的区域。

一种方法用于追踪3D超声图像中的左心室。然而，该方法非常复杂并且依赖于对于训练数据组的监督式学习，这并不是在所有情况下都是可行的。

大多数图形切割方法对于源点和汇点像素的位置和数目是高度敏感的。多标记分割具有醉步问题。利用组合算符对图形重新归纳等效的连续狄利克雷处理。通过求解在一组种子像素(种子)的给定标记上受约束的稀疏一次方程组来获得图像分割。从训练数据获得的高斯混合的形式的颜色事前概率信息能够包括在醉步分割处理中。

然而，将上述方法扩展到在一系列图像中追踪肿瘤并不是简单的并且要求连续图像中的汇点像素和源点像素的精心或手动的选择。

发明内容

为了解决上述方法的缺点，本发明的实施方式将肿瘤追踪归纳为能量最小化框架下的时间演进的3D分割问题，其中，肿瘤的3D模型被作为事前信息。本发明基于一系列双平面图像，而不是如现有技术中那样基于完全的3D超声或计算机断层摄影(CT)图像。

本发明的实施方式提供了一种利用肿瘤的3D形状作为事前信息在一系列双平面图像中追踪3D肿瘤的方法。利用换能器阵列获取双平面图像，其中换能器阵列相对于彼此而旋转以提供两个图像平面中的同时的视图。

利用图形分割在各图像中分割肿瘤边界。通过组合的双平面双图像分割来推断出分割种子像素(种子)。从3D形状生成分割假设并且该分割假设用于定位图像中的种子像素，并且对基于辉度的前景概率分布进行过滤。

距离函数被应用于过滤后的前景概率分布以构造用于分割的拉普拉斯矩阵。然后，所获得的分割掩模与形状事前信息进行匹配以定位3D肿瘤。

我们的方法使用同一图形中重合的推测图形模型。肿瘤的体在推测处理中具有中心作用。推测两个视图的边界分割中使用肿瘤的3D位置和体。在推测新的3D位置时使用所估计的边界分割和体。

为了推测3D位置，我们使用粒子过滤，其中各粒子是肿瘤的可能的新位置。根据体，每个粒子被映射到与体相关的分割掩模。通过将这些分割假设与所获得的分割进行匹配(使用重叠比率)，确定匹配分数。我们最终使用下述粒子，其使用最大事后(MAP)估计提供最优的匹配分割假设，即，使用匹配分数小于预定阈值的粒子。

假设作为图像序列的第一帧中的初始位置的肿瘤的当前位置，生成用于新的帧的一组分割假设。利用这些假设，构造事前概率。根据该事前概率，对用于新的帧的分割种子进行标记。使用所选择的种子来学习用于前景和背景的辉度分布，这导致了用于分割的数据驱动的事前概率。单个结合图形被构造为组合各平面的两个帧的图形。对结合图形执行基于图形的分割以获得两个帧中的初始分割结果。通过将初始分割结果替换为最适合的分割假设来对该初始分割结果进行细化。

本发明的实施方式还提供了一种在一系列双平面图像中追踪肿瘤的装置，所述装置包括：用于利用从一系列双平面图像中的每对双平面图像确定的所述肿瘤的之前的位置、所述肿瘤的3D模型和双平面几何性和生成一组分割假设的单元；用于基于所述一组假设构造体事前概率的单元；用于使用所述体事前概率选择一对当前图像中的种子像素的单元；用于使用辉度值和所述种子像素构造双平面双图像图形的单元；以及用于使用图像辉度获得对应于肿瘤边界的分割掩模以确定所述肿瘤的当前位置的单元。

在本发明的实施方式中，所述分割掩模是三维的并且随时间而变化。

在本发明的实施方式中，使用具有已知的几何性的三个以上的图像平面。

在本发明的实施方式中，所述双平面图像是由两个超声换能器阵列获取的。

在本发明的实施方式中，所述双平面图像是通过划分三维超声换能器的超声体而获取的。

在本发明的实施方式中，所述种子像素用于确定前景像素和背景像素的辉度分布，使用所选择的种子确定指派，并且根据所述辉度分布来获得辉度事前信息。

在本发明的实施方式中，所述装置进一步包括：用于使用所述一组假设来细化所述分割掩模的单元。

在本发明的实施方式中，所述分割掩模用于识别前景像素和背景像素。

在本发明的实施方式中，所述装置进一步包括：用于如果所述分割掩模识别出前景像素，则保持并更新基准图像和基准掩模的单元。

在本发明的实施方式中，所述双平面双图像图形包括对应于图像中的像素的顶点和连接所述顶点的边，其中，每个边与指示对应于所述边的各端处的顶点的像素之间的相似度的权重关联。

在本发明的实施方式中，各对双平面图像被共同地分割。

在本发明的实施方式中，所述装置进一步包括：用于由前景辉度分布和背景辉度分布确定各顶点处的外观事前概率值的单元；用于由分割假设确定各顶点处的3D体事前信息值的单元；以及用于根据所述外观事前概率值和所述3D体事前信息值将权重指派给各顶点的单元。

在本发明的实施方式中，所述装置进一步包括：用于由关联的权重构造所述双平面双图像图形的拉普拉斯矩阵的单元；

用于根据下式求解针对标记s的扩展一次方程组的单元

(L+vI)r^s＝vp^s，

其中，L是拉普拉斯矩阵，v是控制在先项的重要性的混合参数，r^s是将概率指派给顶点以取得标记s的函数，p^s是标记s的事先概率分布，并且I是具有与L相同维度的单位矩阵；以及用于对所述标记进行阈值处理以确定前景顶点和背景顶点，从而获得所述双平面双图像的分割掩模的单元。

在本发明的实施方式中，所述装置进一步包括：用于由所述种子顶点的所述关联的权重和标记构造所述双平面双图像图形的拉普拉斯矩阵的单元；

用于根据下式求解针对标记s的扩展一次方程组的单元

其中，Lu是对应于未知标记的矩阵，v是控制在先项的重要性的混合参数，是将概率指派给未标记顶点以取得标记s的函数，p^s是标记s的事先概率分布，B^T是在所述拉普拉斯矩阵的系数的重新排列之后形成的子矩阵的转置，是将概率指派给已标记顶点以取得标记s的函数，并且I是具有与L_U相同维度的单位矩阵；以及用于对所述标记进行阈值处理以确定前景顶点和背景顶点，从而获得所述双平面双图像的分割掩模的单元。

在本发明的实施方式中，所述装置进一步包括：用于将匹配分数确定为两个分割掩模之间的重叠比率的单元；以及用于如果所述匹配分数小于预定阈值，则宣布所述肿瘤在所述当前图像中是不可见的的单元。

在本发明的实施方式中，所述装置进一步包括：用于使用所述双平面双图像图形的权重扩展从前景种子顶点开始的未标记顶点上的前景区域以及从背景种子顶点开始的背景区域的单元；以及用于将首先包括在所述前景区域中的顶点指派为与所述肿瘤关联的单元。

在本发明的实施方式中，所述装置进一步包括：用于向所述图形添加顶点的单元，其中，每个添加的顶点v^s对应于标记s，并且利用边将各添加的顶点连接到所有像素顶点，其中，所述边的权重反映了各像素被指派所添加顶点的标记的事前概率。

在本发明的实施方式中，所述装置进一步包括：用于将所述顶点被划分为前景顶点组和背景顶点组的划分确定为使得两个划分之间的割的权重最小的单元，其中

其中，F是所述前景组中的一组顶点，B是所述背景组中的一组顶点，w_ij是顶点i和j之间的边的权重，并且C是两个组之间的割的权重。

在本发明的实施方式中，所述装置进一步包括：用于将最大的可能权重值指派给种子顶点与所添加的顶点之间的所述边，从而确保这样的边被保留的单元。

附图说明

图1是根据本发明的实施方式的使用肿瘤的3D形状作为事前信息来追踪一系列双平面图像中的3D肿瘤的方法的流程图；

图2是根据本发明的实施方式的双图像图形的示意图；

图3是根据本发明的实施方式的网格图形的示意图；以及

图4是体事前分布、3D位置和2D分割掩模之间的关系的示意图。

具体实施方式

图1示出了根据本发明的实施方式的使用肿瘤的形状的3D模型作为事前信息来追踪一系列双平面图像中的3D肿瘤的方法100。

本方法的输入110包括两个序列的成对的双平面图像111、双平面几何性112、肿瘤的3D模型113以及初始3D肿瘤位置114。初始位置能够是估计的或者大致的。在追踪肿瘤时，本方法反复更新位置114。在一个实施方式中，通过相对于彼此旋转以提供两个图像平面中的同时的视图的两个超声换能器阵列来获取双平面图像。因此，在每个时间点，存在一对两个图像。理解的是，本发明也能够利用其它成像形式来操作。

对于序列111中的当前图像的每一对来说，在给出前一图像中的肿瘤的双平面几何性112和位置114的情况下，利用3D肿瘤模型113来生成一组假设。利用这些假设，构造体事前概率130。在前一图像的双平面分割应用于体事前概率以改进种子位置之后选择当前图像中的分割种子像素(种子)131(如果存在的话)。

使用所选择的种子来确定用于前景和背景指派的辉度分布，并且根据分布获得辉度事前信息。利用两个图像序列中的多个图像，利用辉度梯度来构造140双平面双图像3D图形。利用关于概率分布的距离函数并且包括有辉度事前信息来构造拉普拉斯矩阵。

利用图形传播获得对应的肿瘤边界(分割掩模)141。能够利用一组假设120来细化142分割掩模以获得肿瘤的当前3D位置114。

然后，肿瘤的当前位置能够用于确保在放疗期间将粒子束170引导到肿瘤171处。

如果分割包含前景像素，则保持并且更新基准图像和掩模150。

能够在本领域中公知的连接到存储器和输入/输出接口的处理器160中执行上述方法的步骤。

图形传播

给出各输入图像111，目标在于通过将标记l∈1,...,K指派给图像中的各像素来将图像划分为K个部分。让输入图像I表示为图形G＝(V,E,w)，其中V＝{v_i|i＝1,...,N}是对应于图像中的N个像素的顶点的集合，E＝{e_ij＝(v_i,v_j)|i,j＝1,...,N}是对应于相邻像素的组的图形中的边的集合，并且w是测量各边的两个顶点之间的相关性的图形边的加权函数。

在该图形中，边对相邻结构进行编码并且边权重表示对应于边的各末端处的顶点的像素之间的相似性。对于辉度图像(例如，X射线和超声图像)，能够将用于顶点i和j之间的边的加权函数w(e_ij)公式化为

w(e_ij)＝exp(α(F(v_i)-F(v_j))²) (1)

其中，α是常数，v_i和v_j是顶点，并且F是输入图像的辉度分布。

图形传播框架确定离散的标记函数r，其最小化组合狄利克雷积分。为了更好地教导该处理如何进行，我们从连续的狄利克雷问题开始。区域Ω上的函数r的连续狄利克雷积分被定义为

积分测量区域Ω上的函数r的平滑度。积分始终是非负的并且当r恒定时具有零的最小值。如果函数的值在某些点是已知的，则确定最小化狄利克雷积分的函数变得更加有趣。函数的已知值被称为边界条件。在给定边界条件的情况下确定最小化函数的问题被称为边界狄利克雷问题。在离散域中，组合狄利克雷积分变为

其中，T是转置算符，L是图形的N×N组合拉普拉斯矩阵。

其中，

因此，最小化狄利克雷积分等式的离散函数r是

Lr＝0 (6)

拉普拉斯矩阵L的秩最多为N-1，即L是奇异的。结果，在对函数r没有更多了解的情况下，存在无限的解，即任何常数函数都是解。更有趣的情况是，当我们了解了针对某些种子像素的r的值时的情况。函数r被划分为针对标记的像素的r_M和用于未标记的像素的r_U。在相应地对于矩阵L中的元素进行重排序之后，狄利克雷积分等式能够被重写为

其中，B是在对应于左上(L_M)的已知标记和右下(L_U)的未知标记的L矩阵的系数的重新排列之后形成的子矩阵，并且T表示矩阵转置。

通过获取D(r_U)的关于r_U的导数并且然后将导数设置为零，我们获得下述一次方程

L_Ur_U＝-B^Tr_M (8)

其中，L_U是正定值，只要图形被连接，或者每个连接的分量具有相关的种子像素。

如上所述，狄利克雷积分测量标记指派的平滑性。事实上，对于狄利克雷问题的解决方案根据平均值定理为每个像素指派相邻像素的标记的加权平均值。

对于我们的分割问题，标记的数值是无意义的。因此，多个标记值的加权平均值是没用的。因此，替代对于标记函数求解狄利克雷边界问题，我们分别对于各标记求解概率函数的问题。让r^s是将概率r^s _i指派给顶点v_i以取得标记s的函数。r^s、r^s _M的标记部分对于具有标记s的种子顶点取值1并且对于其它种子顶点取值0。

因此，能够通过求解下式来获得针对标记s的解

我们定义N_M×K矩阵r_M，其中，N_M是种子顶点的数目，从而r_M的l的列是r^l _M。换言之，r_M的各行是下述形式的长度为K的指示符向量

类似地，我们定义了N_U×K矩阵r_U，其中，N_U是未标记的顶点的数目。通过求解下式来获得针对所有标记的解

L_Ur_U＝-B^Tr_M. (11)

由于r^s _i是取得标记s的顶点v_i的概率，因此r_i满足下面的条件

因此，仅K-1个线性组需要求解。各线性组是稀疏的，因为矩阵L是稀疏的。术语“图形传播”是来自下述事实：对于各像素v和标记s，等式(11)的解是从v开始通过图形传播的并且在布朗运动中以与边权重成比例的转变概率移动的假设粒子首先到达标记为s的种子像素的概率。

图形构成

我们的图形组合了新的当前帧与之前的基准帧，并且还组合了多个视图。单个统一的图形上的分割相对于保持分割一致性来说具有优点。分割使得我们能够在肿瘤从一个或多个视图中消失时正确地标记像素，参见下面详细描述的图2。

时间一致性

假设给出了3D肿瘤的模型和初始位置，能够直接推测出第一帧的分割。为了在第一帧之后的帧中指派种子，使用一帧的分割结果作为下一帧的种子是不准确的，这是因为各帧可能存在着显著的不同。如果肿瘤消失，则新的帧可能甚至具有前景区域。

为了确保种子的可用性而没有强制错误的标记指派，我们将两个帧共同进行分割。一个帧是当前的新的帧，并且另一个是基准帧。替代仅为新的帧构造单个网格图形，我们构造具有两个平行的网格的图形，各网格用于各帧。一个网格中的各像素连接到另一网格中的对应的像素。我们将基准帧视为前一帧并且我们假设该帧在其自己的分割中具有前景标记和背景标记。

基准帧的这些标记的像素在组合后的图形中用作种子节点。能够添加其它种子节点。以该方式，我们始终确保了具有种子而没有强制种子处于新的帧中。

多视图一致性

我们利用下述事实：我们的设定中的两个成像序列对应于两个相交的平面。对应于两个平面的图像应沿着交叉的线具有类似的辉度值，并且应该沿着这些线一致地进行分割。

我们使用双平面图形构造。在该构造中，各平面被表示为网格图形，并且沿着交叉线连接两个网格。两个网格之间的连接使得沿着交叉线的一个网格中的各节点连接到另一网格中的对应的节点的全部相邻节点。我们避免了直接连接两个对应的节点，这是因为两个对应的节点的3D点位置是相同的，这将使得该连接对于所有其它连接来说是占优势的。

除了保持两个平面之间的分割一致性之外，这样的平面构造在某些肿瘤运动场景中是有用的。当两个平面的交叉线穿过肿瘤时，两个平面中的前景区域在双平面图形中构成了一个连接分量。因此，如果种子仅在一个平面中可用(例如，当肿瘤在从一个平面消失一段时间之后开始在该平面出现时)，则该方法使用另一平面中的种子并且生成更好的分割。双帧构造与这里描述的双平面构造一起使用。然而，仅在对应于新的帧的网格之间实现双平面构造，这是因为基准帧可以对应于不同的时间点。

处理消失的肿瘤

遮蔽处理是可见区域内的任意追踪处理中的主要构成要素。

追踪的对象可以由于场景中的遮蔽的对象而变得基本上不可见。追踪处理必须检测出这样的事件，并且当遮蔽事件过去时恢复追踪。例如，在超声成像中，当被追踪的器官进入由高反射性组织界面引起的阴影时发生类似的现象。

另一运动场景是被追踪的器官移动使得该器官不再与成像平面(用于超声)相交。该情况由于前景区域将会在一段时间内完全消失而需要特殊的处理。

器官运动的最重要的原因在于呼吸运动。幸运的是，呼吸运动由于其周期性而使得可预测性很高。预计呼吸引起的运动使得器官大致沿着闭合的轨迹而运动。我们认为器官沿着类似的路径大致前后地运动。因此，当追踪的器官移动离开成像平面时，预计该器官在靠近上一次检测到该器官的位置处重新出现并且与平面相交。

我们使用基准帧，并且执行双帧分割。基准帧需要尽可能地靠近将使用的当前帧。因此，对于不可见的肿瘤，假设这里所描述的运动方式，最佳的基准帧是其中肿瘤可见的最后一帧。

为了检测肿瘤是否可见，我们分析前一分割结果。当肿瘤变得不可见时，将不会存在被分割为前景的任何像素。根据上述观察，能够对于基准帧利用下面的更新规则来高效地处理由于呼吸运动导致的肿瘤的不可见性：如果当前帧的分割结果具有非空的前景区域，则我们将基准帧更新为当前帧。否则，我们保持基准帧不变。在一个实施方式中，当前景区域小于特定阈值时，我们停止更新基准帧。

图形传播中的事前信息

上述图形传播处理仅使用种子像素的标记作为事前信息。在一些情况下，能够估计出用于各标记或一些标记的事前概率分布。分割框架中包括这样的概率分布能够减少解对于种子位置和图像噪声的敏感性。

我们现在将描述如何将事前信息并入在图形传播框架中，并且我们如何在可见肿瘤追踪问题中使用事前信息。

使用事前信息的权重计算

由于图形传播处理解决了能量最小化问题(其中，能量函数是狄利克雷积分)，因此，自然地，将事前概率分布作为正规化项包括在能量函数中。

我们将狄利克雷积分等式中的初始能量表示为εdata。因此，能够将用于包括事前信息的一般性正规化框架表示为下式

ε＝ε_data+vε_prior， (13)

其中，与数据能量项相比，v控制事前能量项的重要性。该扩展的能量函数的最小化变量仍然可以通过求解稀疏一次方程组来获得。让p^s是标记s的事前概率分布。标记s的扩展一次方程组为

其中，L_U是对应于未知标记的矩阵，v是控制之前项的重要性的混合参数，是将概率指派给未标记的顶点以具有标记s的函数，p^s是用于标记s的事前概率分布，B^T是在L矩阵的系数的重新排列之后形成的子矩阵的转置，是将概率指派给已标记顶点以具有标记s的函数，并且I是具有与L_U相同维度的单位矩阵。

上述扩展公式由于允许我们的方法在没有种子顶点的情况下操作而是先进的，这是因为矩阵L+vI始终是非奇异的。然而，难以设置用于参数v的值以获得想要的表现。较高的v值使得解受到事前信息的较大影响，并且低的值使得事前信息无法有效。

作为问题，上述公式对于所有像素的事前信息设置了统一的权重，而我们想要改变图像中从一个地方到另一个地方的事前信息的影响。

为了解决这些问题，我们引入了一种新的方法来通过修改等式(1)的边加权函数而将事前信息并入在分割中。该想法在于，如果两个像素的事前概率分布基本上相同，则这两个像素更容易具有相同的标记。

因此，我们能够将事前概率值的差包括在加权函数中。在我们的前景和背景分割问题中，如果之前的前景概率分布为p，则我们使用加权函数

w(e_ij)＝exp(α_I(F(v_i)-F(v_j))²+α_P|p(v_i)-p(v_j)|)， (15)

其中，α_I和α_P是基于辉度的距离和基于事前分布的距离的权重，v_i和v_j是顶点，并且F是输入图像的辉度分布。对于一般的K标记分割，等式(14)中的绝对值差能够替换为另一距离量度(例如，χ²统计值)。

等式(15)中的加权函数公式具有多个优点。

首先，将具有辉度差的事前信息包括在单个公式中使得更容易调整相对权重以获得想要的分割。

其次，当辉度图像中的噪声和事前概率分布中的噪声未校正时，新的加权函数变得对于噪声具有抵抗性，这是因为例如可以由事前信息来消除辉度中的误差，并且反之亦然。

第三，利用成对的交互中的事前信息来替代单元素可能性(singletonpotential)使得解更平滑。

第四，由于多次(例如，相邻像素的数目的两倍的次数)使用像素的同一事前信息值，并且每次给出不同的影响，因此减少了解对于给予事前信息的权重的敏感性。

3D体事前信息

在我们的方法中，我们使用3D肿瘤模型113来获得前景分割的概率性事前信息。在已知当前的3D肿瘤位置的情况下，我们生成120针对对应于下一3D肿瘤位置的假设的分割掩模的假设。各分割假设是二值掩模，其具有指派给前景像素的值1和指派给背景像素的值0。然后，我们基于3D肿瘤模型确定这些掩模的平均值以获得概率性事前信息。我们将该事前信息称为体事前信息，表示如下

其中，h_i是i的分割假设并且v是顶点。

由于关于肿瘤的位置的不确定性以及肿瘤的3D形状的可能的显著变形(其使得分割假设显著地彼此不同)，体事前信息的支持区域可能显著地过度适合将要分割的目标前景区域。如果使用体事前信息，则会降低分割准确性。

然而，体事前信息包含能够用于增强分割的准确性的信息。一些像素在体事前信息中具有饱和的概率值(0或1)。这些是在所有生成的分割假设中具有相同标记的像素。这样的像素在分割下一图像时用作种子。我们还描述了体事前信息的另一应用。

外观事前信息

利用从体事前信息获得的种子像素，我们基于前景和背景外观生成其它概率性事前信息。我们使用前景和背景种子处的辉度值来确定用于前景和背景辉度值的两个概率分布。我们将这些分布表示为f_fg和f_bg。我们将新的事前信息称为外观事前信息，表示为：

其中，v是顶点。外观事前信息能够将高的前景概率指派给属于背景的像素(由于其与前景分布的相似性)。然而，基于体事前信息中的信息，大多数这样的像素不能够是前景。因此，我们过滤掉这些像素。我们所使用的最终的概率性事前信息为：

p_fg(v)＝φ(p_V(v))p_A(v)， (18)

其中，φ(x)是阶梯函数，其在x＞0的情况下取值1，并且在其它情况下取值0。

共同双平面时间分割

图形传播处理不能够在没有标记每个种子像素的情况下进行。然而，我们从体事前信息p_V确定种子的方式不能够确保我们始终具有种子。不能确保始终存在具有饱和的p_V概率值的像素。例如，当肿瘤移动得较大使得平面之一在非常靠近肿瘤的边界的地方交叉时，一些分割假设不会包含任何前景像素，这意味着没有像素具有是前景像素的概率1。

另一方面，我们需要处理肿瘤变得不可见时的情况。即使肿瘤完全移动离开一个平面并且不存在前景，则前景种子也始终插入在前景分割中。

时间分割

为了确保我们始终具有种子像素而没有强制具有前景像素，我们将两个图像共同分割。一个图像是当前图像并且另一个图像是基准图像。替代仅构造仅用于当前的网格图形，我们构造具有两个平行网格的图形，一个网格用于基准图像并且另一个网格用于当前图像。一个网格中的各像素连接到另一网格中的对应像素，参见图2。

由于我们不能够确保在当前图像中存在种子像素，因此基准图像必须在分割之后包含具有前景标记和背景标记的像素。基准图像的所标记的像素用作组合图形中的种子顶点。这是除了使用体事前信息获得的当前图像中的种子顶点(如果有的话)之外的种子顶点。以该方式，我们始终确保了在图形中具有种子顶点而没有强制种子像素处于当前图像中。

图2示出了双图像图形。为了进行处理，特定标记的各连接分量需要包含从该标记开始的种子顶点。因此，对于将使用的双图像构造，当前图像201中的特定标记的任何连接像素具有到基准图像202中的标记的种子顶点的至少一个连接203。为此，我们需要基准图像分割的分割尽可能地靠近当前图像的想要的分割。

如果肿瘤的形状是连接且光滑的，则基准图像被选择为在时间上尽可能地靠近当前图像。由于该时间关系，我们将该对于图形传播处理的扩展称为时间图形传播。假设肿瘤始终是可见的，则前一图像是用作基准图像的最佳候选。下面描述不可见肿瘤的情况。

双图像图形构造解决了能够从体事前信息识别出何时当前图像没有种子的问题。然而，如果在当前图像中存在种子，则应将优先级给予这些种子，这是因为不能够保证基准图像在时间上靠近当前图像。

为了解决该问题，我们将等式(14)中的加权函数更新为包括两个点之间的欧几里德距离，如下面所示：

w(e_ij)＝exp(α_I(F(v_i)–F(v_j))²+α_P|p(v_i)|+α_D||v_i–v_j||).

(19)

其中，αI和αP是基于辉度的距离和基于事前信息的距离的权重，αD是欧几里德距离的权重，v_i和v_j是顶点，并且F是输入图像的辉度分布

在一个实施方式中，当构造图形时，我们将点坐标指派为使得同一网格的连续行和列之间的距离为1个单位，并且两个平行网格之间的距离为5个单位。以该方式，相对于针对不同网格中的像素的相似度，针对同一网格中的像素的相似度是优选的。

双平面分割

对应于两个平面的图像沿着交叉线具有相似的辉度值并且被沿着这些线一致地进行分割。为了利用该事实，我们使用双平面图形构造140。

在该构造中，各平面表示为网格图形。两个网格201-202沿着交叉线203连接。两个网格之间的连接使得沿着交叉线的一个网格中的各顶点连接到另一网格中的对应的顶点的所有相邻顶点。我们避免了直接连接两个对应的顶点，这是因为两个对应的顶点的3D位置是相同的，这使得该连接相对于所有其它连接是有优势的。

如图3中所示，方形节点表示两个网格的交叉线，并且对应的顶点是对应的。各顶点301连接到另一网格中的所有相邻顶点。为了清楚起见，仅示出了一个网格。圆圈表示网格位置。

双平面构造在一些情况下是非常有用的。注意的是，当两个平面的交叉线穿过肿瘤时，两个平面中的前景区域在双平面图形中构成了一个连接分量。因此，如果种子仅在一个平面中是可用的，则处理仍然能够进行。还注意的是，利用这里描述的双平面构造来使用双图像构造。然而，双平面构造仅在对应于当前图像的网格之间实施，这是因为基准图像能够对应于不同的时间点。

在替选实施方式中，能够通过在双平面图形上扩张的区域来获得分割。在区域扩张时，两个活动的边界从标记的前景和背景种子顶点同时传播。然后，在区域扩张的每次反复中，由构成边界的顶点的权重来确定活动边界的速度。由边界的形状来确定传播的方向。最终，如果活动边界从前景(或背景)种子首先到达顶点，则该顶点被指派为前景(或背景)。

3D追踪和分割细化

在执行分割时，通过将两个图像平面中的分割边界与通过分割肿瘤的3D体而获得的分割假设匹配来确定肿瘤114的3D位置。对应于最佳匹配的分割标记的3D位置用作肿瘤的新的3D位置。如果肿瘤在两个平面中变得不可见，则我们宣布该肿瘤不可见，并且不报告该位置，这是因为我们没有关于该位置的足够的信息。使用的匹配分数是两个掩模之间的重合比率。图4示出了体事前分布401、3D位置420和2D分割掩模403之间的关系。

Claims (19)

1.一种在一系列双平面图像中追踪肿瘤的装置，所述装置包括：

用于利用从一系列双平面图像中的每对双平面图像确定的所述肿瘤的之前的位置、所述肿瘤的3D模型和双平面几何性和生成一组分割假设的单元；

用于基于所述一组假设构造体事前概率的单元；

用于使用所述体事前概率选择一对当前图像中的种子像素的单元；

用于使用辉度值和所述种子像素构造双平面双图像图形的单元；以及

用于使用图像辉度获得对应于肿瘤边界的分割掩模以确定所述肿瘤的当前位置的单元。

2.根据权利要求1所述的装置，其中，所述分割掩模是三维的并且随时间而变化。

3.根据权利要求1所述的装置，其中，使用具有已知的几何性的三个以上的图像平面。

4.根据权利要求1所述的装置，其中，所述双平面图像是由两个超声换能器阵列获取的。

5.根据权利要求1所述的装置，其中，所述双平面图像是通过划分三维超声换能器的超声体而获取的。

6.根据权利要求1所述的装置，其中，所述种子像素用于确定前景像素和背景像素的辉度分布，使用所选择的种子确定指派，并且根据所述辉度分布来获得辉度事前信息。

7.根据权利要求1所述的装置，所述装置进一步包括：

用于使用所述一组假设来细化所述分割掩模的单元。

8.根据权利要求1所述的装置，其中，所述分割掩模用于识别前景像素和背景像素。

9.根据权利要求1所述的装置，所述装置进一步包括：

用于如果所述分割掩模识别出前景像素，则保持并更新基准图像和基准掩模的单元。

10.根据权利要求1所述的装置，其中，所述双平面双图像图形包括对应于图像中的像素的顶点和连接所述顶点的边，其中，每个边与指示对应于所述边的各端处的顶点的像素之间的相似度的权重关联。

11.根据权利要求1所述的装置，其中，各对双平面图像被共同地分割。

12.根据权利要求6所述的装置，所述装置进一步包括：

用于由前景辉度分布和背景辉度分布确定各顶点处的外观事前概率值的单元；

用于由分割假设确定各顶点处的3D体事前信息值的单元；以及

用于根据所述外观事前概率值和所述3D体事前信息值将权重指派给各顶点的单元。

13.根据权利要求10所述的装置，所述装置进一步包括：

用于由关联的权重构造所述双平面双图像图形的拉普拉斯矩阵的单元；

用于根据下式求解针对标记s的扩展一次方程组的单元

(L+vI)r^s＝vp^s，

其中，L是拉普拉斯矩阵，v是控制在先项的重要性的混合参数，r^s是将概率指派给顶点以取得标记s的函数，p^s是标记s的事先概率分布，并且I是具有与L相同维度的单位矩阵；以及

用于对所述标记进行阈值处理以确定前景顶点和背景顶点，从而获得所述双平面双图像的分割掩模的单元。

14.根据权利要求10所述的装置，所述装置进一步包括：

用于由所述种子顶点的所述关联的权重和标记构造所述双平面双图像图形的拉普拉斯矩阵的单元；

用于根据下式求解针对标记s的扩展一次方程组的单元

<mrow> <mo>(</mo> <msub> <mi>L</mi> <mi>U</mi> </msub> <mo>+</mo> <mi>v</mi> <mi>I</mi> <mo>)</mo> <msubsup> <mi>r</mi> <mi>U</mi> <mi>s</mi> </msubsup> <mo>=</mo> <msup> <mi>vp</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>B</mi> <mi>T</mi> </msup> <msubsup> <mi>r</mi> <mi>M</mi> <mi>s</mi> </msubsup> <mo>,</mo> </mrow>

其中，Lu是对应于未知标记的矩阵，v是控制在先项的重要性的混合参数，是将概率指派给未标记顶点以取得标记s的函数，p^s是标记s的事先概率分布，B^T是在所述拉普拉斯矩阵的系数的重新排列之后形成的子矩阵的转置，是将概率指派给已标记顶点以取得标记s的函数，并且I是具有与L_U相同维度的单位矩阵；以及

用于对所述标记进行阈值处理以确定前景顶点和背景顶点，从而获得所述双平面双图像的分割掩模的单元。

15.根据权利要求9所述的装置，所述装置进一步包括：

用于将匹配分数确定为两个分割掩模之间的重叠比率的单元；以及

用于如果所述匹配分数小于预定阈值，则宣布所述肿瘤在所述当前图像中是不可见的的单元。

16.根据权利要求10所述的装置，所述装置进一步包括：

用于使用所述双平面双图像图形的权重扩展从前景种子顶点开始的未标记顶点上的前景区域以及从背景种子顶点开始的背景区域的单元；以及

用于将首先包括在所述前景区域中的顶点指派为与所述肿瘤关联的单元。

17.根据权利要求10所述的装置，所述装置进一步包括：

用于向所述图形添加顶点的单元，其中，每个添加的顶点v^s对应于标记s，并且利用边将各添加的顶点连接到所有像素顶点，其中，所述边的权重反映了各像素被指派所添加顶点的标记的事前概率。

18.根据权利要求17所述的装置，所述装置进一步包括：

用于将所述顶点被划分为前景顶点组和背景顶点组的划分确定为使得两个划分之间的割的权重最小的单元，其中

<mrow> <mi>C</mi> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>F</mi> <mo>,</mo> <mi>j</mi> <mo>&amp;Element;</mo> <mi>B</mi> </mrow> </munder> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>

其中，F是所述前景组中的一组顶点，B是所述背景组中的一组顶点，w_ij是顶点i和j之间的边的权重，并且C是两个组之间的割的权重。

19.根据权利要求18所述的装置，所述装置进一步包括：

用于将最大的可能权重值指派给种子顶点与所添加的顶点之间的所述边，从而确保这样的边被保留的单元。