一、申请理由:
负责人从2019年3月开始一直在胡凯老师课题组从事科学研究,主要研究深度学习在医学图像处理中的应用。目前已掌握多种深度学习模型的原理、方法和代码实现。
二、项目方案:
胡凯,男,博士,副教授,硕士生导师,国际电气与电子工程师协会(IEEE)会员,中国图象图形学学会(CSIG)视觉大数据专委会委员、机器视觉专委会委员,中国计算机学会(CCF)人工智能与模式识别专委会通讯委员,中国人工智能学会(CAAI)会员,湖南省计算机学会理事,湘潭市首批高层次人才,湘潭市科技创新智库专家,湘潭市首批大数据和产业创新发展智库专家。2016年12月至2017年12月,在新加坡南洋理工大学电气与电子工程学院从事访问研究,2019年确定为湖南省普通高校青年骨干教师。
主要研究领域为机器学习、图像处理及模式识别等。近5年主持国家自然科学基金、湖南省自然科学基金、湖南省教育厅优秀青年基金、赛尔网络下一代互联网技术创新项目(智能医疗)等8项基金,骨干参与国家自然科学基金、湖南省自然科学基金、湖南省高校创新平台开放基金等7项基金。在ESWA、IEEE TIM、IEEE Access、NEUROCOM、MRI、BSPC、MTAP等国内外学术期刊、会议上公开发表论文30余篇,其中以第一作者/通讯作者发表SCI JCR一区期刊论文13篇,已授权发明专利2项,2018年获湖南省自然科学三等奖1项。
三、学校提供条件:
为本项目实施提供理论与方法指导、实验平台等硬件支撑,全面监督本项目的执行。
四、预期成果:
肝脏在人的代谢、消化、解毒、凝血、免疫调节等方面均起着非常重要的作用。 肝脏是人体不可或缺的一个“化工厂”。肝脏是身体重要的排毒器官,肠胃道所吸收的有毒物质,都要在肝脏经过解毒程序变为无毒物质,再经过胆汁或尿液排出体外。肝脏细胞病变是医学中十分常见的疾病,并且有逐年增多的趋势。正因为肝脏在人体中极其重要的作用,所以一旦出现问题,就可能会出现出现肝硬化、脂肪性肝病、自身免疫性肝病、药物性肝病以及肝性脑病等多种肝脏疾病。其中最严重的是肝癌,其包括原发性肝癌和继发性肝癌两种,人们通常所说的肝癌都是指原发性肝癌。在全球最常见的恶性肿瘤中,原发性肝癌位居第五位,且在癌症相关死亡原因中,位于第三位。原发性肝癌的发病率具有明显的地域分布特点,而我国属于原发性肝癌的高发地域之一,国际癌症研究机构(International Agency for Research on Cancer)2012 年公布的数据表明,世界上 50%的肝癌新发病例出现在中国人群中。
目前肝脏疾病的主要治疗方式有手术治疗、介入治疗和中药治疗等,其中手术治疗仍是目前最有效的治疗方式。而在进行手术之前,外科医生通常需要先获取肝脏相关的解剖信息和定量信息(比如肝脏和肿瘤的位置结构信息以及体积信息等)来进行肝功能的评估。随着医学诊疗科技的不断发展与进步,目前可以通过医学影像技术来获取这些信息。
医学影像技术主要包括计算机断层扫描(Computer tomography,CT)、核磁共振成像( Magnetic resonance imaging,MRI)、 放射性核素成像(Radionuclide Imaging,RNI)、超声成像(Ultrasound)、正电子发射断层扫描(Positron emission tomography,PET)等技术。这些技术已成为现代医学的主要诊疗手段之一,在现代医学的疾病筛查、诊断以及治疗等过程中发挥着重要的作用。其中 CT 成像技术由于具有密度分辨率高、空间分辨率高以及组织结构影像无重叠等优点,被广泛应用于肝脏疾病的诊断中。
在获得腹部的 CT 图像后,若想进一步获取肝脏的位置以及体积等信息,则需要先在 CT 图像中将肝脏区域标注出来。从腹部的 CT 图像中精准地分割出肝脏,是肝脏疾病诊断、肝功能储备评估以及用于肝脏 3D 建模的第一步,也是肝脏手术前极为重要的一步。在实际应用中,通常需要拥有相关专业知识以及大量实践经验的医生对 CT 图像进行逐体素的标注,从 CT 图像中手工分割出肝脏区域。然而这个过程极其耗费时间和精力,并且由于受到医生经验差别以及主观因素的影响,不同的医生给出的分割结果往往是有差别的。因此为了减轻医生的工作量,加快分割效率,以及获得更加一致的分割结果,利用当前先进的人工智能技术进行自动化的医学图像分割是具有重大意义的。
但是针对CT影像中的器官实现快速准确的自动化分割是非常困难的任务:一方面是因为CT影像非常复杂,存在伪影、灰度不均匀、不同组织间灰度相似等问题,而且在图像特征方面也缺少简单的线性特征,这些都增加了算法的设计难度。另一方面是因为CT影像属于三维图像,数据规模大,要完成一例CT影像的分割计算,容易出现计算量大、耗时长的问题。所以,目前肝脏分割主要面临着分割耗时长,分割精度达不到要求等难题。
因此,我们团队基于扩大临床应用范围,致力于高效型、精准型的深度学习网络模型的研究,并对肝脏分割的算法进行优化,以达到更高的精度要求。
五、经费预算:
1. CT影像
自 1971 年问世以来,计算机断层扫描(Computed Tomography,CT)成为了影像诊断中最常用的工具。在实际应用中,CT 成像技术适用于许多病症,其中包括脑血管疾病、颅内出血、鼻窦炎、肺栓塞、主动脉夹层、骨折和多种肿瘤的评估等。CT图像是断面图像,为了显示整个器官,需要多个连续的断面图像。CT图像常用的是横断面,通过CT机的图像后处理软件,还可以获得诊断所需的多方位(如冠状面、矢状面)的断面图像。
CT图像与常规的X线体层摄影比较,其所获得的横断面图像更加清晰,密度分辨率更高,相当于普通X线图像的10-20倍,所以CT能够更清楚的显示由软组织构成的器官。比如头颅、纵隔、肝、脾、胰腺、肾脏以及盆腔的脏器,而且可以在良好图像背景上确切显示出病变的影像。
CT图像是灰阶图像:CT图像是以不同的灰度来表示,反映组织和器官对X线的吸收程度。CT图像与X线图像所示的黑白影像一样,黑影表示低吸收区,即低密度区。CT图像不仅以不同灰度显示其密度的高低,还可用CT值说明密度高低的程度,可作定量分析。
2. 数据处理:数据增强时,通过采取对称、翻转、平移等操作对数据进行增强处理,实现有效数据样本的扩增,使训练模型的泛化能力得到提高,缓解过拟合问题。数据预处理时,通过数据预先的归一化处理,使模型精度得到加强。
3. 网络模型设计与优化
(1) 组归一化(Group Normalization)
GN是针对batch normalization(BN)在batch size较小时错误率较高而提出的改进算法。因为BN层的计算结果依赖当前batch数据,当batch size较小时(比如2,4),该batch数据的均值和方差的代表性较差,这样导致的结果较差,因此对最后的结果也影响较大。而在batch size 较大时(例如:batch size>16)没什么差别。在分类任务一般能包含大batch,但在检测分割及视频相关的算法中,由于输入图像较大,维度多样以及算法本身原因,batch size一般设置比较小,所以此时GN对此改进比较明显。GN的思想就是要使归一化操作的计算不依赖batch size 的大小。
(2) 随机失活(Dropout)
随机失活(Dropout)是为解决深度神经网络中的过拟合(overfitting)和梯度消失(gradient vanishing)问题而被提出的优化方法:在神经网络的学习过程中,随机将部分隐含层节点的权重归零,由于每次迭代受归零影响的节点不同,因此各节点的“重要性”会被平衡。引入随机失活后,神经网络的每个节点都会贡献内容,不会出现少数高权重节点完全控制输出结果的情况,因此降低了网络的结构风险。
Dropout 是在训练所有子网络的集成,子网络包括了所有从基础网络中除去非输出单元后形成的网络,降低了神经网络的计算开销。
(3) 残差(Residual)
常规的网络的堆叠(plain network)在网络很深的时候,效果却越来越差了。其中原因之一即是网络越深,梯度消失的现象就越来越明显,网络的训练效果也不会很好。 但是现在浅层的网络(shallower network)又无法明显提升网络的识别效果了。
所以引入残差块:在加深网络的情况下又解决了梯度消失的问题。残差网络的特点是容易优化,并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接,缓解了在深度神经网络中增加深度带来的梯度消失问题。
4. 多任务弱监督分割网络模型(Weakly supervised USCNet)
(1) 多任务学习
优化多个损失函数就等同于进行多任务学习:在深度学习中,多任务学习通常通过隐藏层的 Hard 或 Soft 参数共享来完成。Hard 参数共享:共享 Hard 参数是神经网络 MTL 最常用的方法。在实际应用中,通常通过在所有任务之间共享隐藏层,同时保留几个特定任务的输出层来实现。共享 Hard 参数大大降低了过拟合的风险。而在共享 Soft 参数时,每个任务都有自己的参数和模型。模型参数之间的距离是正则化的,以便鼓励参数相似化。
(2) 弱监督语义分割
医学图像分割领域由于其专业性的存在,导致数据量更为稀少。为了解决数据量不足的问题,在物体分割领域中,研究人员们尝试使用一些相对于像素级标签更容易获取的标注信息作为监督信息去实现像素级别的分类。这种使用粗粒度标签信息去完成细粒度分割任务的监督学习方式,被称为弱监督学习。
弱监督语义分割任务的关键在于如何去构建粗粒度标签与像素之间的关联,即自动推断目标在图像中的具体位置,进而实现弱监督的语义分割任务。
5. 损失函数设计
在医学图像分割领域中,常用的损失函数有 Dice 损失函数和逐像素的交叉熵损失函数等。
在本项目组的研究过程中,我们拟定于在肝脏粗分割模块,采用Focal_Loss函数作为整体的损失函数。而在肝脏细分割模块,因为考虑到分割模块中加入了分类的任务,因此我们拟采用Focal_Loss和Dice损失函数相结合的方式作为整体的损失函数。