吴文俊人工智能科学技术奖
青年科学家
首页 > 青年科学家 > 正文

《心脏医学影像智能分析》

2021年05月20日   来源:中国人工智能学会     

9058


2021年4月10日-12日,吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。中山大学生物医学工程学院副教授高智凡受邀在苏州工业园区希尔顿酒店,2020中国人工智能产业年会—青年科学家前沿论坛上发表主题报告《心脏医学影像智能分析》。


以下为演讲实录:


非常感谢这次组委会给我机会。听了张老师的汇报,对我的感触很大,谈的关于数据驱动和物理驱动,现在在我关于心脏这方面的研究也是比较关注这两方面的结合。


《科学》4月10日公布的125个科学前沿问题,信息科学领域其中有一条是AI是否能够代替医生,我和接下来马上要做报告的王珊珊老师都是关于这个领域的。



AI为什么能够代替医生,其实对于医生来讲有各种各样的疾病需要治疗,我这边为什么主要是关注心脏疾病。根据WHO的统计,全球人口死亡主要因素中心脏占的比例是非常大的,比如说红色区域显示,包括因病死亡和其他车祸死亡的所有统计。


WHO还做了各个地区的调查,其中显示,包括心脏病、癌症、慢性呼吸道疾病、糖尿病风险指数超过15%,相比于其他的死亡原因都是非常高的。


其中心脏心血管疾病、癌症、慢性呼吸道疾病、糖尿病占的比例又是比较高,这就是为什么主要关注心脏病的原因,现在心脏病依然全球因病死亡比较高。


在中国有一个中国心血管病报告,从1990年到2017年的统计,对于城乡居民而言,对于城市和农村的两个群体进行统计,心血管病的死亡率增加非常快,增加了79%和25%,这和我们国家经济发展和人民生活条件变好还是有一定的关系的。



如何有效的进行心脏疾病的防治呢?最重要的是提前干预,提前干预可以有效明显的降低心脏病、心血管病的死亡率。我这里展示了一个新英格兰医学杂志2007年的报道,选用的干预方式第一是降低血压和胆固醇,第二戒烟以及增强体育运动,因为引发心脏、心血管疾病有很多种因素,有一些因素排在很显著的位置,戒烟和体育运动。根据这样一个研究,可以看到1980年到2000年对于这两种不同的干预方式,心脏病的死亡率分别下降了52%和50%。



简单介绍一下心脏疾病的种类,最大体现是在心脏和冠状动脉上,冠状动脉就是给心脏供血的,是沿着心脏的外壁生长的,在这个图中可以看到心脏病的种类还是很多的,这里只是几个比较重要的种类,冠状动脉硬化、心肌梗死、主动脉疾病、动脉瘤和房室瓣疾病。在心脏和心血管领域往往还关注外周血管,比如说大家比较关注的就是颈动脉,为什么是颈动脉呢?很多时候脑中风都是由于颈动脉疾病导致的,而且多年的临床研究也很明确,颈动脉和脑部的血管堵塞和冠状动脉堵塞有直接相关性的。



我们在这边做医学影像,是因为医学影像能够有效发现进行干预心脏病易感人群,传统来说,对于非影像检查,比如说心电图、血压,其实是提供关于心脏病一种功能学信息,或者确切来说是通过外周血管去反推心脏的健康情况。但是像心电图和血压就是缺乏了形态学信息,形态学信息是可以有医学影像直接告诉我们的,并且医学影像告诉我们的功能学信息和非影像学检查告诉我们的功能学信息不一样。心电图和血压给我们的功能学信息是反推的,但是形态学告诉我们的功能学信息,比如说心梗,就看心脏运动的正常和异常,可以通过MRI、超声可以直接观测到心脏的成像手段获知的。



这里再简单介绍一下心脏的种类,心脏影像主要是有两个观察的对象,第一就是观察心脏的腔室,主要是观察右心房、右心室,左心房和左心室。另外是观察心血管,就是要观察右冠状动脉和左冠状动脉。



对于心脏腔室而言,最常用的就是超声心动图,把超声探头放在胸腔的不同位置观察心脏,最主要的角度就是沿心脏长轴的方向或者是垂直这个长轴的方向,这张图就可以看到心脏的四个腔,通过心脏的长轴拍到。


第二就是CT,这个也是可以看到心脏主要的四个腔室。



然后就是MRI,MRI有增强化和非增强两种方式,但是MRI和CT、超声的区别,MRI和CT主要是起到一个断层的成像,相当于可以对心脏进行三维信息的获取。MRI相比于CT,MRI可以更好的看到心脏的动态影像,但是CT缺乏时间上的信息。


最后就是PET和PET-CT,这个在国内稍微用得少一点,主要是大医院在用。



对于血管的心脏影像,这个CT增强主要是为了看心血管,然后通过这个断层的成像,在不同的角度上看到心血管的位置。


这个就是刚刚讲到的外周动脉的颈动脉超声,就是通过颈动脉的管腔是否有异常,是否变窄,是否有异物判断整个颈动脉的健康状况。


这个是常见的X光血管造影,这个和CT不一样的是在于它的成像设备是通过C形的X光的设备,对不同角度上的血管进行成像。



接下来很重要的就是近十几年才开始在国内迅猛发展的血管介入检查,前一段时间有一个新闻闹得很大,就是国家对血管支架进行批量采购,血管支架就是介入检查中帮忙撑开那些堵得很厉害的血管的。介入检查中怎么检查呢?通常是手腕处的桡动脉或者是大腿内侧的骨动脉深入一个导管,然后通过不同的血管路径进入到冠状动脉中,从而拍摄到血管内部的影像。这是两种最重要的,一种是超声,一种是光学相干断层扫描,可以从不同的角度去看血管的内部,比如说可以很清楚的看到血管的管腔的内膜、中外膜的不同结构。

既然是做医学图像处理,肯定要讨论一下心脏图像与自然图像分析任务的相似性,我这里是班门弄斧。



相似性在于任务都是一样的,比如说目标定位,这个是Mask R-CNN的图,医学里面也是需要目标定位的,有时候是需要全身或者整个躯干MRI的影像,但是往往心内科的医生想在里面观察到心脏的位置,需要对心脏的位置进行定位。


第二是目标分割,这是很常见的任务,目标分割是对心脏各个不同的解剖结构进行提取。


第三是运动追踪估计,主要是发生在动态医学影像上,比如说超声和MRI,我们可以看到心脏的跳动情况,心脏的医学影像和其他气管的医学影像有明确的区别,其他的气管都是不动的,只有心脏才是动的,所以心脏的运动信息反应了很重要的健康指标。


第四是多视角分析。心脏存在什么问题呢?心脏同一个组织,在成像上可以不同角度进行成像,这三个血管造影就是在三个不同的角度上获取的图像。第二是对心脏可以有多模态成像方式,因为在不同的模态上能够观察到的疾病信息不一样的,有时候需要对多种模态的心脏信息进行融合。



心脏同类组织的形态变化差异非常大,和计算机视觉略有不同,计算机视觉对某一个目标进行分割的时候,可能视角在不停地变换,但是目标本身其实是在一定的时间内,或者一定的空间内,差异性不是本性的差异性,但是在医学图像里面,可能对于同一个疾病组织,我稍微的在空间上有一点点偏离,这些组织的变化差异就会非常非常巨大。


第二就是组织形变,在心脏和心血管方面第一是非各项同性的运动,第二是非刚性或者是弹性的运动,这个运动就造成什么现象呢?第一就是形态不是非常固定,第二是运动了之后,相邻的组织之间的互相关系或者是空间关系,或者是一些成像上的关系都有区别。比如说在颈动脉里面,我们很多时候是关注了内足膜,血管运动的时候偏离成像平面,就会导致同一块组织在运动的时候灰度值发生非常显著的变化。


第三就是图像的成长机制差异非常大。这就直接导致同组织多个模态的图像。


第四兼顾功能学信息,比如说图像里面我们通常就是看形态学或者解剖学的信息,在图像里面可以看到一些非影像的信息,比如说组织弹性或者是血流。



我们把人工智能加入医学影像主要就是用于心脏疾病的防治,从算法理论上主要还是以人工智能和计算机视觉里面的方法为基础,我们的应用场景就是针对心脏影像进行心脏疾病的判断。这里要强调的是我们的需求核心其实一直来源于临床,目的就是为了提高临床效率,降低临床成本和增强临床的适用性。接下来我举几个例子,分别从这三个核心需求出发。

首先看一个例子,人工智能其实可以提高组织和病灶的检测能力。



这是一个关于动脉硬化斑块检测,动脉硬化斑块其实就是在血管的内膜和中膜之间的异常增厚,增厚到一定程度之后,就会使血管里面的供血量变少,因为实际上就是让整个血管变得狭窄了,狭窄到一定程度之后就会发生心脏病的事件。


主要是可以进行术前诊断和术后评估,术前诊断就是判断血管管腔的大小,比如说这里是正常人的,这边是明显有病的,这一块就是斑块,当这个斑块的占整个血管的比例达到一定程度之后,我们就需要对病人进行干预和治疗,这个是术前。


在术后,当血管堵到一定程度的时候,需要对血管安装一个支架,把支架塞进去之后,把支架撑开,撑开之后就把整个管腔撑开,从而提高通血量。这里为什么需要图像处理呢,在具体植入临床支架中,会出现支架会不会放歪了,或者支架没有良好的跟血管壁贴合,就导致悬血管中,如果不及时处理,就会造成支架把血管撑破,或者是支架流如血管末端从而引起心梗,所以我们要进行一个评估来判断手术是否成功。


最新的工作就是做了模态通用的图像分割方法,考虑到不同的模态下,像超声和光线下,图像的亮度分布不一样,干扰的形式多种多样。


我们前面做了一个简单的动模态的分割,但是多模态的分割有一个问题,我用模型训练出来之后,我在应用的时候也是需要输入多个模态的图像,但是在临床实践中对于基层医院可能没有这两个模态的设备,只有一个模态。所以为了基层医院得到适用,就把多模态的分割模型重新变回一个单任务,最后这个输入超声图像,就可以得到相应的结果,这些是在不同的病例上都可以得到很好的效果。



第二个例子是心肌疤痕检测,我们主要是想指导射频消融术。心肌疤痕是什么?心脏的房颤都是心脏的电信号传播异常导致的,心脏能够搏动就是心脏的电信号在心脏里面传播所引起的肌肉的反应。但是某些时候,电信号不产生异常,为什么会产生异常呢?我们的心肌在受伤、发炎等因素,会在心肌里面产生一种心肌疤痕的东西,心肌疤痕很大一部分是纤维化导致的,有了心肌疤痕之后,电信号再通过心肌疤痕细胞的时候,就会产生不正常的传播。


现在在临床上通常是用一种射频消融术的方法治疗房颤,这个射消融术也是一个介入方法,也是插一根导管进入血管腔室,把相应的引起房颤的心肌的组织给烧死,烧死了之后,这个地方就不会引起电信号的传播异常,图像处理要做的事情就是如何把心肌疤痕检测出来。



心肌疤痕的检测是长在心肌壁上的异常的影像,这个影像很小,分布很零散,形状很不规则,而且不是每一个心肌疤痕都会引起房颤,有的会,有的不会,所以给医生提供基础性的分割的区域,供医生判断。右图就是根据二维的分割结果重建出来三维的心肌疤痕检测的影像。


人工智能就是想要提高诊断方法的适应性,比如说第一个例子是非增强的MRI影像的心梗识别,为什么做这个呢?现在临床上的检测其实是需要MRI的增强影像,我们做MRI的时候,对病人注射造影剂,可以让心脏或者血管组织在影像中表现更清楚,但是注射造影剂存在一些问题,首先就是对于肾功能不全的病人,这个造影剂是会引起很严重的并发症,这一类的病人原则上是不允许使用造影剂的。第二,造影剂的成本也很高,我们注射造影剂的时候会增长我们整个检查和成像的时间。


我们现在想要做的事情是想要把MRI的成像从需要注射造影剂退到不需要使用造影剂,这样最直接的好处就是使得很大一部分原来不能够做检查的病人可以结合检查。



这个是我们做的最开始的模型,由于我们在模型里面使用到了一系列的方法,可以在心脏的运动层中找到很明确的心梗区域和非心梗区域永远场的差异性,这个是我们的分割结果。



这个是无创血流储备分数计算,这个其实就是血管里面对于狭窄远端血压和近端血压的比例,供血量正常的情况下,这个值应该是1,这个值如果开始下降了,就表示供血发生异常,其实这个地方跟张老师说得一样,我们是想贴近这个物理模型,传统上在CV里面很多时候都是稍微简单一点的物理现象,比如说下降、碰撞,但是对于血流而言,我们是想看这个血流场的物理关系,通过这个血流场的物理关系计算这个血流储备分数值。临床上有有创和无创,我们只是想通过静态的CT造影,完全不需要插管就可以得到一个血流储备分数的值。这个技术是跟深圳科亚公司一起合作的,最开始的核心技术是我们一起研发的,这个技术以他们公司为平台,已经申请到了国内的三级医疗器械证。



最后就是我们想要把人工智能和临床前瞻性研究进行结合,这个就是颈动脉血管壁运动分析,传统上来说,颈动脉的分析都是依靠这个颈动脉的内中膜厚度,我们观察到的时候,病情就到一定程度了,我们希望更早时期,判断这个颈动脉的健康程度。所以这个地方我们就是跟踪了颈动脉的血管壁运动,为什么这个东西有效呢?因为近几年很多临床的前瞻性研究发现运动模式和心血管的疾病的风险有一个很大的联系,在这个原理上,颈动脉的血管壁运动在一定程度上反映了血管的弹性变化,弹性好,说明是健康的,弹性不好,变硬了,变硬了之后就是动脉硬化疾病的征兆。


这里是我们使用一个模型,主要是借助于生理先验,把人工智能加入到传统的状态空间模型去进行颈动脉的运动追踪。

这个是一个例子,我们这里给了一个最开始的demo单点的颈动脉的追踪算法。



基于这个研究我们也做了一些前瞻性的临床研究,我们在华南地区,因为以前的前瞻性研究都是外国人的样本,我们率先在华南地区采集了150多个人颈动脉左右双侧的图像进行了分析。我们这里是其中一个分析结果,我们可以看到对于原发性高血压和非原发性高血压,这个颈动脉的运动模式有很大的差异性。我们这些相关的技术和一些国外的专家共同也了一个专家共识,大家如果有兴趣可以看一下。

组织机构

主管单位
中华人民共和国科学技术部
国家科学技术奖励工作办公室
主办单位
中国人工智能学会

奖励资质