医学超声影像作为一种重要的诊断工具，在临床上被非常广泛的应用，但其有较高的技术门槛，高度依赖于操作者的手眼脑的协同。人工智能的加入有效地提高了超声诊断的易用性。

Generation 0: 基于模型的超声AI

始于20年前，基本原理是将医学知识转化为数学模型，然后通过数据对模型参数进行训练。

特点

1. 针对特定问题构建数学模型

2. 模型参数较少，需要训练的数据量小

难点

需要设计出合理的数学模型去描述实际要处理的任务，面对复杂问题较难实施。

案例-左心室轮廓追踪算法

• 建立数学模型描述左心室轮廓与运动
• 通过轮廓上采样点的位置拟合整个轮廓
• 通过平均形状+预设形变进行建模
• 通过数据训练得到模型参数

Generation 1: 基于数据模型的超声AI

2015至今，随着深度神经网络的出现，目前可以通过大数据端对端的训练，生成基于数据的AI算法。

特点

1.深度神经网络

• 从输入到输出，有一系列隐藏层，将输入事件逐渐抽象化，可以描述出多种复杂情况及问题。
• 随着隐藏层的增多，模型参数陡增 ，参数数量可达到数十到上百万个，需要大量的数据进行训练。

2.端到端的特征提取

目前该类算法可以实现自动特征提取，并自动完成特征与任务输出的映射工作，以实现端到端的自动化算法训练。

3.自动化应用场景

目前该类算法已有大量商用案例，可实现临床操作的自动化及规范化。

临床应用案例 - 利用目标检测YoloV3算法在胎儿扫查过程中实时检测胎儿主要生理结构及标准切面

通过AI算法，自动定位目标物体。

• 实时检测胎儿主要生理结构（如大脑、胎心、股骨等）
• 自动识别标准切面
• 识别后自动测量相应结构的面积大小

Generation 2: 基于知识+数据模型的超声AI

上述基于数据模型所搭建的AI算法可以识别较为复杂的超声图像模式，但是可解释度较差，针对临床诊断（比如疾病诊断、肿瘤的良恶性判别等），上述模型无法产生较为可靠并被临床医生普遍接受的结果。因此，下一代的AI算法应为结合数据与人类医生知识经验的模型，通过人类知识将复杂问题拆分成简单的，适合数据挖掘去学习的模型，最终再把这些模型融合起来得到较为全面的解决方案。

科研案例：多模态AI辅助卵巢癌诊断

研究概述：

超声是诊断卵巢肿瘤的首选影像学检查，但是基于以往经验， 通过堆砌大量数据所搭建的AI模型，其预测准确率非常不理想，主要原因是由于卵巢癌的诊断是基于对肿瘤全方面的评估，而并非基于某些切面的简单判断。因此研究者基于人类已有医学知识（IOTA/O-RADS专家共识），将卵巢超声影像信息进行提炼，提取和诊断直接相关的图像信息，包括肿瘤最大切面、肿瘤实性成分、肿瘤大小及血流信息，交给模型进行训练，通过对多模态数据归一化，融合判定，最终将算法诊断的准确性提高到与超声专家和O-RADS相近的诊断水平。

算法搭建流程：

1.优化训练集

研究者基于人类已有医学知识（IOTA/O-RADS专家共识），将卵巢超声影像信息进行汇总，提炼与诊断直接相关的信息，包括肿瘤最大切面、肿瘤实性成分、肿瘤大小及血流信息。

2.多模态数据的归一化及可视化

研究者利用图形分割方法在超声图片中提取上述信息，通过对多普勒图像进行颜色编码，将非肿瘤区域用黑色填充，血流区域用红色填充，最终将图片信息根据肿瘤大小进行了归一化处理，最终获取了三张图片用于描述肿瘤最大切面、实体成分和血流的状态。

3.多模态数据融合

由于该AI模型的输入端接收多种模态下的肿瘤数据，因此需要将各种模态数据融合后才输出最终诊断结果，目前有特征融合和决策融合两种融合方式：

• 特征融合：通过神经网络学习提取各模态的特征，将各特征拼合后，送入分类器最终做出良恶性预测。
• 决策融合：在各个模态数据中建立分类器，进行良恶性判定，最终对各分类器的结果进行投票，得到最终预测。

4.性能评估

基于85位卵巢癌患者影像数据，以病理报告作为金标准对上述算法进行验证，最终得到如下结论：

• 多模态融合预测的准确率要明显好于单模态模型的结果。
• 特征融合的预测结果略好于决策融合的结果。
• AI模型的预测准确率接近超声专家使用O-RADS或主观评价的诊断准确率。

行业对谈集锦

民用超声AI

王之倩：刚才听到白老师讲的课，觉得讲得非常好，我有几个问题想请教白老师。首先，我想请问下，民用超声的应用场景有哪些？

白向晖：谢谢王主任的提问，民用超声AI主要面向的是非专业人士，通过AI算法去完成医生才可以的操作。

临床中的泛化与质控

王之倩：对于一些临床操作中泛化的问题，比如年轻医生切面做不好的时候，图像可能会很糊，病灶也可能不能达到很好的成像状态，AI可否解决这一问题？

白向晖：对于一些还可以看出一些特征的图，我们可以通过一些技术手段，比如迁移学习来完善算法，提高识别率。对于完全糊掉的图，AI无法识别。

柏志安：目前这种情况是否可以通过AI进行影像质控，比如当人工拍片糊掉之后，AI可以实时告知，并协助操作者调整，这一个方向是否有发展空间。

白向晖：这一方向其实已经有相关的X射线检测产品，可以在拍片后，通过AI及时提示技师的操作问题，协助技师提高操作水平。

王之倩：医院之间的设备存在差异，AI可否通过算法弥补设备某些功能的缺失。

白向晖：有些设备的数据不可或缺，比如彩色多普勒数据。但是对于因设备帧频过低导致的图像质量的差异，目前可以通过在成像端加入AI算法，提高帧率。

超声AI的发展挑战

柏志安：放射科的AI产品目前已经如火如荼，但是超声AI相关产品就相对的少了很多，目前只有甲状腺、乳腺。两位老师可否给我们分析一下造成这种情况的深层次的原因是什么。

王之倩：超声诊断主要是依据动态图像，而并非向放射科那样的静态图片。超声医生的操作，比如不同的切面，甚至不同的扫查力度，均会影响图像的采集，所以这一点应该对AI学习造成了一些障碍。

白向晖：对，除此之外，由于CT、MR等诊断是针对图片的后期处理，因此可以针对图片做出独立的算法软件。而超声检测要医生一边扫查一边给出结论，这就要求AI算法必须嵌入在扫描硬件中，并给出操作者实时反馈。这一点也就限制了第三方厂商的介入。

王之倩：在临床检出方面，超声其实有一定局限性，一般来说操作者不是看不懂超声，而是看不到，是否能够扫描到结节对于检出也很重要，这一点也阻碍了AI在超声检出中的应用。

白向晖：对，目前AI只能解决人类眼睛的识别问题，如果眼睛看不到，就一切无从谈起。

文中使用的图片及资料来自讲者讲稿，已获得授权，其他机构和个人不可擅自用于改编和二次传播。