年龄相关性黄斑变性 (Age-related Macular Degeneration, AMD) 是与年龄相关致盲的重要眼病之一，主要发生在老年人视网膜黄斑部脉络膜毛细血管、玻璃膜、视网膜色素上皮退行性改变，导致进行性中心视力受损。AMD仍是全球第三大严重不可逆视力受损的病因，流行病学估计,到2020年，全球将有2亿人患AMD。息肉状脉络膜血管病变 (Polypoidal Choroidal Vasculopathy, PCV) 为脉络膜血管来源的血管网末端息肉样扩张,目前仍被认为是AMD的一个亚型。

本研究一共建立了3个双模态和2个单模态机器学习模型（表1），共收集了1099只眼的彩照和821只眼的OCT图像；并使用同一测试集对不同模型和眼科专科医师进行测试，双模态深度卷积神经网络模型（Deep convolutional neural network model, DCNN-Combo）具有最佳的分类效能，准确度达87.4%，敏感度88.8%，特异度95.6%，与诊断金标准的一致性高于眼科专科医师。同时，在所有模型对单一PCV检出效能测试的接受者操作特性曲线（Receiver operating characteristic curves， ROC）中（图1），DCNN-Combo模型有最大的曲线下面积（areas under the curve， AUC=93.9%），也高于其他的人工智能模型。DCNN-Combo模型的整体架构如图2所示。

此研究设计提出了一个新的双模态深度学习卷积神经网络模型，并基于配对眼底彩照和SD-OCT图像双输入的网络系统，实现AMD的亚型多分类。同时本研究使用了迁移学习（transfer learning）算法，能够有效地从每个单模态DCNN模型中卷基层的更新权重，并将其用于我们的双模态DCNN模型中，实现与眼科专科医生几乎一致的诊断效能。该研究能够帮助加速人工智能系统多模态模型的发展。该模型的高度准确性和安全无创性，为社区医疗机构的眼科疾病人工智能筛查系统提供了广泛的运用前景。

*表1. 各机器模型和眼科专科医师对AMD亚型多分类的统计学结果

DCNN-O，深度卷积神经网络，算法O；DCNN-F，深度卷积神经网络，算法F；DCNN-Combo，深度卷积神经网络，算法Combo；RF-Combo，随机森林分类器，结合卷积层；RF-Fixed，固定权重来自于训练ImageNet；NPV，阴性预测值；PPV，阳性预测值。

*图1. 各模型对PCV检出效能测试的接受者操作特性曲线和眼科专科医师的表现水平（图上点所示）

*图2. DCNN-Combo模型的整体架构图

模型接收一个眼底图像（3×448×448）和一个OCT图像（3×448×448），然后输出一个拥有4个数值的向量，分别代表该输入组合是健康人，干性AMD，PCV或新生血管性AMD的可能性）。

*参考文献： 

1. Xu Z, Wang W, Yang J, et al. Automated diagnoses of age-related macular degeneration and polypoidal choroidal vasculopathy using bi-modal deep convolutional neural networks. British Journal of Ophthalmology, Published Online First: 04 June 2020. doi: 10.1136/bjophthalmol-2020-315817

2. 徐至研. 人工智能用于年龄相关性黄斑变性和息肉状脉络膜血管病变诊断研究[D].北京，北京协和医学院，2019.