实现人工智能研究多模态的交叉融合，包括但不限于语音识别、图像识别、机器学习和自然语言处理等模态。重点攻关医学人工智能多模态融合的开放性、安全性、敏捷性和可解释性。建设临床研究多模态数据融合及处理平台。

临床研究多模态数据采集平台

搭建院内临床、基础科研&转化研究信息化洗系统全覆盖、患者诊疗/研究信息多模态全过程管理的数据智能采集及治理平台，系统性采集包含患者结构化数据、影像数据、视频数据、语音数据、IoT数据、组学数据等多模态数据。

临床研究多源异构数据的整合及分析平台

支持多模态数据通过去隐私化技术、安全加密技术和合规流程管理接入，形成以单体人为索引的多源异构数据融合。建立映射临床研究标准数据集规范的多模态数据在线协作机器学习服务平台。完成多智能体、多物理量的环境数字镜像构建，实现在一个空间内处理和理解多模态向量信息，为每个单体数字人建立机器画像和标签模型。