赛事介绍
上海交通大学医学院附属瑞金医院、上海人工智能实验室联合主办2024第三届数字医学技术及应用创新大赛（DiMTAIC 2024）。本次大赛开设甲状腺B超静态及动态影像算法赛道，面向高校、科研单位、企业、临床科研征集团队参赛，优秀队伍有机会获得激励奖金、科研生态支持、多渠道展示等权益。参赛队伍将基于甲状腺灰阶B超影像数据，开发人工智能算法，实现针对静态和动态影像中，对甲状腺结节病灶的自动分割、分类（良恶性）。
赛题临床背景及意义
甲状腺结节在临床上十分常见，多种甲状腺疾病，如结节性甲状腺肿、甲状腺腺瘤、甲状腺癌和甲状腺炎性病变等都可能表现为甲状腺结节。大多数甲状腺结节为良性结节，少数结节为恶性。医学超声检查作为常用的无创检查手段，是检出甲状腺结节、鉴别甲状腺癌最常用的成像方法。
甲状腺结节的检出依赖超声医师的技术及经验水平。在优质超声医师资源相对紧缺、区域间发展不平衡、超声仪器的分辨率各异的背景下，容易发生甲状腺结节超声诊断的漏诊或误诊。超声医学的规范化和精准化发展的需求日益凸显，人工智能与超声影像的结合已越发重要。目前，人工智能在甲状腺B型超声上的研究以静态超声图像为主，存在不能将甲状腺结节的全部信息提供给算法进行学习的局限，难以匹配临床实际应用场景。
因此，探索针对动态视频/图像的甲状腺B型超声算法模型具有重要的意义，有助于面向实际临床需求，提升甲状腺超声人工智能辅助诊断工具的效能。
比赛日程
赛事细则可能会有动态说明及调整，请所有参赛者持续关注官方渠道（官网、阿里云天池、官方微信）更新。
【报名与组队】2024年8月28日—2024年10月23日21:00，UTC+8
- 参赛者通过阿里云天池平台进行报名，请确保报名信息准确有效，否则会被取消参赛资格及激励。
- 参赛组织可以单人或者多人自由组队，每队限最多5人，每人只能参加1支队伍；如果是多人团队，则需指定1名队长，负责沟通事宜。
- 本赛道所有选手需在2024年10月23日21:00前完成实名认证（实名认证入口：天池网站-个人中心-认证-支付宝实名认证），未按要求完成实名认证队伍，将被取消参赛资格，拟晋级资格顺延候补。
【初赛】2024年9月6日—2024年10月23日21:00，UTC+8
参赛者完成组队后即可进入初赛，初赛相关注意事项及要求详情参见阿里云天池平台比赛专题页面。特别提示：
- 初赛测试榜单（调试评测排行榜）提供10个样例数据，以便参赛队伍进行调试评测，调试评测排行榜将展示排名情况，10:00-23:00每小时按照从高到低的排序更新排行榜。本榜仅供选手测试调通模型使用，不作为复赛晋级依据。
- 初赛正式榜单系统每天提供6次实时评测，供选手提交测试，排行榜10:00-23:00每小时更新排名情况，按照评测指标从高到低排序，展示参赛队伍在本榜单的历史最优成绩，并作为复赛晋级成绩依据，前15名队伍可进入复赛。
- 初赛正式榜单评测提交截止时间为2024年10月23日21:00，选手未在该时间前提交成功，系统将不予评测。排行榜最后一次刷新时间是10月24日10:00，晋级名单拟于10月24日公布。
【复赛】2024年10月24日—2024年11月10日21:00，UTC+8
晋级复赛的队伍可进行针对甲状腺灰阶B超动态影像的训练、评测，将模型推理的结果按要求提交至天池平台进行评测和排名，详情请见阿里云天池平台比赛专题页。特别提示：
- 复赛榜单系统每天提供6次实时评测机会，排行榜10:00-23:00每小时更新排名情况，按照评测指标从高到低排序，展示参赛队伍在本榜单的历史最优成绩，并作为晋级答辩成绩依据，前12名队伍获得拟答辩资格。榜单评测提交截止时间为2024年11月10日21:00，排行榜最后一次刷新时间为2024年11月11日10:00。
- 获得拟答辩资格的前12名队伍需按要求在截止日期前（具体时间另行通知）提交最优成绩对应的完整文件（包含代码、日志、训练模型、合成数据和readme等）进行审核，若存在人工标注、抄袭、测试集泄露、无法复现等情况，将取消其比赛资格，晋级名额顺延候补。
- 最终答辩名单拟于11月16日前公布。
【答辩】2024年11月中下旬（具体时间组委会将另行通知）
- 答辩采用线下方式进行，参与答辩的团队需在截止时间前，按组委会要求提交答辩演示文件PPT。
- 比赛最终排名按复赛成绩（60%）和答辩成绩（40%）综合计算得分，组委会拟于2024年11月下旬确定最终获奖名单，予以公示，并举行颁奖仪式（具体时间另行通知）。
- 主办方为线下团队提供参赛证明，以便选手请假使用，原则上入围团队都需现场参加线下赛，特殊情况请向组委会申请。
比赛内容说明
【初赛】
- 初赛数据集包含800张甲状腺灰阶B超影像，训练集含640张图片及其标注（图片为png格式），训练集不可下载。测试集含160张图片及其标注（图片为png格式，标注作为B榜测评答案）
- 组委会提供10张样例图片，以便参赛队伍调通模型，参赛队伍可提交A榜测评，查看模型调通结果
- 初赛选手在单张图片上预测，直接使用精度效果的指标计算，算法准确性（100%权重）是衡量算法识别和分割病灶能力的关键指标，采用以下指标：
1.1 Dice Similarity Coefficient (DSC)
- 定义：DSC衡量算法分割结果与真实标签之间的重叠程度，范围在0到1之间，1表示完美重叠。
-
计算：
，其中，(A) 是算法分割结果，(B) 是真实标签。
1.2 F1
- 定义：F1分数是精度（Precision）和召回率（Recall）的调和平均数
-
计算：
、
，其中，TP（True Positives）是真正例，FP（False Positives）是假正例，FN（False Negatives）是假反例。
1.3 模型精度的加权指标
- 输入：模型的Dice和F1得分
- 输出：模型精度得分model_{hard}
- 计算：
，其中F1，Dice的权重都为0.5
【复赛】
- 提供所有初赛数据共800张图片及其标注作为训练集，40例视频（已进行切帧图片处理，共1000张图片，png格式）作为测试集。
- 复赛选手在单个案例（一段视频，可视n张图片）上预测，同时引入算法效率综合排名。
2.1 算法准确性（70%权重）
算法准确性是衡量算法识别和分割病灶能力的关键指标。
2.1.1 Dice Similarity Coefficient (DSC)
- 定义：DSC衡量算法分割结果与真实标签之间的重叠程度，范围在0到1之间，1表示完美重叠。若每个案例有n张图片，需要在患者的每张图上计算Dice，取平均后为每个案例的定量指标。
-
计算：
，其中，(A) (B)是算法分割图片结果与真实单图标签，(Dice_{avg})是一个案例(一段视频)的指标结果。
2.1.2 F1
- 定义：F1分数是精度（Precision）和召回率（Recall）的调和平均数
-
计算：
、
，其中，TP（True Positives）是真正例，FP（False Positives）是假正例，FN（False Negatives）是假反例。复赛中F1反映的是一个案例的预测结果。
2.1.3 模型精度的加权指标
- 输入：模型的Dice和F1得分
- 输出：模型精度得分model_{hard}
- 计算：
，其中F1，(Dice_{avg})的权重都为0.5
2.2 算法效率（30%权重）
算法效率是衡量算法处理速度和资源消耗的关键指标。可以采用以下指标：
2.2.1 平均处理时间
- 定义：测量算法处理单个图像的平均时间。时间越少，排名越高
- 计算：
,其中 是处理第(i)个图像的时间，(n) 是图像总数。 - 提供选手的排名rank_time
2.2.2 模型参数量
- 定义：直接计算模型的参数数量，作为评估的一部分。参数量越少，模型越简单，排名越高。
- 提供选手的排名rank_size
2.2.3 综合指标
- 输入：模型在平均处理时间rank_time和模型参数量的排名rank_size
- 输出：模型效率得分model_{rankindex}
-
计算：
其中，Num为进入复赛的队伍数。如果Num=100，模型效率model_{rank}排名位于100以后，得分为0；如在100名内，每下降1名则扣除0.01(1/100)分，满分1分
复赛的综合评分按照以下方式计算，其中模型精度得分占70%，模型效率得分占30%
【数据纳入标准】
- 1.年龄 14 周岁（含）以上，男女不限，超声可探及的甲状腺结节。
- 2.结节接受外科手术，获得手术病理结果。
- 3.超声评估结节与病理切片结节能够一一对应。
- 4.以下情况不需要病理证实：A.怀疑亚急性甲状腺炎、甲状腺脓肿、甲状腺结核等，经过随访观察证实；B.怀疑甲状腺囊性病灶吸收后改变，通过回顾既往超声检查结果证实。
结节选择：
每位患者仅评估1个结节。如甲状腺内有多发结节，则评估最具恶性超声特征的结节；如有多个恶性可能的结节，则随机评估其中之一结节；如多发结节皆无恶性超声特征，则随机评估其中之一结节。确保所评估结节为拟手术切除的结节。
诊断金标准：
手术切除病理。不接受细针抽吸细胞学、粗针活检病理。
奖励奖项
本次竞赛奖金池共计100000元人民币现金奖励（税前），具体奖励如下：
- 一等奖（1名）：30000元人民币奖金，颁发获奖证书
- 二等奖（2名）：20000元人民币奖金，颁发获奖证书
- 三等奖（3名）：10000元人民币奖金，颁发获奖证书
赛事规则
参赛队伍：
- 可由1-3人组成，任何参赛选手只能同时参与一支队伍。
- 禁止比赛队伍之间私自分享代码，如有发现相似代码或其它作弊行为，将被取消参赛资格。
- 允许阿里巴巴集团员工参加比赛，但是包含阿里巴巴员工的队伍将不会被授予奖项和奖金。
结果复现：
- 参赛队伍需按规范提交完备的代码、数据、模型文件、训练日志，并附清晰的文档说明，以确保结果的复现性。
- 提交规范详见阿里云天池平台比赛专题页面。
责任声明
参与者参加本次比赛，即表示同意并接受以下条款：参与者需自行负责比赛过程中的私有数据安全，并负责其数据增强处理过程的合法性，不得侵犯任何第三方的合法权益。比赛组织者对参与者提交的所有数据集和模型有权进行全面的审查和评定。
比赛的所有相关事项，包括但不限于比赛规则，评估标准，奖项设置，以及比赛最终结果的确定，均由主办方和联合承办方共同决定。主办方保留对所有比赛相关内容的最终解释权。任何未尽事宜，主办方将根据实际情况进行解释和处理，并保留随时修改比赛规则、调整比赛流程或取消比赛的权利。请所有参与者关注比赛官方网站、微信公众号及阿里云天池平台，以获取最新的比赛信息。
参赛者基于算法赛数据信息开发的成果（包括但不限于算法、技术等）的使用仅限于本次参赛之目的，未经创新大赛相关主办单位书面同意，不可擅自将本次参赛的数据信息及基于数据信息开发的成果用于论文发表和其他研究。如需发表论文或进行其他研究，请邮件联络contact@shdmic.com
立即报名
