人工智能目前存在的问题及临床试验设计思路(3)
根据《医疗器械临床试验方案设计指导原则》后的诊断试验样本量公式,定性的样本量估算需要分阳性受试者和阴性受试者两部分,分别按照诊断试验样本量估算公式(1)进行计算。
Z1-α/2正态分布分位数,)为方差函数,通常V()=θ(1-θ),θ为灵敏度或特异度,L为估计误差,可以取参考文献报道的置信区间宽度的1/2以下。
以灵敏度为例,某诊断眼底病变的人工智能软件预期灵敏度为89%,规定双侧α=0.05(Z1-α/2=1.96),灵敏度估计误差渭扑愕醚粜允苁哉呶?51例。考虑合适的脱落率(通常不超过20%)来使样本量达到189例,以保证纳入分析的阳性受试者至少为151例。
然而,根据《医疗器械临床试验方案设计指导原则》后的诊断试验样本量公式算出的阳性病例数和阴性病例数是理论数值,但是实际的诊断试验过程中,由于无法提前预知目标人群的阴阳性比例,所以在分组前必须先用“金标准”或其他方法先将患者的阴阳性区分出来,然后再从这些患者中选择阴阳性受试者。由于实际目标人群中的阴阳性比例与理论值的比例不一样,这就导致实际参与筛选的患者要多于理论值,且这个筛选的患者数量与目标人群中的阳性率相关,阳性率越高,需筛患者就越少。
为了有更高的概率获得阳性受试者,可以考虑在眼科专科医院进行试验,假设来该专科医院就诊的患者有50%机会患有眼底病变,则可以通过公式(2)计算阳性受试者和阴性受试者总数Ntotal。
假设Prev=50%,n=189,Z1-β取正态分布曲线下95%对应的界值1.645,计算得至少纳入412例患者。因此,有95%的把握认为412例患者中至少有189例受试者患眼底病变。
因此,样本量估算时会看到两组数据,一组是阴阳性患者理论值,一组是受试者筛选数量。
2.8 其他注意事项
图像分析类人工智能产品进行临床试验时除了考虑上述问题外,还有一些问题是需要注意的。
①重复使用受试者数据。由于这类产品只是对患者的图像数据进行分析,有时可能存在重复使用同一名患者不同时期的图像数据。当然如果是有意对测量结果的可重复性进行分析时除外;②这类产品的注册试验不建议采用历史数据进行分析;③“金标准”与人工智能算法天生的存在不一致的情况,特别是产品研发时采用了没有经“金标准”标注的数据,其算法结果与临床试验结果的差异需要企业认真考虑;④如何获取高质量的图像可能是临床试验前需要企业关注的一个重点,在必要的时候可能需要对图像拍摄者进行培训;⑤在进行临床试验前企业前考虑参研单位硬件条件,特别是图像采集软件是否可以满足试验要求;⑥为客观评价产品的性能,建议企业对分析结果的测量精密度进行分析。即,对同一个人同一个时期内的多幅照片进行分析时,结果的一致性;⑦建议参研单位对其进行统一的培训,必要时可以选择一些高年资的医生参与“金标准”判断。
3.总结
目前人工智能产品火热,但火热的背后还是有许多问题值得思考,希望以此篇文章抛砖引玉,引发大家的思考。
[1]陈峰,夏结来.临床试验统计学[Z].北京:人民卫生出版社,2018.
文章来源:《世界临床药物》 网址: http://www.sjlcywzz.cn/qikandaodu/2021/0712/1439.html
上一篇:医疗大数据是推动精准医疗和临床科研的新引擎
下一篇:常见猪病临床和病理剖检诊断要点