인간만큼 질병 진단에 능숙한 AI
최초의 체계적인 검토 및 메타 분석은 인공 지능 (AI)이 의료 전문가와 마찬가지로 의료 이미지를 기반으로 질병을 진단하는 데 능숙하다는 것을 발견했습니다. 그러나 더 높은 수준의 연구가 필요합니다.
새로운 기사는 AI가 의료 전문가만큼 효과적으로 질병을 진단 할 수 있는지 여부를 결정하기 위해 기존 증거를 조사합니다.
저자의 지식 (영국의 University Hospitals Birmingham NHS Foundation Trust의 Alastair Denniston 교수가 이끄는 방대한 연구팀)은 AI 성능을 모든 질병에 대해 의료 전문가와 비교하는 최초의 체계적인 검토입니다.
Denniston 교수와 팀은 2012 년 1 월 1 일부터 2019 년 6 월 6 일 사이에 발표 된 모든 연구에 대해 여러 의료 데이터베이스를 검색했습니다. 팀은 분석 결과를 저널에 발표했습니다. Lancet 디지털 건강.
의료 전문가와 동등한 AI
연구원들은 의료 영상을 기반으로 진단을 내렸을 때 딥 러닝 알고리즘의 진단 효과를 의료 전문가의 진단 효과와 비교 한 연구를 찾았습니다.
그들은 언급 된 연구에서보고의 질, 임상 적 가치 및 연구 설계를 조사했습니다.
또한 의료 전문가와 비교하여 AI의 진단 성능을 평가할 때 연구원들은 특이성과 민감성이라는 두 가지 결과를 살펴 보았습니다.
"민감도"는 진단 도구가 질병에 걸린 사람들에게 긍정적 인 결과를 얻을 확률을 정의합니다. 특이성은 민감도 측정을 보완하는 진단 테스트의 정확도를 나타냅니다.
선택 과정에서 분석에 포함 할 수있을만큼 품질이 높은 14 개의 연구 만 산출되었습니다. Denniston 교수는 "우리는 20,500 개가 넘는 기사를 검토했지만 이들 중 1 % 미만이 디자인에 충분히 견고했으며 독립적 인 검토자가 자신의 주장에 대해 높은 신뢰를 가지고 있다고보고했습니다."라고 설명합니다.
"또한 25 개의 연구 만이 AI 모델을 외부에서 검증했으며 (다른 모집단의 의료 이미지 사용), 동일한 테스트 샘플을 사용하여 AI와 의료 전문가의 성능을 비교 한 연구는 14 개에 불과했습니다."
“그 소수의 고품질 연구에서 우리는 딥 러닝이 실제로 의료 전문가만큼 정확하게 암에서 안구 질환에 이르는 질병을 감지 할 수 있음을 발견했습니다. 하지만 AI가 인간의 진단을 크게 능가하지는 못했다는 점에 유의해야합니다. "
Alastair Denniston 교수
더 구체적으로, 분석 결과 AI는 87 %의 사례에서 질병을 정확하게 진단 할 수있는 반면, 의료 전문가의 탐지는 86 %의 정확도를 나타 냈습니다. 딥 러닝 알고리즘의 특이성은 93 %로 인간의 91 %와 비교했습니다.
편견은 AI 성능을 과장 할 수 있습니다.
Denniston 교수와 동료들은 또한 AI 진단 성능을 조사하는 연구에서 발견 한 몇 가지 한계에 주목합니다.
첫째, 대부분의 연구는 정기적 인 임상 진료를 모방하지 않는 격리 된 환경에서 AI 및 의료 전문가의 진단 정확도를 조사합니다. 예를 들어, 의사가 일반적으로 진단을 내리는 데 필요한 추가 임상 정보를 빼앗 깁니다.
둘째, 연구자들은 대부분의 연구가 데이터 세트만을 비교 한 반면, 진단 성능에 대한 고품질 연구는 사람들에게 그러한 비교를 필요로한다고 말합니다.
더욱이 모든 연구는 데이터 세트에서 누락 된 정보를 설명하지 않는 분석으로 인해 잘못된보고로 어려움을 겪었습니다. "대부분의 [연구]는 누락 된 데이터가 있는지 여부, 이것이 나타내는 비율 및 분석에서 누락 된 데이터가 처리 된 방식을보고하지 않았습니다."라고 저자는 썼습니다.
추가 제한 사항에는 일관성없는 용어, 민감도 및 특이성 분석에 대한 임계 값을 명확하게 설정하지 않음, 표본 외 검증 부족 등이 있습니다.
제 1 저자 인 Xiaoxuan Liu 박사는“새롭고 잠재적으로 생명을 구할 수있는 진단을 사용하려는 욕구와 임상 실습에서 환자와 의료 시스템에 도움이 될 수있는 방식으로 고품질 증거를 개발해야하는 필요성 사이에는 내재 된 긴장이 있습니다. 버밍엄 대학교.
“우리 업무의 핵심 교훈은 AI에서 다른 의료 분야와 마찬가지로 좋은 연구 설계가 중요하다는 것입니다. 그것 없이는 결과를 왜곡시키는 편향을 쉽게 도입 할 수 있습니다. 이러한 편견은 현실 세계로 변환되지 않는 AI 도구에 대한 우수한 성능에 대한 과장된 주장으로 이어질 수 있습니다.”
Xiaoxuan Liu 박사
“AI 알고리즘이 환자 결과를 어떻게 변화 시킬지에 대한 증거는 무작위 대조 시험에서 대체 진단 테스트와 비교하여 얻어야합니다.”라고 공동 저자 인 영국 런던의 Moorfields Eye Hospital의 Livia Faes 박사는 덧붙입니다.
“지금까지 AI 알고리즘에 의해 내린 진단 결정이 적시 치료, 퇴원 시간 또는 생존율과 같이 환자에게 실제로 중요한 결과에 어떤 일이 발생하는지 확인하는 그러한 실험은 거의 없습니다.”
