의료 AI 시스템의 설명 가능성 논란
인공지능 기반 의사결정지원시스템(AI-DSS)의 사용이 의료 분야에서 늘어나는 가운데, 이 기술의 설명 가능성에 대한 필요성이 중요한 논의 주제로 부상하고 있습니다. AI-DSS는 의료 의사결정의 접근성, 정확성, 속도를 높이는 데 기여할 수 있지만, 그 사용이 정당화되기 위해서는 설명 가능성에 대한 명확한 기준이 필요합니다.
- 2019년 세계 의료 AI 시장은 약 23억 달러 규모였으며, 연평균 41.4% 성장률로 2026년까지 347억 달러에 이를 것으로 예측됩니다. 이와 같은 확장 속도는 설명 가능한 AI 기술의 필요성을 더욱 부각시키고 있습니다.
- 설명 가능한 AI는 이해 가능성과 신뢰도를 높여 법적 책임 문제에서 자유로움을 줄 수 있어, 특히 법적 분쟁이 잦은 의료 분야에서 중요성이 증가하고 있습니다.
유럽연합 AI법의 도입 배경
2024년 유럽연합은 AI법을 제정하여 의료 AI-DSS가 즉각적이거나 사후 설명 가능한 방법을 사용할 것을 요구했습니다. 이는 AI 기술의 신뢰성, 인권, 설명 가능성에 대한 우려를 해결하기 위한 규제 프레임워크로서, 특히 의료 분야에서 AI-DSS의 투명성을 확보하고자 하는 노력을 반영합니다.
- AI Act에 따라 의료 AI 시스템은 고위험 카테고리에 속하며, 시스템의 설명 가능성, 데이터 품질, 공정성 등을 포함한 엄격한 요구사항을 충족해야 합니다.
- 이러한 법적 요구사항은 환자 안전을 확보하고, AI 기술을 사용하는 과정에서 발생할 수 있는 인권 침해를 예방하기 위한 것으로, 각국의 정책 입안자들이 주시하고 있습니다.
설명 가능성의 윤리적 요구사항
문헌 분석 결과, 1662개의 문헌 중 44개가 설명 가능성의 윤리적 요구사항을 명확히 언급했습니다. 이 중 17개는 설명 가능한 AI 방법이 필요하다는 입장을 지지했으며, 27개는 일반적인 요구사항으로 보지 않았습니다. 특히, 상황에 따라 설명 가능성의 수준이 달라져야 한다고 주장하는 연구가 14개 있었으며, 이는 절대적 기준 대신 상황에 따른 상대적 기준을 주장하는 경향을 보였습니다.
- 2020년 미국 국립보건원(NIH)은 AI 연구의 윤리적 관행이 강조된 보고서를 발표하면서, 상황에 따른 맞춤형 설명 가능성을 제안했습니다.
- 이러한 경향은 특히 환자의 응급 상황 시 즉각적 판단이나 데이터 복잡성에 따라 설명 요구가 다를 수 있음을 강조합니다.
AI-DSS와 설명 가능성의 이중 잣대 문제
AI-DSS의 설명 가능성 요구에 대한 논쟁은 ‘이중 잣대’ 문제에서 비롯됩니다. 일부 연구자들은 기존의 증거 기반 의학이 AI-DSS만큼 불투명하다는 점을 지적하며, AI-DSS에 대한 설명 요구가 이중 잣대를 적용한다고 주장합니다. 반면, 다른 연구자들은 AI-DSS의 성능 증거가 더 많은 혼란을 초래할 수 있다고 반박합니다.
- 2021년 발표된 연구에서는 AI 의사결정이 일반 의사의 판단보다 진단 정확도가 높을 수 있음을 보여주었지만, 오히려 설명 가능성이 부족하면 부작용 사례가 늘어날 수 있습니다.
- 증거 기반 의학의 경우 인간의 경험과 직관이 주요 판단 도구로 사용되면서 종종 주관적 판단에 의존하게 되며, 이는 AI와의 차별성을 나타냅니다.
설명 가능성의 필요성에 대한 다양한 시각
설명 가능성을 요구하지 않는 입장에서는, AI-DSS의 사용이 임상적 성과에 따라 검증될 수 있다면 설명 가능성은 필수가 아니라고 주장합니다. 반면, 설명 가능성을 요구하는 입장에서는 책임성과 신뢰성을 강조하며, AI-DSS의 투명성이 의사 결정의 정확성과 환자의 신뢰성을 높일 수 있다고 강조합니다.
- IBM의 Watson Health와 같은 시스템이 초기에는 큰 기대를 받았지만, 실질적인 설명력 부족으로 인해 몇몇 프로젝트는 실패로 돌아갔습니다.
- Harvard Business Review에서는 설명 가능한 AI 방식이 향후 의료 AI 시스템에 대한 만족도와 사용률을 최대 35% 향상시킬 수 있다고 분석했습니다.
결론: 윤리적 논쟁의 지속
의료 AI-DSS의 설명 가능성 요구에 대한 논쟁은 여전히 진행 중이며, 유럽연합의 AI법과 관련된 윤리적 논의는 지속되고 있습니다. 다양한 입장들이 서로의 주장을 참조하며 상호작용하고 있으며, 이는 AI-DSS의 사용과 발전에 있어 중요한 정책적 함의를 가질 수 있습니다. 앞으로의 연구는 기술적 발전과 윤리적 평가 간의 간극을 줄이고, 설명 가능성의 역할을 보다 명확히 할 필요가 있습니다.
- 최근의 연구는 AI의 활용이 부정확한 정보를 제공할 수 있음을 발견하며, AI 시스템이 인간적 판단의 보조 역할을 넘어서기 위해서는 기술적 투명성과 설명 가능성이 필수적임을 시사합니다.
- AI 기술에 대한 국제적인 협력이 필요하며, 전 세계적 범위에서 설명 가능한 AI 표준을 마련하여 인류에게 유익을 줄 수 있습니다.
출처 : 원문 보러가기
