다중 모달 AI 모델과 인간 지성의 비교
최근 연구에서는 다중 모달 AI 모델이 NEJM 이미지 챌린지에서 인간의 집단 지성과 어떻게 비교되는지를 평가했습니다. 이 연구는 AI의 임상 진단에서의 가능성과 현재의 한계를 강조합니다.
- 다중 모달 AI는 텍스트, 이미지 등 다양한 데이터를 결합하여 분석할 수 있는 능력을 가지고 있습니다.
- 이러한 모델의 발전은 의료뿐만 아니라 여러 분야에서의 활용 가능성을 넓히고 있습니다.
Anthropic의 Claude 3 모델의 성과
Anthropic의 Claude 3 패밀리는 평가된 AI 모델 중 가장 높은 정확도를 보였으며, 평균 인간 정확도를 초과했습니다. 하지만 인간의 집단적 의사 결정이 모든 AI 모델을 능가했습니다.
- Claude 3 모델은 다양한 상황에서 일관성이 높은 성능을 보이며, 특히 이미지 인식에 강점을 드러냈습니다.
- 인지 계산에서 최고 성과를 보여 AI의 진화 가능성을 시사했지만, 인간 의사 결정의 복잡성을 아직 따라잡지 못했습니다.
GPT-4 Vision Preview의 선택적 응답
GPT-4 Vision Preview는 더 쉬운 질문에 더 자주 응답했으며, 작은 이미지와 긴 질문에 대한 응답이 많았습니다. 이는 제한적인 응답 정책의 영향을 보여줍니다.
- GPT-4의 응답 패턴은 모델의 설계 및 훈련 방식의 한계를 나타내며, 선별적 반응 전략이 필요함을 시사합니다.
- 향후 개발에서는 보다 복잡한 문제에 대한 응답 능력을 향상시키는 방향이 주목받고 있습니다.
대형 언어 모델의 의료 진단 적용
대형 언어 모델의 의료 분야 적용은 특히 의료 진단에서의 신뢰성 및 윤리적 문제를 제기합니다. 최근 연구는 이러한 모델이 임상 환경에서 인간 전문가의 지식을 증진할 가능성을 보여줍니다.
- 의료 분야에서 언어 모델의 도입은 자동화된 진단 시스템에 대한 잠재성을 제시합니다.
- 그러나 오진 가능성과 윤리적 책임에 대한 지속적인 논의가 필요합니다.
NEJM 이미지 챌린지에서의 참여 데이터
2005년 10월부터 시작된 NEJM 이미지 챌린지에는 8천5백만 건 이상의 응답이 있었습니다. 평균 정답률은 49.4%로, 다양한 난이도의 질문이 포함되었습니다.
- 이 데이터는 인간과 AI의 진단 역량을 비교하는 데 중요한 기초 자료로 사용됩니다.
- 다양한 질문 난이도는 AI 모델의 적응성과 대처 능력을 시험하는 역할을 합니다.
모델의 응답 행동과 윤리적 고찰
모든 공개 모델과 Anthropic의 모델은 모든 질문에 응답했지만, GPT-4 Vision Preview는 76%의 경우에만 응답했습니다. 이는 모델의 선택적 응답과 관련된 윤리적 문제를 제기합니다.
- 선택적 응답은 AI의 판단 기준을 명확히 하는 것이 중요하며, 이는 신뢰성에 직접적인 영향을 미칩니다.
- 이러한 모델들도 사용자의 기대에 부응할 수 있도록 설계 및 감독이 강화되어야 합니다.
AI 모델의 진단 정확도와 인간 지성의 우위
AI 모델 중 Anthropic의 모델이 가장 높은 정확도를 보였지만, 인간의 집단 지성은 모든 모델을 크게 능가했습니다. 이는 의료 다중 모달 진단에서 인간의 집단 지성이 중요함을 시사합니다.
- 집단 지성은 인간 두뇌의 다양성과 창의성이 결합된 결과로, 복잡한 문제 해결에 강점을 보입니다.
- AI는 현재로서는 보조적 역할을 수행하며, 인간 전문가와 협력하여 사용되는 것이 바람직합니다.
EU AI 법안과 의료 AI의 안전성
EU AI 법안은 높은 위험 수준의 AI 시스템에 대한 투명성, 강건성, 인간 감독을 요구합니다. 의료 AI에 대한 이 법안은 문서화, 추적 가능성, 책임성을 강조합니다.
- 이러한 법안은 AI의 원활한 통합과 안전한 사용을 보장하기 위해 강조되고 있습니다.
- 법적 규제는 AI 개발자와 사용자 간의 신뢰를 구축하는 중요한 요소로 작용합니다.
다중 모달 모델의 개선 필요성
연구된 모델들은 의료 작업에 맞춰 설계된 것이 아니며, 임상 환경에서의 유효성을 검증하기 위한 임상 시험이 필요합니다. 이러한 모델들은 훈련 데이터의 불투명성으로 인해 안전성 검토에 한계가 있습니다.
- 실제 임상 환경에서의 적용 가능성을 높이기 위해 지속적인 개선이 요구됩니다.
- 신뢰할 수 있는 데이터셋과 투명한 알고리즘 개발이 앞으로의 과제가 될 것입니다.
AI 모델의 빠른 발전과 의료 진단의 미래
AI 모델은 의료 진단을 증강할 가능성을 보이지만, 그 사용은 신중하고 책임 있는 접근이 필요합니다. AI가 인간의 전문성을 보완하는 방향으로 발전하기 위해 협력이 중요합니다.
- AI의 발전은 반복적이고 시간이 많이 소요되는 작업을 자동화하여 의료 전문가의 부담을 줄일 수 있습니다.
- 궁극적으로는 인간의 판단력을 강화하는 도구로 사용될 가능성이 큽니다.
출처 : 원문 보러가기
