비지도 학습, AI의 핵심 요소로 부상하다
비지도 학습은 인공지능 시스템의 핵심 요소로 자리잡았습니다. 이 기술은 데이터 레이블의 부재나 획득 비용이 높은 문제를 해결하고, 다양한 하위 응용 분야에 기반을 제공합니다.
- 2020년 AI 연구의 10% 이상이 비지도 학습 기법에 집중됐으며, 이는 전년 대비 30% 증가한 수치입니다.
- 알파고 제로(AlphaGo Zero)는 기존 알파고보다도 효율적으로 비지도 학습을 통해 새롭게 지식을 습득하는 방식으로 개발되었습니다.
비지도 학습의 대표적인 문제, Clever Hans 효과
CH 효과는 모델이 특정 설정에서 예측을 잘하지만 새로운 데이터에서는 성능이 저하되는 현상입니다. 이는 주로 모델이 데이터를 잘못 해석하거나 특이한 상관관계를 활용하는 데 기인합니다.
- Clever Hans 효과의 명칭은 19세기 독일의 말, Clever Hans에서 유래되었습니다. 이 말은 숫자 계산 능력을 가진 것으로 보였지만, 실제로는 조련사의 무의식적인 신호를 읽어내고 있었습니다.
- 최근 연구에서는 CH 효과가 특히 금융 데이터에서 피처의 중요도를 왜곡함으로써 잘못된 투자 결정을 초래할 수 있음을 발견했습니다.
의료 및 산업 분야에서 CH 효과의 실태
의료와 산업 데이터에서 CH 효과로 인해 발생할 수 있는 성능 저하 문제를 확인했습니다. 이러한 문제는 데이터 셋의 이동이나 서브그룹의 재조정에 따라 두드러지게 나타납니다.
- 의료 분야에서는 비지도 학습 알고리즘의 CH 효과로 인해 병리학적 영상 분석의 정확도가 환자별 변동성에 따라 달라질 수 있습니다.
- 산업에서는 예측 유지보수 시스템이 특정 기계나 상황에서만 최적화되는 사례가 많아, 새로운 설비나 환경에서 예측 정확도가 저하되곤 합니다.
설명 가능한 AI로 CH 효과 극복하기
BiLRP와 같은 설명 가능한 AI 기법을 활용해 CH 효과의 원인을 파악하고, 이러한 문제를 사전에 탐지하여 개선할 수 있는 방법을 제안합니다.
- 2021년 한 연구에서는 BiLRP 기법을 적용해 CH 효과가 발생하는 주요 피처를 식별하고, 이러한 피처를 보완하여 모델의 성능을 15% 향상시켰습니다.
- 설명 가능한 AI 기법은 특히 규제가 엄격한 금융 및 의료 분야에서 투명할 필요가 있는 AI 모델의 적용에 필수적입니다.
CH 효과에 대한 새로운 통찰
데이터 품질보다는 비지도 학습 기계의 설계 결함이 CH 효과의 주요 원인임을 확인했습니다. 따라서, 모델의 구조적 결함을 해결하는 것이 중요합니다.
- 최근 연구에서는 비지도 학습 모델의 구조가 특정 피처에 집중하도록 설계됐을 때 CH 효과가 더 빈번하게 발생함을 보였습니다.
- 비지도 학습 모델의 구조적 문제를 해결하는 전략으로는 데이터 증강 및 고차원 데이터의 차원 축소 기법이 효과적으로 사용될 수 있습니다.
CH 효과를 줄이기 위한 구체적인 전략
CH 효과를 줄이기 위해, 특정 데이터 서브그룹에 대한 모델의 예측 전략을 재조정하는 방안을 실험했습니다. 이는 모델의 내재적 결함을 식별하고 수정하는 데 기여할 수 있습니다.
- 예를 들어, 대형 온라인 소매업체에서는 고객 세그먼트별로 피처 중요도를 조정하여 CH 효과를 최소화하고자 했습니다. 결과적으로 추천 시스템의 변동성을 25% 줄일 수 있었습니다.
- 추가적인 실험에서는 비지도 학습 모델에 샘플 가중치를 부여함으로써, CH 효과가 불필요한 변동을 일으킬 때의 리스크를 감소시켰습니다.
다른 데이터 유형으로의 확장 가능성
이미지 데이터 외에도 다른 데이터 유형에 이 접근법을 확장할 가능성이 큽니다. 이는 비정상 탐지나 대규모 언어 모델의 표현 학습을 분석하는 데 활용될 수 있습니다.
- 최근 자연어 처리(NLP) 분야에서 비지도 학습과 CH 효과의 관계를 탐구한 연구에서는, 대규모 텍스트 코퍼스에서의 비지도 학습 접근이 런타임 시간 단축에 기여할 수 있음을 제시하였습니다.
- IoT 분야에서는 시간에 따른 센서 데이터의 비지도 학습적 분석을 통해 비정상 탐지 사례를 효율적으로 처리할 수 있습니다.
비지도 학습의 CH 효과와 그 해결책의 중요성
비지도 학습의 CH 효과와 이로 인한 통제되지 않은 위험은 중요한 문제입니다. 설명 가능한 AI는 이를 해결하는 효과적인 방법을 제공합니다.
- 설명 가능한 AI는 CH 효과 해결을 위해 필수적인 도구 유지 보수 및 향상 수단으로 인정받고 있으며, 이는 특히 규제 강화의 흐름 속에서 가치를 지니고 있습니다.
- 2022년 AI 현황 보고서에 따르면, 기업의 63%가 비지도 학습 활용 시 설명 가능성 확보를 가장 큰 도전 과제로 지목했습니다.
출처 : 원문 보러가기
