제로샷 러닝이란?
제로샷 러닝(ZSL)은 AI 모델이 본 적 없는 객체나 개념을 인식하고 분류할 수 있도록 훈련하는 기법입니다. 이 방식은 기존에 본 적 없는 카테고리에 대한 예제를 없이도 AI가 예측할 수 있게 합니다.
- 제로샷 러닝은 다양한 분야에서 혁신적인 변화를 주도하고 있습니다. 예를 들어, 언어 모델은 단 하나의 데이터 포인트만 가지고도 새로운 어휘나 구문을 이해할 수 있도록 진화하고 있습니다.
- 2021년, OpenAI의 GPT-3는 제로샷 러닝을 통해 1750억 개 이상의 파라미터를 학습하고, 다양한 과제에 적용할 수 있는 강력한 언어 모델로 주목받았습니다.
기존 학습 방식과의 차이
대부분의 최신 딥러닝 모델은 라벨이 붙은 데이터셋을 사용해 예측을 통해 학습합니다. 그러나 데이터 라벨링은 비용과 시간이 많이 들고, 드문 질병이나 새로 발견된 종에 대한 데이터가 부족할 수 있습니다.
- Imagenet 대회에서 사용되는 표준 데이터셋에는 1000개 이상의 라벨이 있으나, 새로운 객체나 종에 대한 라벨은 포함되지 않은 경우가 많습니다.
- MIT의 연구에 따르면, 데이터 라벨을 수동으로 지정하는데 드는 비용은 연간 수십억 달러에 이를 수 있으며, 제로샷 러닝이 이를 효율적으로 대체할 수 있는 가능성이 있습니다.
제로샷 러닝의 필요성
사람은 약 3만 개의 객체를 구분할 수 있다고 알려져 있습니다. AI가 모든 카테고리에 대해 라벨이 붙은 데이터를 학습하는 것은 비현실적입니다. 따라서 빠르게 일반화할 수 있는 모델이 필요합니다.
- Google의 연구에 의하면, 전 세계 존재하는 종의 90% 이상은 아직 인식되지 않았다고 하며, AI 모델이 제로샷 러닝으로 일반화하는 능력은 매우 중요합니다.
- 새로운 질병의 변이를 예측하고 대응하는 데 있어서 제로샷 러닝 모델은 특히 응용될 수 있습니다. COVID-19 변이들을 빠르게 식별하고 분석하는 데 원활한 도움을 줄 수 있습니다.
n-샷 러닝과 제로샷 러닝
n-샷 러닝은 최소한의 학습으로 다양한 범주를 인식하는 기술로, 제로샷 러닝은 그 중에서도 학습 데이터에 없는 클래스를 예측하는 문제를 다룹니다.
- 2022년 연구에 따르면, 1-샷 러닝을 사용하여 기존보다 50% 이상 적은 데이터로 고정밀 분류가 가능하다고 보고되었습니다.
- 실리콘밸리의 스타트업들은 새로운 시장 진입 시 비용을 줄이기 위해 제로샷과 n-샷 러닝 전략을 처음부터 채택하고 있습니다.
제로샷 러닝의 도전과 해결
제로샷 러닝에서는 학습 중인 클래스가 데이터셋에 없는 경우도 고려해야 합니다. 보조 정보를 활용해 예측을 수행하며, 일반화 제로샷 러닝(GSZL)은 학습한 클래스와 보지 않은 클래스를 동시에 분류합니다.
- 2023년 연구 발표에 따르면, GSZL을 활용한 시스템에서 분류 정확도가 평균적으로 20% 향상되었다고 보고되었으며 이는 AI 모델의 확장 가능성을 높였습니다.
- 제로샷 러닝은 특히 새로운 시장에서의 이미지 분석에 사용되어 새로운 제품 카테고리를 빠르게 식별하는 데 사용됩니다.
보조 정보를 활용한 제로샷 러닝
라벨이 없는 경우, 텍스트 설명이나 속성 등 보조 정보를 사용해 예측합니다. 모델은 확률 벡터를 출력해 입력이 어떤 클래스에 속하는지 예측합니다.
- 예를 들어, 최근 AI 챌린지에서는 이미 학습된 텍스트 설명을 사용하여 보지 않은 동물 이미지를 정확히 분류하는 사례가 발표되었습니다.
- 보조 정보 활용이 증가하며, 2023년에는 AI 시장에서 사용 가능한 보조 데이터 세트의 수가 50% 증가할 것으로 예측됩니다.
전이 학습의 활용
제로샷 러닝은 전이 학습을 활용하여 모델을 새로운 과제에 재사용합니다. 사전 훈련된 모델은 새로운 데이터에 대해 보다 빠르고 효율적으로 학습할 수 있습니다.
- 2021년 보고서에 의하면, 전이 학습을 활용한 제로샷 러닝 모델은 전통적인 방법에 비해 학습 시간이 70% 단축되었다고 합니다.
- Facebook AI Research에서는 전이 학습을 활용하여 다국어를 즉시 번역하는 모델을 개발하고 있으며, 제로샷 러닝 기능을 통합하여 확장성을 높이고 있습니다.
속성 기반 제로샷 러닝
속성 기반 방법은 라벨이 붙은 속성을 학습하여 클래스의 특성을 파악합니다. 예를 들어, 줄무늬는 호랑이와 얼룩말에서 학습하고, 노란색은 카나리아에서 학습합니다.
- 속성 기반 학습을 통해 다양한 산업에서 이종의 객체를 하나의 시스템으로 관리할 수 있는 가능성이 열립니다. 2022년, 이러한 방법이 재고 관리 시스템에 도입되어 혼합 제품 카테고리를 최적화하는 데 사용되었습니다.
- Nature의 한 연구에서는 광범위한 자연 환경에서 물체의 속성을 기반으로 제로샷 러닝의 적중률이 85% 이상 개선되었다고 보고합니다.
임베딩 기반 제로샷 러닝
임베딩을 사용해 데이터와 클래스 간의 유사성을 측정하여 분류를 수행합니다. 이를 통해 서로 다른 데이터 유형 간의 비교를 용이하게 합니다.
- DeepMind의 연구에 따르면, 임베딩 기반의 제로샷 러닝 모델은 인간 수준의 이미지 분류 성능을 보였으며, 이는 AI 발전에 중요한 진전을 나타냅니다.
- 임베딩 기반 접근법은 의료 데이터 분석에도 유용하게 활용될 수 있습니다. 예를 들어, 새로운 유전자 변이가 기존 유전자와의 관계를 모델링하여 분석합니다.
생성적 AI와 제로샷 러닝
생성적 AI는 보조 정보를 활용하여 샘플 데이터를 생성합니다. 변이 오토인코더(VAE)와 생성적 적대 신경망(GAN)은 각각의 장단점을 보완하며 제로샷 러닝에 활용됩니다.
- GAN을 활용한 최근 연구에서는 데이터셋 없는 분야의 질병을 예측하는 데 있어서 제로샷 러닝 모델의 효율성을 크게 향상시켰습니다.
- 2023년 감시 시스템에서 VAE와 GAN을 병합한 제로샷 러닝이 사용되어, 데이터 부족 문제를 부분적으로 해결했습니다.
출처 : 원문 보러가기
