새로운 시대의 BERT, 'ModernBERT' 발표
'Hugging Face', 'Nvidia', 'Johns Hopkins University'는 협력하여 새로운 인코더 전용 트랜스포머 모델 'ModernBERT'를 발표했습니다. 이 모델은 이전의 BERT를 능가하며, 속도와 정확도 면에서 많은 발전을 이루었습니다.
- ModernBERT는 최신 AI 기술 트렌드를 반영하여 자연어 처리 분야에서 더욱 향상된 성능을 제공합니다.
- 이 모델은 다양한 현실 세계 응용에 맞춰 최적화되어 있으며, 연구 기관 및 기업과의 협업 가능성도 높아졌습니다.
확장된 컨텍스트 길이와 높은 효율성 제공
ModernBERT는 문맥 길이를 기존 인코더 모델의 512 토큰에서 최대 8,000 토큰으로 확장하였습니다. 이는 다른 인코더 모델보다 16배나 큰 길이를 제공합니다. 또한 2조 개의 토큰으로 훈련되었습니다.
- 확장된 컨텍스트 길이는 긴 문장이나 문서 분석 시 높은 유용성을 제공하며, 복잡한 관계 이해에 효과적입니다.
- 2조 개의 토큰 데이터 셋을 활용한 훈련은 ModernBERT의 다양한 분야 적용 가능성을 증대시켰습니다.
코드 검색과 새로운 IDE 기능 활용 가능
ModernBERT는 훈련 데이터에 대량의 코드를 포함한 최초의 인코더 전용 모델입니다. 이로 인해 대규모 코드 검색, 새 IDE 기능, 전체 문서 조회 기반으로 하는 새로운 검색 파이프라인 등 이전에는 접근할 수 없었던 응용 분야에 새로운 가능성을 열었습니다.
- 코드 검색의 정확성과 속도를 개선하여 개발자들의 생산성을 크게 향상시킬 수 있습니다.
- 새로운 IDE 기능은 프로그램 코드의 자동 완성 및 오류 수정 기능에서 특히 혁신적인 성능을 제공합니다.
기술적 성과와 성능 평가
실험 결과에 따르면 ModernBERT는 여러 인코더 전용 모델을 능가하는 성능을 보여주었습니다. 특히, NVIDIA RTX 4090에서 높은 효율성을 나타내며 저렴한 소비자용 GPU의 효율성을 검토하고 있습니다.
- NVIDIA GPU와의 최적화는 산업 응용 프로그램에서 ModernBERT의 실용성과 경제적 이점을 부각시킵니다.
- ModernBERT의 높은 계산 효율성은 데이터 센터 및 클라우드 환경에서도 에너지 비용 절감에 기여합니다.
BERT와 LLM의 비교
BERT는 2018년 구글에 의해 개발된 언어 모델로, 전적으로 인코더 기반입니다. 최근 주목받는 GPT와 같은 디코더만을 사용하는 모델과 달리, BERT는 효율적이고 자원이 덜 소모되는 장점이 있습니다.
- BERT는 텍스트의 양방향적 이해가 강점으로, 다양한 자연어 처리 작업에서의 활용성을 높여줍니다.
- 인코더 기반의 안정성과 효율성 덕분에 제한된 리소스 환경에서도 우수한 성능을 제공합니다.
정보 검색(IR)에서의 새 가능성
최근 대중적인 대형 언어 모델(LLM)들이 주목받고 있지만, 이것이 정보 검색(IR)에서 인코더 전용 모델에 대한 새로운 관심을 불러일으켰습니다. 이러한 모델들은 문서 검색과 같은 작업에 여전히 효과적으로 활용되고 있습니다.
- ModernBERT는 IR 작업에서 이전보다 높은 정확도의 검색 결과를 제공하여 사용자의 기대치를 충족시킵니다.
- 문서 내 핵심 정보 도출과 관련 쿼리 매칭에서의 강력한 성능은 다양한 산업에 응용될 수 있습니다.
출처 : 원문 보러가기
