대형언어모델의 오류 수정 능력 강화
대형언어모델(LLM)은 수학과 코딩 분야에서 강력한 추론 능력을 보이며 주목받고 있습니다. ChatGPT, Claude, Gemini와 같은 모델이 그 예로, 최신 GPT-4의 출시는 이러한 추론 능력을 더욱 향상시키려는 관심을 높였습니다. 이러한 모델의 주요 과제 중 하나는 출력에서 발생하는 오류를 자율적으로 탐지하고 수정하는 능력입니다.
- 2023년 이후, ChatGPT와 같은 모델은 훈련 데이터의 규모뿐만 아니라, 복합적인 아키텍처 설계를 통해 오류 수정 능력을 강화하려는 여러 연구가 진행되고 있습니다.
- LLM이 지원하는 다양한 분야는 응용 수학, 화학, 생명공학 등 다양한 영역에서 전문가 시스템을 대체하거나 보조하는 데 활용되고 있으며, 이로 인해 오류 탐지 및 수정의 능력은 더욱 중요한 과제로 대두되고 있습니다.
자체 수정의 필요성과 도전 과제
기존에는 외부의 보상 신호를 활용하여 모델의 응답을 개선했지만, 이는 다수의 모델을 동시에 실행해야 하는 계산 부담을 초래합니다. 외부 지침 없이 현재의 LLM은 내재된 추론만으로는 자체 수정을 수행하기 어려운 상황입니다. 이는 LLM이 스스로 오류를 인식하고 수정할 수 있는 능력, 즉 ‘자체 수정’이 필수적임을 의미합니다.
- 2019년 후반에는 대부분의 LLM이 인간 피드백으로 모델의 성능을 개선하는 접근을 사용했지만, 이는 비용이 많이 드는 동시에 확장성에 한계를 두었습니다.
- LLM이 투자 비용을 줄이면서도 성과를 높이기 위해 자체 수정을 지원하는 데에는, 보다 효율적이고 자동화된 감독 기법들이 절실히 요구됩니다.
자체 보상 신호 생성의 새로운 접근
최근 연구에서는 LLM이 자체적으로 보상 신호를 생성하여 평가자로 활용하는 방식을 탐구하고 있습니다. 이 연구는 응답 생성과 평가를 단일 LLM 내에서 통합하는 방법을 조사하며, 반복적인 미세 조정 접근 방식으로 모델이 자체 개선을 촉진할 수 있게 합니다. 그러나 교사 보조 훈련이 대화 작업에서 반성을 강화하는 데 기여하지만, 추론에 대한 자체 수정은 추가적인 감독 없이는 신뢰할 수 없습니다.
- 2023년 MarVell 연구실의 발표에 따르면, LLM이 자체 보상 신호를 통해 얼마나 정확히 피드백을 생성할 수 있는지가 모델 성능을 좌우하는 주요 인자로 떠오르고 있습니다.
- 학습 효율성을 위해 자체 보상 신호를 적극 활용하는 과정에서, 응답의 일관성과 정확성을 검증하기 위한 표준화된 벤치마크 개발 또한 병행되어야 합니다.
규칙 기반 강화 학습의 대안 탐구
일부 사전 훈련 모델이 자연적으로 자체 수정 행동을 보인다는 점에서 규칙 기반 강화 학습이 대안으로 탐구되고 있습니다. 그러나 이러한 결과를 다양한 아키텍처에 걸쳐 복제하는 것은 여전히 도전적입니다. 성능 개선은 종종 독점적인 훈련 데이터와 특수한 모델 설계와 관련이 있기 때문입니다.
- OpenAI의 최근 보고서에 따르면, 규칙 기반 강화 학습의 성공적인 적용은 주로 네트워크 구조나 데이터의 특이성에 따라 달라지며, 실험 환경의 통제성을 유지하는 것이 필요하다고 밝혔습니다.
- 에이전트 기반의 RL(강화 학습)의 가능성은 명확하지만, 보다 복합적인 데이터셋을 사용하는 것을 통해 정확한 오류 수정 반응을 이끌어내는 것이 과제로 남아 있습니다.
자체 보상 추론 프레임워크 연구
일리노이 대학교 어바나-샴페인과 메릴랜드 대학교 칼리지 파크의 연구진은 LLM의 자체 보상 추론을 탐구하여 외부 피드백 없이도 정확한 추론 단계를 생성하고 평가하며 응답을 개선하는 방법을 개발했습니다. 그들의 두 단계 프레임워크는 순차적 거부 샘플링을 통해 자가 보상 및 자체 수정 행동을 포함한 긴 사고 과정을 구성합니다.
- 순차적 거부 샘플링 방식은 무작위 하이퍼파라미터 검색을 활용하여 모델의 다변화된 특성을 충실히 반영하고, 시간적으로 간편하게 피드백을 기반으로 능동적 학습을 진행할 수 있게 합니다.
- 이러한 새로운 프레임워크는 자연어 처리(NLP) 경쟁력에서 혁신적인 시도로 평가 받고 있으며, 최근 Google 및 Amazon 같은 빅테크 기업들은 이 연구 방식을 적극 활용할 것을 고려하고 있습니다.
실험 결과와 향후 연구 방향
Llama-3와 Qwen-2.5 모델을 사용한 실험 결과, 이 접근법이 자체 수정 능력을 향상시키고 외부 보상에 의존하는 모델의 성능에 맞먹는 결과를 보여주었습니다. 향후 연구에서는 보상 모델의 정확성 문제를 해결하고, 강화 학습을 더욱 향상시키며, 다중 턴 RL 방법을 탐색하는 방향으로 진행될 것입니다. 이 연구는 외부 피드백 없이 단계별 수정이 가능한 효율적인 수학적 추론 솔루션을 제공합니다.
- 실리콘 밸리의 여러 스타트업들은 보상 모델의 정확성 문제를 해결하기 위한 AI 검증 플랫폼을 도입하여, 새로운 강화 학습 알고리즘을 모니터링하는 시스템을 개발하고 있습니다.
- 다중 턴 지속적 강화 학습은 대화형 AI의 차세대 발전을 이끌고 있으며, 특히 다중 대화 유도 상황에서 시스템의 사용자 의도 이해 및 적응력을 증대시키는 데 중점을 두고 연구가 이루어집니다.
출처 : 원문 보러가기
