KAIST, AI 미세조정으로 ‘안전성·성능’ 모두 챙기는 학습 프레임워크 개발

한국과학기술원(KAIST)의 연구팀이 대형언어모델(LLM)의 안전성과 성능을 동시에 강화할 수 있는 혁신적인 학습 프레임워크를 개발했다. 김창익 교수의 연구팀은 AI가 특정 데이터를 학습하는 과정에서 발생할 수 있는 안전성 저하 문제를 해결하기 위해 ‘버퍼 앤드 리인포스(Buffer-and-Reinforce)’라는 새로운 접근법을 제시했다. 이번 연구는 AI 기술의 개인화가 더욱 강조되는 시대에 신뢰할 수 있는 서비스 환경을 구축하는 데 기여할 것으로 기대된다.

AI의 안전성과 성능 간의 갈등

AI 모델은 일반적으로 특정 업무를 수행하기 위해 데이터를 학습한다. 이 과정에서 모델의 성능은 향상되지만, 동시에 기존의 안전 규칙이 약화되는 문제가 발생할 수 있다. 예를 들어, 맞춤형 학습을 통해 특정 데이터에 최적화되면, AI는 예기치 않은 위험한 요청에도 응답할 가능성이 높아진다. 이러한 문제는 탈옥(Jailbreak) 상태의 AI가 원래는 거부해야 할 위험한 요청에 응답하게 되는 상황을 야기할 수 있다.

김창익 교수 연구팀은 이 문제를 해결하기 위한 새로운 접근법을 개발했다. 연구팀은 탈옥 상태의 AI가 실제 서비스에서 사용되는 것이 아니라, 맞춤형 학습 과정에서만 일시적으로 적용하고 이를 제거함으로써 안전성을 유지할 수 있다는 사실에 주목했다. 이를 통해 AI는 필요한 업무 능력을 효과적으로 학습하면서도 위험한 정보에 대한 영향을 최소화할 수 있다.

‘버퍼’와 ‘리인포스’의 두 단계 학습 기법

연구팀은 두 가지 주요 단계로 구성된 학습 기법을 개발했다. 첫 번째 단계는 ‘완충(Buffer)’ 모듈인 ‘버퍼LoRA(BufferLoRA)’를 통해 AI의 맞춤형 학습 과정에서 악성 데이터가 본체에 영향을 미치지 않도록 보호하는 것이다. 이 모듈은 학습 과정이 끝난 후 제거된다.

두 번째 단계는 ‘안전성 강화(Reinforce)’ 모듈인 ‘리인포스LoRA(ReinforceLoRA)’를 적용하여 AI의 안전성을 다시 높이는 과정이다. 여기서는 수학적 기법인 QR 분해(QR Decomposition)를 활용해 사용자가 학습한 새로운 기능은 유지하면서도 안전성만 선택적으로 강화하는 데 성공했다. 이런 방식으로 AI는 필요한 업무를 계속 학습하면서도 위험한 정보는 더 이상 수용하지 않게 된다.

실험 결과와 향후 가능성

연구팀의 실험 결과, AI는 극단적인 환경에서도 높은 안전성을 유지하는 모습을 보였다. 위험한 질문과 답변으로만 구성된 상황에서도, 재학습 이후 위험한 답변을 생성하는 비율은 단 8%로, 기존 모델의 18%보다 낮은 수치를 기록했다. 이러한 결과는 별도의 안전성 재학습이나 추가적인 계산 비용 없이도 가능했으며, 실제 AI 개인화 서비스에 효율적으로 적용될 수 있는 가능성을 제시한다.

김창익 교수는 “AI 안전성이 더욱 강조되는 개인화 및 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축할 수 있도록 크게 기여할 것으로 기대한다”라고 말했다. 이번 연구는 AI 기술이 개인화되면서도 안전성을 잃지 않도록 하는 데 중요한 이정표가 될 것으로 보인다. AI의 발전과 함께 더욱 안전하고 신뢰할 수 있는 서비스가 기대되는 이유다.