오픈AI, 생명과학 AI 벤치마크 '라이프사이벤치' 공개..."실제 연구 역량 측정"

오픈AI가 생명과학 분야에서 AI의 실제 연구 역량을 평가할 수 있는 새로운 벤치마크 '라이프사이벤치(LifeSciBench)'를 공개했다. 이는 AI 기술이 생명과학의 실제 연구 현장에서도 얼마나 유용한지를 측정하기 위한 체계적인 평가 도구로, 오픈AI의 생명과학 특화 모델 'GPT-로절린드(GPT-Rosalind)'와 함께 발표됐다. 이 벤치마크는 단순한 암기나 정답 중심의 기존 평가 방식의 한계를 극복하고, 과학자들이 연구에서 마주하는 복잡하고 불완전한 문제를 다룰 수 있도록 설계되었다.

라이프사이벤치의 설계 배경

오픈AI는 라이프사이벤치를 개발하기 위해 생명과학 및 바이오테크 분야에서 경험을 쌓은 박사급 연구자들의 의견을 반영하였다. 총 173명의 전문가가 참여하여 총 750개의 과제를 만들었으며, 이 과정에서 최소 두 차례 이상의 전문가 검토와 평균 여섯 차례의 자동 검토를 거쳤다. 최종적으로 453명의 검증 그룹이 품질 평가에 참여했으며, 이 중 97%가 박사 학위를 보유한 전문가들로 구성되어 있었다. 이러한 철저한 검증 과정 덕분에, 라이프사이벤치는 연구 현장에서의 실용성, 과학적 추론 및 근거 기반성 등을 체계적으로 평가할 수 있는 도구로 자리매김할 수 있었다.

각 과제는 연구자가 동료 연구원에게 실제로 업무를 의뢰하는 형식으로 구성되어 있으며, 객관식 문제 대신 자유 응답형으로 설계되었다. 이러한 방식은 연구자가 스스로의 사고 과정과 의사결정 과정을 명확하게 드러낼 수 있게 해준다. 특히 전체 과제의 79%는 평균 4단계 이상의 추론 및 의사결정 과정을 요구하며, 53%의 과제는 다양한 형태의 첨부 자료를 분석해야 한다. 이는 AI 모델이 실제 연구에서 요구되는 복잡한 작업을 성공적으로 수행할 수 있는지를 평가하는 데 중점을 두고 있다.

GPT-로절린드의 성능 평가

오픈AI는 라이프사이벤치를 통해 자신의 AI 모델인 GPT-로절린드를 포함한 총 5개의 AI 모델을 평가하였다. 그 결과, GPT-로절린드가 가장 높은 성능을 보여 주목받았다. 평가된 750개 과제 중 386개에서 최고 평균 점수를 기록하였고, 전체 과제 통과율은 36.1%로, 이전 모델인 GPT-5.5의 25.7%를 크게 초과했다. 특히 과학적 커뮤니케이션 분야에서 GPT-로절린드는 71.1%의 통과율을 기록하며, GPT-5.5의 56.3%를 상회하는 성과를 보였다.

그러나 여전히 AI 모델이 해결해야 할 과제가 남아 있다. 예를 들어, 실험 설계 및 최적화, 그리고 예측 업무는 어려운 난제로 지목되었으며, 자료 해석이 필요한 과제에서는 성능 저하가 두드러지기도 했다. 이러한 결과는 AI가 생명과학 연구에서 요구되는 정밀한 설계와 계산 능력을 아직 충분히 갖추지 못했음을 나타낸다.

미래를 위한 도전 과제

오픈AI는 라이프사이벤치가 AI의 실제 연구 지원 능력을 평가하는 데 중요한 진전을 이뤘다고 평가하면서도, 실제 연구 현장의 복잡성을 완전히 반영하지 못했음을 인정했다. 연구는 새로운 증거를 수집하고 가설을 수정하는 등 반복적인 과정이기 때문에, AI 모델이 이러한 모든 과정을 완벽하게 수행하기까지는 시간이 필요할 것으로 보인다.

결론적으로, 오픈AI의 라이프사이벤치는 AI 기술이 생명과학 분야에서 연구자들에게 얼마나 유용할 수 있는지를 평가하는 중요한 도구로 자리잡을 가능성을 보여주고 있다. 앞으로 이러한 벤치마크를 통해 AI가 더욱 발전하고, 실제 연구 현장에서의 활용도를 높일 수 있는 계기가 마련되기를 기대한다.