"원하는 AI 벤치마크 직접 만든다"…아티피셜 애널리시스, '옵티마' 출시

최근 인공지능(AI) 분야에서의 성능 평가를 한층 더 간편하고 직관적으로 만들어줄 플랫폼이 등장했다. AI 모델 평가 전문 기업인 아티피셜 애널리시스가 출시한 '옵티마(Optima)'는 기업들이 자신의 업무 환경에 맞는 맞춤형 AI 벤치마크를 손쉽게 만들 수 있도록 돕는 혁신적인 도구다.

맞춤형 AI 벤치마크의 필요성

AI 기술이 발전함에 따라, 기업들은 특정 업무에 적합한 모델을 선택하는 데 어려움을 겪고 있다. 기존의 벤치마크 시스템은 대개 고정된 기준으로 평가되기 때문에, 사용자의 실제 업무 환경이나 요구 사항을 반영하기 어렵다는 한계가 있었다. 옵티마는 이런 문제를 해결하기 위해 개발되었으며, 사용자가 자신의 데이터와 업무에 맞는 평가 기준을 설정하고, 다양한 AI 모델의 성능을 직접 비교할 수 있도록 설계되었다.

사용자는 간단한 인터페이스를 통해 자신의 데이터를 업로드하거나 허깅페이스와 같은 외부 소스에서 데이터를 가져올 수 있다. 이렇게 만들어진 테스트셋을 바탕으로 여러 AI 모델을 동일한 조건에서 실행해 성능, 비용, 처리 시간을 동시에 평가할 수 있다. 이를 통해 사용자는 자신에게 가장 적합한 모델을 찾거나 기존 모델의 성능을 유지하면서 비용을 절감할 수 있는 대안을 찾을 수 있다.

직관적인 벤치마크 생성 방법

옵티마의 가장 큰 장점은 사용자 친화적인 벤치마크 생성 방식이다. 사용자는 복잡한 코딩을 할 필요 없이 자연어로 자신의 요구 사항을 설명하면, 옵티마가 이를 바탕으로 자동으로 벤치마크를 구성해준다. 예를 들어, 사용자가 특정 업무에 필요한 입력과 출력 사례를 제공하면, 옵티마는 이를 분석하여 최적의 벤치마크를 생성해준다. 이러한 접근 방식은 전통적인 평가 방식에 비해 시간과 노력을 아낄 수 있게 해주며, 비전문가도 쉽게 사용할 수 있도록 돕는다.

또한, 옵티마는 사용자의 선호도를 학습하여 모델 순위를 자동으로 조정할 수 있는 기능도 갖추고 있다. 이는 사용자가 직접 응답을 선택하는 방식으로 이루어져, 보다 객관적인 평가를 가능하게 한다.

현실적인 비용과 처리 속도 비교

옵티마는 단순히 AI 모델의 성능만을 평가하는 데 그치지 않는다. 각 모델의 작업당 비용(Cost per Task)과 처리 시간(Time per Task)도 함께 측정하여, 성능과 비용, 속도 간의 균형을 비교할 수 있는 기회를 제공한다. 예를 들어, 사용자는 특정 업무에서 성능은 유지하면서도 비용을 대폭 줄일 수 있는 모델을 손쉽게 찾을 수 있다.

베타 테스트에서 옵티마는 금융 및 회계, 법률 에이전트 등 다양한 분야에서 실제로 활용되었으며, 특히 비용을 10분의 1로 줄이면서도 품질을 유지할 수 있는 모델을 찾는 데 큰 도움을 주었다. 이처럼 옵티마는 다양한 산업에서의 AI 모델 평가에 실질적인 변화를 가져올 것으로 기대된다.

결론적으로, 아티피셜 애널리시스의 옵티마는 기업들이 AI 모델을 보다 효과적으로 평가하고 선택할 수 있는 방향성을 제시한다. 앞으로 AI 기술의 발전과 함께, 옵티마와 같은 맞춤형 벤치마크 도구가 더욱 중요해질 것이며, 다양한 산업에서의 AI 활용 가능성을 한층 넓히는 계기가 될 것이다.