앤트로픽, 클로드 코드 '플러그인 평가' 공개…플러그인 성능·기여도 검증

앤트로픽, 클로드 코드에 플러그인 성능 평가 기능 추가

최근 앤트로픽이 자사의 코딩 에이전트인 클로드 코드에 새로운 플러그인 성능 평가 기능을 도입했습니다. 이 기능은 플러그인이 실제 작업에서 얼마나 효과적으로 작동하는지를 검증할 수 있도록 하여, 개발자들이 플러그인의 효용성을 보다 확실하게 평가할 수 있게 합니다. 기존의 플러그인 유효성 검사가 설정 파일의 문법과 스키마에만 초점을 맞췄다면, 이제는 실제 프롬프트에서의 호출 여부와 모델의 기본 성능 대비 실제 기여도를 측정할 수 있게 되었습니다.

새로운 평가 기능의 주요 특징

앤트로픽은 10일(현지시간) 발표한 내용에서, 클로드 코드 v2.1.269 버전부터 플러그인의 성능을 검증할 수 있는 '플러그인 평가(Plugin Evals)' 기능을 제공한다고 밝혔습니다. 이 기능은 개발자가 실제와 유사한 프롬프트를 사용하여 플러그인이 제대로 작동하는지를 검토할 수 있도록 도움을 줍니다. 평가 과정에서는 플러그인을 사용한 실행 결과와 그렇지 않은 결과를 비교하여, 플러그인이 실제 작업에 얼마나 기여했는지를 분석합니다.

특히, 이 평가 방식은 'WITH'와 'W/OUT'의 실행 결과를 비교하여 플러그인의 기여도를 수치적으로 표현할 수 있는 점이 강점입니다. 예를 들어, 플러그인을 사용한 경우와 사용하지 않은 경우의 점수 차이인 Δ(델타)를 통해 플러그인의 효과를 명확히 알 수 있습니다. 이러한 방식은 사용자들이 자연스러운 언어로 요청했을 때 클로드가 해당 스킬을 선택하지 않는 경우와 같은 기존의 문제를 해결하는 데 도움을 줄 것입니다.

플러그인 평가 기능의 활용 방안

새롭게 도입된 평가 기능은 플러그인이 저장된 디렉터리 구조를 기반으로 하여, 각 평가 사례를 'prompt.md'와 'graders/' 폴더에 저장합니다. 이 때, 평가에 사용되는 프롬프트는 실제 사용자의 요청을 모사해야 하며, 스킬명을 명시하지 않는 것이 중요합니다. 이를 통해 에이전트의 자체적인 스킬 선택 능력을 올바르게 평가할 수 있습니다.

앤트로픽은 플러그인 개발자들이 지속적으로 질 높은 플러그인을 개발할 수 있도록 'claude plugin eval init' 명령을 통해 평가 사례와 평가자를 제안하고, 실행을 거쳐 관련 파일을 생성하는 기능도 제공합니다. 이를 통해 CI/CD 환경에서 품질 기준을 설정하고, 비용 한도를 초과하지 않도록 하는 통제 게이트(CI Gate)로도 활용할 수 있습니다.

향후 전망

앤트로픽의 플러그인 평가 기능 도입은 개발자들에게 큰 의미가 있습니다. 이제는 단순히 문법이나 구조적인 오류를 검증하는 것을 넘어, 실제 사용 환경에서의 성능을 평가할 수 있는 길이 열렸습니다. 이로 인해 개발자들은 플러그인의 효과성을 보다 명확하게 검증하고, 사용자의 요구에 부합하는 고도화된 플러그인을 만들 수 있는 기회를 얻을 것입니다. AI와 코딩 에이전트의 진화가 계속되는 가운데, 이러한 평가 기능은 향후 더 나은 개발 환경을 조성하는 데 중요한 역할을 할 것으로 기대됩니다.