[기고] AI 취약계층 정책의 빈칸...'해석을 되돌릴 권한'이 없다

AI 기술이 날로 발전하면서, 우리는 그것이 만들어낸 결과물에 대해 이제는 더욱 깊이 고민해야 할 시점에 이르렀습니다. 특히, 공공 서비스 분야에서 AI가 사람의 감정과 의도를 해석하고 이를 바탕으로 결정을 내리는 과정에서 발생할 수 있는 문제들은 심각한 사회적 논란을 불러일으킬 수 있습니다. 그 중에서도 '해석 취약성'이라는 개념은 우리가 놓치고 있는 중요한 이슈를 부각시킵니다.

해석 취약성이란 무엇인가?

해석 취약성이란 AI가 사람의 감정이나 의도를 잘못 해석하고, 그 결과가 개인의 서비스 경험에 부정적인 영향을 미칠 수 있는 상황을 의미합니다. 예를 들어, 한 시민이 공공 민원에 "오늘은 꼭 해결해 주세요"라는 메시지를 보냈을 때, AI가 이를 '격앙된' 상태로 판단하고 상담 경로를 변경한다면, 이는 그 시민의 의도와는 상반된 결과를 초래할 수 있습니다. 이 과정에서 AI의 해석이 기록으로 남고, 이후에도 해당 시민에게 불리하게 작용할 가능성이 크기 때문에, 이러한 해석이 얼마나 중요한지 알 수 있습니다.

AI의 판단은 단순한 데이터 분석을 넘어 사람의 감정 상태까지 고려하게 되는데, 문제는 이러한 판단이 잘못되었을 때 이를 수정하거나 되돌릴 권한이 당사자에게 없다는 점입니다. 결국, AI의 판단이 고정되고, 그에 따라 서비스가 진행되는 동안 시민이 자신의 의도를 설명하고 수정할 기회를 잃게 되는 것입니다. 이는 AI가 사람을 해석하는 데 있어 불필요한 단정이나 라벨링이 이뤄지는 경우가 많음을 시사합니다.

AI와 인간의 경계

AI에 대한 논의는 종종 기술이 가져올 수 있는 위험에 초점을 맞춥니다. 그러나 AI가 잘못된 판단을 내리거나 해석을 잘못하게 되었을 때, 이를 수정할 수 있는 권한이 없는 시스템은 더욱 큰 문제를 야기할 수 있습니다. 예를 들어, 복지 서비스에서는 '위기', 교육에서는 '저몰입', 고용 지원에서는 '취업 의욕 저하'와 같은 라벨이 붙을 수 있고, 이러한 라벨들은 향후 서비스 제공이나 지원 여부에 직접적인 영향을 미칩니다.

여기서 중요한 것은 AI가 어떤 판단을 내렸는지를 단순히 고지하는 것이 아니라, 그 판단을 실제로 수정할 수 있는 수단과 권한이 필요하다는 점입니다. 즉, 담당자가 AI의 결론을 뒤집을 수 있는 권한을 가져야 하며, 이러한 권한이 없다면 AI의 감독 역할이 실질적으로 무의미해질 수 있습니다.

실제적인 해결 방안

해석 취약성을 줄이기 위해서는 몇 가지 접근 방식이 필요합니다. 첫째, AI가 사람의 감정을 추론하는 것이 정말 필요한지 질문해야 합니다. 불필요한 해석을 피하고, 필요한 정보만을 처리하는 AI가 되어야 합니다. 둘째, 하나의 라벨을 절대적인 사실로 확정하는 것을 피해야 하며, 사용자가 이를 수정할 수 있는 기회를 보장해야 합니다. 셋째, 수정된 정보는 초기 기록뿐만 아니라 후속 조치에도 즉시 반영되어야 합니다. 마지막으로, 인간 재심의 권한이 실질적으로 부여되어야 하며, 담당자는 AI의 판단을 중단하고 당사자의 설명을 직접 들을 수 있어야 합니다.

이러한 방식으로 AI와 인간의 경계를 명확히 하고, 각자의 역할을 다시 정립하는 것이 필요합니다. 앞으로 공공 AI의 신뢰성은 단순히 얼마나 많은 사람에게 서비스를 제공했는지에 그치는 것이 아니라, 얼마나 많은 시민이 기계가 만든 자기 설명을 수정하고, 그 결과가 실제로 반영되었는지를 통해 평가받아야 할 것입니다. AI가 개인을 해석할 수는 있지만, 그 해석이 결정적인 순간에 자신을 정의하는 권한까지 가져서는 안 될 것입니다.

AI 기술이 진화하는 만큼, 우리는 그 기술이 사람들에게 긍정적인 영향을 미칠 수 있도록 지속적으로 목소리를 내고, 시스템을 개선해 나가야 할 것입니다.