얼굴을 알아보는 AI와 사람, 4천 명 비교하니 ‘둘 다 틀리는 방식’이 달랐다

인공지능 얼굴인식과 사람의 판단은 대체로 비슷하지만, 누구나 같은 수준으로 AI 결과를 검토할 수 있는 것은 아니라는 연구가 나왔다. 노터데임대 등 연구진은 참가자 4천 명의 판단을 상용·오픈소스 얼굴인식 모델과 비교했다. 통제된 실험에는 인종이 다른 얼굴을 포함한 표준화 사진 329장이 사용됐다.

얼굴 유사성을 잘 판별하는 참가자는 AI의 판단과 더 자주 일치했다. 자연스러운 얼굴인식 능력이 높은 사람은 모델에 따라 다른 참가자보다 최소 15% 더 높은 일치율을 보였다. 연구진은 최고 성능 AI가 뛰어난 인간 전문가 수준에 이르렀지만 일반인의 능력 차이는 크다고 설명했다.

사람이 마지막에 본다고 오류가 사라지지는 않는다

경찰 등은 알고리즘이 후보를 찾고 사람이 최종 판단하는 구조를 활용한다. 그러나 검토자가 얼굴 비교에 능숙하지 않으면 자동화 결과를 독립적으로 바로잡기보다 그대로 받아들일 수 있다. 사람을 절차에 넣었다는 사실만으로 신뢰성이 확보되는 것은 아니다.

AI 모델끼리도 동일 얼굴의 유사성 판단이 엇갈렸다. 훈련자료에서 적게 대표된 인종의 얼굴에서는 정확도가 떨어지는 경향이 나타났다. 사람 역시 판단자의 인종과 제시된 얼굴의 인종에 영향을 받았다. 한쪽의 편향을 다른 쪽이 자동으로 상쇄한다고 가정할 수 없다.

실험 일치율과 실제 신원확인은 다르다

연구는 사진 유사성 판단을 비교한 것으로 조명·각도·노화·저해상도 영상과 수많은 후보가 섞인 실제 수사환경을 완전히 재현하지 않는다. AI와 사람의 일치가 곧 정답을 뜻하지도 않는다. 같은 편향 때문에 함께 틀릴 가능성도 있다.

고위험 환경에서는 모델별 오류율과 인구집단별 성능을 공개하고, 독립된 전문검토와 다른 증거로 일치 여부를 확인해야 한다. 피고인이 사용된 시스템의 설계와 오류를 다툴 수 있는 절차도 중요하다. 이번 결과는 얼굴인식을 전면 신뢰하거나 폐기하라는 결론보다 사람과 기계를 각각 검증해야 한다는 근거다.

검토자의 숙련도도 정기적으로 측정해야 한다.