AI에 대한 이야기 그 세번째 : AI는 언제 실수를 하는가?

지금의 AI는 완전히 무해하다고 말할 수는 없다. 그러나 AI에 관해 조금만 알면 이런 문제들 가운데 일부는 우리가 예측할 수 있다.

 오늘날 실제로 AI 재난이 어떤 식으로 펼쳐질 수 있는지 예를 한번 들어보자. 

 실리콘 밸리의 어느 신생 기업이, 입사 지원자를 선별해 여러 기업의 시간을 절약해주는 서비스를 제공하고 있다고 치자. 이 회사는 짧은 영상 인터뷰를 분석해 최고의 성과를 낼 만한 지원자를 식별한다. 이런 서비스는 매력적일 것이다. 

 딱 맞는 한 사람을 찾기 위해 수십명의 지원자를 인터뷰하느라 기업들은 늘 시간과 자원을 소모하기 때문이다.

 소프트웨어는 지치지도 않고, 배가 고파서 짜증을 내지도 않고, 개인적인 원한도 품지 않는다. 하지만 이 신생 기업의 서비스가 실제로는 대참사가 된다면, 이를 알아차릴 수 있는 경고 신호가 있을까? 

  Warning 1 : 문제가 너무 어렵다.

 좋은 사람을 채용하기는 정말로 어렵다.인간인 우리조차 훌륭한 지원자를 알아보기는 쉽지 않다. 이 지원자가 정말로 간절히 여기서 일하고 싶어 하는 것인가, 아니면 그냥 연기를 잘하는 것인가? 

 우리는 장애 여부나 문화적 차이를 고려했는가? 

 이 때 AI를 함께 고려하면 문제는 더욱 어려워진다. AI가 미묘한 농담의 뉘앙스나 어조, 문화적 요소를 이해한다는 것을 불가능에 가깝다. 

 또한 지원자가 지금 일어나고 있는 사건에 관해 언급한다면 어떻게 될까? AI가 작년에 수집된 데이터로 훈련을 했다면 지원자의 말을 절대로 이해하지 못할 테고, 지원자가 얼토당토 하지 않은 소리를 했다고 불이익을 줄 가능성마저 있다! 

 세상에~! 이런 꼰대가 어디에 있단 말인가! 오호~ 통제라!

 그러나 한편으로는, 이런 문제는 이해할 만 하다. 이 일을 잘 해내려면 AI는 어마어마하게 다양한 능력을 보유하고 계속해서 다량의 정보를 업데이트해야 한다. AI가 일을 제대로 해내지 못하면 우리는 어떤 식으로든 실패할 수 밖에 없다. 

 

 !! 인간이 학습하기 어려운 문제는 AI에게도 또한 학습하기 어렵다! 더욱더 어려운 점은 해당 AI는 인간이 만들어 내는 오차마저도 그대로 따라하고, 인간은 그로 인한 문제점을 식별할 수 있는 능력이 없을 수도 있다는 점이다!!

 

warning 2 : 문제가 우리 생각과 다르다.  

지원자를 선별하는 AI를 설계할 때 문제는, 실제로 우리가 AI에게 요구하는 것이 '최고의 지원자를 찾아달라' 는 게 아니라는 점이다. AI가 학습하게 되고, 실제로 우리가 요구하게 되는 내용은 '인간인 채용 담당 매니저가 과거에 좋아했던 사람들과 가장 닮은 지원자를 찾아달라' 는 것이다. 

 만약 해당 매니저가 과거에 훌륭한 의사결정을 내렸다면 문제가 없을 수도 있다. 그러나 대부분의 미국 기업들은 '다양성 문제(인종, 성별, 연령, 종교, 성적 취향 등이 다양한 사람들이 서로 모여 있을 때 창의성이나 생산성이 높아진다는 연구 결과가 많은에도, 실제 기업이 채용을 하거나 팀을 구성할 때는 이런 기준을 따르지 않는다는 문제)를 겪고 있다.

 솔직히 대한민국 사회를 생각해보면 대기업 인사담당자가 학연, 지연 그리고 일부는 혈연에 있어서까지 많은 편파적 결정을 내리고 있음을 모두가 알고 있다.

솔직히 말하면 대기업 인사담당자가 될 정도면 기본적으로 본인도 경기도 또는 서울에 SKY나 인서울 대학교 출신일 것이며, 그 혈연 중에서도 좋은 경제적 바탕 속에서 훌륭한 교육적 성과를 내 왔을 가능성이 높을 것이다. 어쩌면 그런 '편파적인 결정이 틀린 것이다!' 라는 명제가 과연 옳을 것인지에 대해서도 고민해 봐야 할 것이다.

  특히나 채용 매니저가 이력서를 평가하거나 지원자를 면접할 때는 이런 문제가 더 심각하다. 다른 모든 조건이 같다고 했을 때, 이력서에 적힌 이름이 백인 남자일 것처럼 들린다면, 여성이나 소수 집단에 속할 것처럼 들리는 사람보다 면접 기회를 얻을 가능성이 더 높다. 여기서 더욱 더 재미있는 것은 매니저 본인이 여성이거나 소수집단에 속할 때조차도 무의식적으로 백인 남자 지원자를 선호하는 경향이 있다는 것이다. 왜냐하면 무난한 것이 가장 저항이 적으며, 어떻게든 기업의 업무가 돌아가는 것처럼 보이기 때문이다!!

 형편없는 AI 프로그램이나 명백히 해로운 AI 프로그램 가운데 다수가 설계자의 착각을 반영한다. 설계자 자신은 문제를 해결하는 AI를 설계하고 있다고 생각했으나, 실제로는 자신도 모르게 AI에게 전혀 다른 것, 즉 편견을 훈련시키는 것이다.

 

Warning 3 : 손쉬운 편법이 있다! (내가 그건 몰랐네! ^-^+)

피부안 감지 AI라고 만들었지만 실제로는 눈금자 감지기였던 AI를 떠올려 보자. 건강한 세포와 암세포 사이의 미묘한 차이를 잡아내는 것은 어렵다. 그래서 AI는 사진에 있는 눈금자를 찾는 게 훨씬 더 쉽다는 사실을 찾아낸 것이다. 

 취업 지원자를 검토하는 AI에게 편향된 데이터(편향성을 지우려고 많은노력을 기울인게 아니라면 반드시! 편향되어 있다.)를 학습 자료로 준다면 '최고의' 지원자를 예측하는 손쉬운 편법도 알려주는 셈이다. '백인 남자를 선호하라' 고 말이다. 지원자의 단어 선택의 뉘앙스나 최신 지식을 보유하고 있는지 여부보다 훨씬 쉽지 않겠는가?

 아니면 AI가 또 다른 유감스러운 편법을 찾아내 사용할지도 모른다.

 

  !! AI는 언제나 손쉬운 편법을 사용한다. AI에게는 그것이 훌륭한 방법이기 때문이다!!

 

Warning 4 :  AI가 학습하려고 한 데이터에 문제가 있다. (쓰레기를 넣으면 쓰레기가 나온다.)

컴퓨터 과학계의 오래된 격언이 있다. '쓰레기를 넣으면, 쓰레기가 나온다'. 만약 AI의 목표가 의사 결정에 흠이 있는 인간을 흉내내는 것이라면, 그 흠결까지 포함해 인간의 의사 결정을 그대로 따라 하는 것이 완벽한 성공일 것이다.

 흠결이 학습 사례에 있든, 시뮬레이션의 괴상한 물리 모형에 있든, 흠이 있는 데이터는 AI를 순환 노리에 빠뜨리거나 AI를 엉뚱한 방향으로 흘러가게 만들 것이다. 많은 경우 우리가 주는 사례 데이터가 AI에게는 풀어야 할 문제가 되기 때문에 형편없는 데이터가 형편 없는 해답을 내놓는 것은 하나도 이상할 게 없다. 

 실제로 warning 1에서 3까지는 데이터에 문제가 있다는 증거인 셈이다. 

 

 안타깝게도 AI가 취업 지원자를 검토하는 것은 단순한 가정 상황이 아니다. 이미 여러 기업이 AI를 이용한 이력서 검토기 또는 영상 검토기 서비스를 제공하고 있다. 그 중에서 펀향을 조정하거나 장애나 문화적 차이를 조정하기 위해, 자신들이 어떤 작업을 했는지 정보를 제공하는 기업은 거의 없다. 주의 깊게 접근한다면 적어도 인간인 채용 매니저보다 덜 편향된 지원자 검토 AI를 만드는 것이 가능할 것이다. 하지만 그것을 증명할 수 있는 통계가 공개되지 않는 이상 반드시 편향이 존재한다고 해도 좋을 것이다.

 

 이 다음 장에서부터는 과제의 성격이 AI가 해결하기에 적합한지 아닌지에 대한 내용에 대하여 설명할 것이다. AI 가 실제로 찾아낸 해결책이 인간이 찾아낸 해결책보다 더 효율적이고 실제로 그런 경우도 많다. 그런 과제에는 어떤 것이 있고, 왜 AI가 그런 과제를 잘 해내는지 네번째 이야기에서 언급할 것이다!