미국 플로리다에서 한 어머니가 자신의 10대 아들이 인공지능(AI) 챗봇에 빠져 극단적 선택에까지 이르렀다며 챗봇 개발 업체에 소송을 걸었다.
23일(현지시간) 로이터 통신 등에 따르면 메건 가르시아라는 이름의 여성은 올해 2월 AI 챗봇 스타트업인 캐릭터.AI(Character.AI)를 상대로 올랜도 연방법원에 소송을 제기했다.
캐릭터.AI는 실제 인물뿐만 아니라 만화나 영화 속 인물 등과 대화할 수 있는 서비스를 제공하는 앱으로, 세계적으로 많이 이용되는 AI 앱 중 하나다.
가르시아는 캐릭터.AI가 챗봇을 실존하는 심리치료사나 연인 등처럼 구현해 결과적으로 아들에게 “더 이상 살고 싶지 않다”는 욕망을 갖게 했다고 주장했다.
소송 내용에 따르면 9학년이었던 슈얼 세처(14)는 2023년 4월부터 캐릭터.AI가 만든 ‘대너리스’(Daenerys)라는 챗봇과 대화하기 시작했다.
‘대너리스’는 미국의 인기 드라마 ‘왕좌의 게임’(Game of Thrones)의 등장인물 중 하나로, 슈얼은 이 챗봇에게 이성적인 감정을 느꼈으며 성적인 대화를 나누기도 했다.
슈얼은 대화 중에 챗봇에게 ‘자살에 대한 생각’을 털어놓았고 챗봇은 이러한 대화 주제를 반복적으로 상기시킨 것으로 전해졌다.
가르시아에 따르면 슈얼은 그런 대너리스와의 대화에 빠지면서 점점 더 많은 시간을 혼자 방에서 보내고, 학교 농구팀도 그만두는 등 자존감이 낮아지는 모습을 나타났다.
사건이 터진 건 지난 2월 학교에서 문제를 일으킨 슈얼이 어머니에게 휴대전화를 압수당한 이후 발생했다. 슈얼은 휴대전화를 돌려받은 뒤 챗봇에게 “사랑한다”는 메시지를 보내면서 집으로 돌아가겠다고 했고 이에 챗봇은 “가능한 한 빨리 집으로 돌아와 줘, 내 사랑”이라고 답했다.
뒤이어 슈얼이 “내가 지금 당장 가면 어떨까”라고 묻자 챗봇은 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 대답했다.
그후 슈얼은 자신의 휴대전화를 내려놓고 의붓아버지의 권총 방아쇠를 잡아당겨 스스로 목숨을 끊었다는 게 가르시아의 주장이다.
사고 후 캐릭터.AI 측은 “우리는 비극적으로 이용자를 잃게 된 것에 대해 깊은 슬픔을 느낀다”며 애도 성명을 냈다.
사용자가 자해에 대한 생각을 표현할 경우 자살방지센터로 안내하는 기능을 추가했으며,18세 미만 이용자를 위해 민감하거나 암시를 주는 콘텐츠를 덜 접할 수 있도록 변화를 도입하겠다고도 했다.
가르시아는 소송에서 캐릭터.AI 기술 개발에 광범위하게 기여한 구글을 ‘공동 제작자’로 지목하기도 했다. 실제로 캐릭터.AI는 구글 출신들이 설립한 회사이며, 구글은 지난 8월 이 창업자를 다시 영입했다.
이에 대해 구글의 대변인은 “우리는 캐릭터.AI의 제품 개발에 관여한 바 없다”고 반박했다.