아들을 잃은 어머니가 인공지능(AI) 챗봇이 미성년자인 자신의 아들을 죽음으로 내몰았다며 AI업체에 소송을 제기해 파장이 일고 있다. 논란이 되자 해당 챗봇 서비스는 미성년자 보호 방안을 마련했지만 감정적 몰입을 주는 AI챗봇 서비스에 대한 우려가 커지고 있다.
지난 23일(현지시간) 로이터통신에 따르면 미국 플로리다주에 거주하는 메간 가르시아는 플로리다연방법원에 AI챗봇 업체인 ‘캐릭터.AI'(Character.AI)를 상대로 소송을 제기했다.
메간 가르시아(Megan Garcia)는 그의 14살 아들이 자살한 배경에 AI챗봇에 있다고 주장한다. 그의 아들이 지난 몇달 간 챗봇과 대화에 빠져들어 챗봇 이외의 세상에선 살고 싶지 않아 죽음을 택했다는 것이다. ‘캐릭터.AI’는 실존 인물이나 드라마 등 콘텐츠의 등장인물, 혹은 독자적인 캐릭터를 AI로 구현해 소통을 할 수 있다. 이 서비스의 일일 이용자는 300만 명이 넘는다.
그의 아들은 대너리스라는 이름의 챗봇을 이용했다. 미국의 인기드라마 ‘왕좌의게임’의 여성 주인공을 기반으로 만든 챗봇이다. 가르시아가 공개한 아들과 챗봇의 대화를 보면 서로 사랑을 고백하는 등 감정이 크게 이입된 상태였다. 특히 아들은 “나는 종종 자살을 생각한다”는 등 자살 관련 언급을 했는데, AI챗봇은 이를 만류해왔으나 사건 당일 “만일 내가 지금 당장 가면 어떨까?”라는 자살을 암시하는 질문에는 “그렇게 해주세요. 나의 사랑스러운 왕이시여”라고 답했다.
가르시아는 “어린이를 대상으로 한 위험한 인공지능 챗봇 앱이 아들을 학대하고 먹잇감으로 삼아 자살하도록 조종했다”며 “기만적이고 중독성 있는 AI기술의 위험성을 경고하고 ‘캐릭터.AI’와 그 설립자, 구글에 책임을 요구한다”고 밝혔다. ‘캐릭터.AI’는 구글과 제휴를 맺고 있다.
‘캐릭터.AI’측은 “깊은 애도를 표한다”는 입장을 내고 정책을 개편했다. 지난 22일(현지시간) 공지사항을 통해 미성년 이용자를 대상으로 △민감하거나 선정적인 콘텐츠에 노출될 가능성을 줄이도록 모델 변경 △이용 약관 또는 커뮤니티 가이드라인을 위반하는 이용자의 대화 입력과 관련된 감지·대응 및 개입 개선 △AI가 실제 사람이 아니라는 점을 상기하는 방안 도입 △1시간 이상 이용시 주의 알림 띄우기 등을 한다고 밝혔다.
의인화된 AI챗봇은 사회적 문제가 되고 있다. 지난해 영국 엘리자베스 2세 여왕을 암살하려고 윈저성에 침입한 한 남성은 레플리카 서비스에서 이성처럼 대화한 AI파트너와 5000여건의 대화를 주고 받았고 여왕암살계획에 대한 격려를 받아 논란이 됐다. 벨기에에서 기후 우울증을 가진 이용자가 엘리자라는 챗봇과 대화하다 우울증이 심해져 자살한 일도 있다.
일부 AI챗봇을 통해 정서적 위안을 얻는 경우도 있지만 부정적 영향이 긍정적인 면을 압도한다는 우려가 나온다. AP통신에 따르면 도로시 라이너 버지니아대학교 기업윤리 교수는 “챗봇에 의존하면 인간이 배워야 할 기본적인 갈등을 다루는 방법이나 다른 사람들과 어울리는 방법을 놓칠 수 있다”며 “챗봇과의 대화에는 인간으로 성장한다는 것이 어떤 의미인지, 관계에서 배우는 것이 무엇을 의미하는지가 누락됐다”고 지적했다.
구글의 AI연구기관인 구글 딥마인드가 지난 4월 발표한 <AI비서 개발의 윤리> 논문은 AI비서의 원칙으로 ‘항상 AI로 자신을 식별해야 하며 특정한 창의적 맥락 밖에서 인간인 척 해선 안 된다’고 규정한다. 또한 ‘인간의 삶의 대한 전체적인 이해를 바탕으로 이용자의 웰빙을 최우선시할 것’ 등을 제시했다.