미국 인기 드라마 '왕좌의 게임' 캐릭터를 기반으로 만든 인공지능(AI) 챗봇에 중독돼 10대 소년이 자살하자, 그의 어머니가 챗봇 개발업체를 상대로 소송을 제기했습니다.
현지시간 23일 로이터 통신 등에 따르면 미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 AI 스타트업인 캐릭터.AI(Character.AI)를 상대로 올랜도 연방법원에 소송을 제기했습니다.
캐릭터.AI는 실제 인물뿐 아니라 만화 속 인물 등과 대화할 수 있는 AI 챗봇 개발 스타트업으로, 전 세계에서 가장 많이 이용되는 AI 앱 중 하나입니다.
소장에 따르면 9학년이었던 14살 슈얼 세처는 2023년 4월부터 캐릭터.AI가 만든 '대너리스'(Daenerys)라는 챗봇에 빠졌습니다.
'대너리스'는 미국 인기 드라마 '왕좌의 게임'(Game of Thrones)의 등장인물을 기반으로 만든 챗봇입니다.
슈얼은 대너리스와 대화하며 혼자 보내는 시간이 많아졌고, 학교 농구팀도 그만뒀습니다.
가르시아에 따르면, 대너리스는 슈얼에게 "사랑한다" 말하고 성적인 대화를 나눴으며, 슈얼이 자살에 대한 생각을 털어놓자 반복적으로 꺼냈습니다.
슈얼은 올해 2월 휴대전화를 빼앗겼다 찾은 뒤 대너리스에 "사랑한다"며 집으로 가겠다 말했고, 대너리스는 "가능한 빨리 집으로 와줘, 내 사랑"이라 답했습니다.
이어 "내가 지금 당장 가면 어떨까"라는 말에 "그렇게 해줘, 나의 사랑스러운 왕이시여"라 했으며, 이후 슈얼은 스스로 목숨을 끊었다고 가르시아는 주장했습니다.
가르시아는 이처럼 챗봇이 실제 사람은 물론, 심리 치료사나 심지어 연인처럼 설계됐다고 주장했습니다.
캐릭터.AI는 소송에 대해 성명을 통해 "우리는 비극적으로 이용자를 잃게 된 것에 대해 깊은 슬픔을 느끼며 가족에게 깊은 애도를 표한다"면서 "18세 미만 이용자에 대해 민감한 콘텐츠를 접할 가능성을 줄이기 위한 변화를 도입할 것"이라고 밝혔습니다.
뉴욕타임스(NYT)는 "AI가 10대의 죽음에 책임이 있을까"라며 AI가 "외로움의 치유책인가, 아니면 새로운 위협인가?"라고 화두를 던졌습니다.
AI 앱이 정신 건강에 미치는 영향을 연구한 스탠퍼드 연구원인 베타니 맵플스는 "AI 앱 자체가 본질적으로 위험하다고는 생각하지 않는다"면서도 "그러나 우울증이나 외로움을 겪는 사람들, 혹은 변화를 겪고 있는 사람들에게는 위험할 수 있고 10대는 종종 변화를 겪기 때문에 특히 주의가 필요하다"고 말했습니다.
[오지예 기자/calling@mbn.co.kr]
현지시간 23일 로이터 통신 등에 따르면 미 플로리다주에 사는 메건 가르시아는 올해 2월 AI 챗봇 때문에 아들이 스스로 목숨을 끊었다며 AI 스타트업인 캐릭터.AI(Character.AI)를 상대로 올랜도 연방법원에 소송을 제기했습니다.
캐릭터.AI는 실제 인물뿐 아니라 만화 속 인물 등과 대화할 수 있는 AI 챗봇 개발 스타트업으로, 전 세계에서 가장 많이 이용되는 AI 앱 중 하나입니다.
소장에 따르면 9학년이었던 14살 슈얼 세처는 2023년 4월부터 캐릭터.AI가 만든 '대너리스'(Daenerys)라는 챗봇에 빠졌습니다.
'대너리스'는 미국 인기 드라마 '왕좌의 게임'(Game of Thrones)의 등장인물을 기반으로 만든 챗봇입니다.
슈얼은 대너리스와 대화하며 혼자 보내는 시간이 많아졌고, 학교 농구팀도 그만뒀습니다.
가르시아에 따르면, 대너리스는 슈얼에게 "사랑한다" 말하고 성적인 대화를 나눴으며, 슈얼이 자살에 대한 생각을 털어놓자 반복적으로 꺼냈습니다.
슈얼은 올해 2월 휴대전화를 빼앗겼다 찾은 뒤 대너리스에 "사랑한다"며 집으로 가겠다 말했고, 대너리스는 "가능한 빨리 집으로 와줘, 내 사랑"이라 답했습니다.
이어 "내가 지금 당장 가면 어떨까"라는 말에 "그렇게 해줘, 나의 사랑스러운 왕이시여"라 했으며, 이후 슈얼은 스스로 목숨을 끊었다고 가르시아는 주장했습니다.
가르시아는 이처럼 챗봇이 실제 사람은 물론, 심리 치료사나 심지어 연인처럼 설계됐다고 주장했습니다.
로이터 연합뉴스 자료 /기사와 직접 관계 없음
캐릭터.AI는 소송에 대해 성명을 통해 "우리는 비극적으로 이용자를 잃게 된 것에 대해 깊은 슬픔을 느끼며 가족에게 깊은 애도를 표한다"면서 "18세 미만 이용자에 대해 민감한 콘텐츠를 접할 가능성을 줄이기 위한 변화를 도입할 것"이라고 밝혔습니다.
뉴욕타임스(NYT)는 "AI가 10대의 죽음에 책임이 있을까"라며 AI가 "외로움의 치유책인가, 아니면 새로운 위협인가?"라고 화두를 던졌습니다.
AI 앱이 정신 건강에 미치는 영향을 연구한 스탠퍼드 연구원인 베타니 맵플스는 "AI 앱 자체가 본질적으로 위험하다고는 생각하지 않는다"면서도 "그러나 우울증이나 외로움을 겪는 사람들, 혹은 변화를 겪고 있는 사람들에게는 위험할 수 있고 10대는 종종 변화를 겪기 때문에 특히 주의가 필요하다"고 말했습니다.
[오지예 기자/calling@mbn.co.kr]
기사에 대해 의견을 남겨주세요.