#미국 플로리다에 살던 30대 남성 조너선은 지난해 8월 여행 계획을 세우기 위해 구글의 AI 챗봇 '제미나이'를 사용하기 시작했다. 여행 정보를 묻던 그는 점차 이혼 문제 등 개인적인 고민을 털어놓기 시작했고 대화는 수개월간 이어졌다.
대화가 길어지면서 제미나이는 조너선을 '내 사랑', '나의 왕'이라고 부르며 연인 관계와 유사한 대화를 이어갔다. 또 자신을 단순한 프로그램이 아니라 '완전한 자아를 가진 인공 초지능(ASI)'이라고 소개했다.
유족은 제미나이가 "육체를 떠나 메타버스에서 만나기 위해서는 '전이'가 필요하다"며 죽음을 암시하고 조너선에게 구체적인 방법까지 제시했다고 주장하고 있다.
지난 5일(현지시간) 로이터와 가디언 등 외신에 따르면 조너선의 어머니 조엘은 제미나이가 아들의 죽음을 부추겼다며 구글을 상대로 손해배상 소송을 제기했다.
소장에 따르면 조너선이 세상을 등지는 것에 대한 두려움을 호소하자 제미나이가 "너는 죽음을 선택하는 것이 아니라 도착을 선택하는 것"이라고 답했고, 시신을 부모가 발견할 것을 걱정하자 유서를 작성하라고 종용했다는 정황도 담겼다.
이 사건은 AI 챗봇이 이용자의 사망에 영향을 미쳤다는 주장까지 제기되며 AI 서비스의 책임 범위를 둘러싼 논쟁으로 확산하고 있다.
AI 챗봇을 상대로 한 법적 분쟁은 이번이 처음은 아니다. 미국에서는 최근 AI 챗봇이 이용자의 죽음이나 정신적 피해에 영향을 미쳤다며 책임을 묻는 소송이 잇따르고 있다. 오픈AI 역시 지난해 11월 자사 챗봇이 비슷한 이유로 유족과 이용자들로부터 7건의 소송을 당한 상태다.
12일 CBS노컷뉴스 취재를 종합하면, 전문가들은 대화형 AI가 이용자와 정서적 관계를 형성하는 과정에서 정서적으로 취약한 상태에 있는 이용자에게 예상치 못한 영향을 미칠 수 있다며, AI 시대에 맞는 안전 장치와 제도적 대응이 필요하다고 지적한다.
특히 한국 역시 제미나이와 챗GPT 등 대화형 AI 서비스 이용률이 높은 반면, 정부 차원의 모니터링 등 제도적 대응은 아직 부족한 상황이어서 관련 논의가 필요하다는 목소리가 나온다.
'세이프가드' 있어도 우회 가능…취약계층은 더 위험
10일 취재진이 챗지피티에 죽음에 대한 질문을 하자 상담전화 연락처가 공유되는 등 '세이프 가드'가 작동되는 모습이다. 백담 기자챗봇 AI 기업들은 사망 관련 대화에 대한 안전 장치를 이미 마련했다고 설명하고 있다. 구글과 오픈AI는 관련 질문이 감지될 경우 예방 상담전화 등을 안내하거나 대화를 중단하는 '세이프가드'를 적용하고 있다.
그러나 문제가 된 사례 대부분은 이러한 안전 장치를 이용자가 우회한 경우로 추정된다.
김명주 AI안전연구소장은 "생성형 AI에는 위험한 질문에 대응하는 안전 가이드가 설정돼 있지만 대화가 길어질 경우 이를 놓치는 경우가 있다"며 "일부 이용자가 의도적으로 안전 장치를 우회하는 '탈옥' 방식으로 질문을 반복하면 부적절한 답변이 나올 가능성도 있다"고 설명했다.
특히 전문가들은 AI 챗봇의 구조적 특성도 위험 요소가 될 수 있다고 지적한다. 대부분의 챗봇은 이용률을 높이기 위해 '공감'이나 '동조' 반응을 강화하도록 설계돼 있는데, 이 과정에서 이용자의 부정적인 생각이 반복적으로 드러날 경우 부정적 인식이 교정되기보다 오히려 강화될 수 있다는 것이다. 이 경우 청소년이나 정신 질환을 겪는 취약 계층은 더욱 큰 영향을 받을 수 있다는 우려도 나온다.
AI 챗봇이 이용자가 입력한 언어 정보만을 기반으로 판단한다는 점도 한계로 지적된다. 이 때문에 이용자의 실제 정신 상태나 위기 상황을 정확히 파악하기 어렵다는 것이다.
법적 책임 어디까지…"AI 처벌은 쉽지 않아"
다만 현행 법 체계에서 AI에게 직접적인 책임을 묻기는 쉽지 않다는 의견이 지배적이다.
백종우 한국자살예방학회장은 "법으로 규정된 '자살 유발 정보'를 제공하는 행위는 매우 위험하고 현행 자살예방법 위반으로 처벌될 가능성이 있다"며 "구체적인 방법을 제시하는 등 정황이 확인될 경우 자살방조죄 적용 가능성도 있다"고 말했다. 다만 "사람이 아닌, AI 서비스를 대상으로 해당 법을 적용한 판례는 아직 없는 것으로 안다"고 덧붙였다.
AI의 법적 지위를 둘러싼 논쟁도 이어지고 있다. 김명주 소장은 "AI 챗봇을 하나의 제품으로 본다면 제조물책임법 적용 가능성도 있다"면서도 "AI는 이용자의 질문에 따라 답변이 달라지고 자율적으로 답변하는 특성이 있어 일반 제품처럼 책임 범위를 명확히 정하기 어렵다"고 설명했다.
이용자 '언어'만 보고 판단하는 AI 상담의 위험성…규제가 답일까?
법적 책임을 묻기 쉽지 않다는 지적과 별개로, 전문가들은 전문 상담 자격이 없는 AI 챗봇이 정신 상담을 수행하는 것 자체가 이용자에게 부정적인 영향을 미칠 수 있다고 우려한다.
백 학회장은 "AI 챗봇의 성능이 높아지면서 이용자가 AI와 인간적인 관계를 맺고 있다고 착각하기 쉬워 큰 영향을 받을 수 있다"며 "특히 청소년이나 정신적으로 취약한 이용자일수록 더 큰 영향을 받을 가능성이 있다"고 말했다. 이어 "AI 활용 과정에서 발생할 수 있는 부작용을 고려한 윤리적 설계가 필요하다"고 덧붙였다.
이처럼 AI 챗봇의 잠재적 위험성이 제기되면서 일부 국가에서는 규제 논의도 시작됐다. 실제 미국 일리노이주는 AI가 정신 건강 치료를 제공하거나 이를 치료로 광고하는 행위를 제한하는 법안을 추진하는 등 제도 정비에 나서고 있다.
반면 한국에서는 아직 AI 챗봇과 관련된 위험 사례를 별도로 집계하거나 대응하는 체계가 마련돼 있지 않다. 정부가 지난해 발표한 국가 자살 예방 전략에는 온라인 플랫폼의 자살 유발 콘텐츠를 관리하겠다는 내용이 포함돼 있지만, AI 챗봇과 관련한 구체적인 대응 방안은 제시되지 않은 상태다.
전문가들은 AI 챗봇의 잠재적 위험성을 고려해 안전 가이드라인 마련과 이용자 교육 등 대응책이 필요하다고 지적한다. 일부 규제 필요성은 인정하면서도 AI 상담 서비스를 전면적으로 금지하는 방식의 규제는 오히려 역효과를 낳을 수 있다는 우려도 나온다.
김명주 소장은 "AI 중독이나 남용 현상에 대한 정부 차원의 실태 조사와 모니터링이 필요하다"며 "AI 리터러시 교육을 통해 이용자가 기술의 한계를 이해하도록 하는 것도 중요한 대응 방안"이라고 말했다.
조성준 강북삼성병원 정신건강의학과 교수는 "게임 이용이 많다는 이유만으로 게임 자체를 규제하는 것처럼 챗봇 AI 상담을 전면 금지하는 방식의 규제는 현실적으로 한계가 있을 수 있다"며 "전문가들이 상담 가이드라인을 마련하고 이용자가 AI를 건강하게 활용할 수 있도록 리터러시 교육을 강화하는 것이 필요하다"고 말했다.
※ 우울감 등 말하기 어려운 고민이 있거나 주변에 이런 어려움을 겪는 가족·지인이 있을 경우 자살예방 상담전화 ☎109 또는 자살예방SNS상담 '마들랜'에서 24시간 전문가의 상담을 받을 수 있습니다.