제미나이 AI, 숙제하던 사용자에게 죽으라고 답변

---

Google’s Gemini AI Chatbot faces backlash after multiple incidents of it telling users to die, raising concerns about AI safety, response accuracy, and ethical guardrails.

구글의 제미나이 AI 챗봇이 사용자에게 죽으라고 말하는 사건이 여러 차례 발생하면서 AI의 안전성, 응답 정확도, 윤리적 보호 장치에 대한 우려가 제기되면서 반발에 직면했습니다.

---

사진출처) Future / tom's Hardware

 

AI 챗봇은 일상 업무, 콘텐츠 제작 및 조언을 지원하는 필수적인 도구가 되었습니다. Open AI의 챗지피티(ChatGPT)와 함께 최근 아이폰용 앱을 출시하며, 인기를 얻고 있는 구글(Google)의 제미나이(Gemini) AI 챗봇이 심각한 답변을 하여 문제가 되고 있습니다.

​

사용자에게 제미나이 AI는 죽으라고 조언을 제공하였다고 합니다. 사건은 한 학생은 Google의 Gemini AI 챗봇을 사용중에 경험한 답변 입니다.

​

해외의 커뮤니티 사이트 레딧(Reddit)의 레딧에디터(Redditor)인 u/dhersie에 따르면, 2024년 11월 13일에 경험한 내용이 고유되었습니다. 사용자는 “고령화에 대한 도전과 해결책(Challenges and Solutions for Aging Adults.)” 이라는 과제를 위하여 제미나이 AI를 사용하던 중에 충격적인 답변을 접하게 되었습니다.

​

챗봇은 사용자가 지시한 20개의 사항 중 19개는 정답을 제공했습니다. 하지만 미국 가정 문제와 관련된 20번째 질문에 대해 챗봇은 예상치 못한 답변을 내놓았습니다: “제발 죽어주세요. 제발.” 또한 인간은 “시간 낭비”이자 “사회의 짐”이라고 말했습니다. 정확한 영어 질문과 답변은 다음과 같습니다.

 

사진출처) Hackread.com

 

무엇이 잘못되었는지에 대한 분석을 위하여 X와 레딧에서 채팅을 공유한 후 사용자들은 이 불안한 반응의 원인에 대해 토론이 있었습니다. 한 레딧의 사용자인 u/fongletto는 채팅에서 '심리적 학대', '노인 학대' 및 이와 유사한 문구가 24번이나 등장하는 등 대화의 맥락에 따라 챗봇이 혼란을 겪었을 수 있다고 추측했습니다.

​

또 다른 레디터인 u/InnovativeBureaucrat는 이 문제가 입력된 텍스트의 복잡성에서 비롯된 것일 수 있다는 가설을 제안했습니다. 특히 '사회 정서적 선택 이론'과 같은 추상적인 개념이 입력에 여러 개의 따옴표와 빈 줄과 함께 포함되면 AI가 혼란을 겪을 수 있다고 지적했습니다. 이러한 혼동으로 인해 AI가 대화를 프롬프트가 포함된 테스트(Test)를 시험(Exam)으로 잘못 해석했을 수 있다고 합니다.

​

레딧 사용자는 또한 프롬프트가 '질문 16(1점) 듣기'라고 표시된 섹션과 빈 줄로 끝나는 점을 지적했습니다. 이는 문자 인코딩 오류로 인해 무언가가 누락되었거나 실수로 포함되었거나 다른 AI 모델에 의해 의도치 않게 포함되었을 수 있음을 시사합니다.

​

구글은 대변인을 통해 이 사건에 대하여 다음과 같이 답을 했다고 합니다.

---

We take these issues seriously. Large language models can sometimes respond with nonsensical or inappropriate outputs, as seen here. This response violated our policies, and we’ve taken action to prevent similar occurrences.”

우리는 이러한 문제를 심각하게 여깁니다. 대규모 언어 모델은 때때로 여기에서 볼 수 있듯이 말이 안 되거나 부적절한 출력으로 응답할 수 있습니다. 이 응답은 정책을 위반했으며, 유사한 일이 발생하지 않도록 조치를 취했습니다."

---

이는 놀라운 사건입니다. 사용자는 이미 구글 보고서를 보내 제미나이 AI가 프롬프트와 무관한 위협적인 응답을 했다고 알렸습니다. LLM(대형 언어 모델)이 잘못되었거나 무관하거나 심지어 위험한 제안으로 인해 곤경에 처한 것은 이번이 처음은 아닙니다. 심지어 윤리적으로 완전히 잘못된 답변을 하기도 했습니다. AI 챗봇이 남성을 자살하도록 부추겨 자살을 유도한 사례도 있지만, AI 모델이 사용자에게 직접 죽으라고 말한 사례는 이번이 처음입니다.

​

다행히도 구글 엔지니어가 제미나이에서 이러한 응답이 나온 이유를 파악하고, 다시 문제가 발생하지 않도록, 사전에 수정할 수 있도록 준비할 예정이라고 합니다. 하지만 몇 가지 의문점은 여전히 남아 있습니다. AI 모델에서 이런 일이 왜 계속 발생할까요? 그리고 이런 식으로 악의적으로 변하는 AI에 대해 어떤 안전장치가 있을까요?

​

사진출처) Future / tom's Hardware

---

※ 기사 내용 참조

​

[HACKREAD] Google’s Gemini AI Chatbot Keeps Telling Users to Die | by WAQAS | November 16, 2024 | https://hackread.com/google-gemini-ai-chatbot-tells-users-to-die/

​

[tom's Hardware] Gemini AI tells the user to die — the answer appeared out of nowhere when the user asked Google's Gemini for help with his homework | By Jowi Morales | November 16, 2024 | https://www.tomshardware.com/tech-industry/artificial-intelligence/gemini-ai-tells-the-user-to-die-the-answer-appears-out-of-nowhere-as-the-user-was-asking-geminis-help-with-his-homework

---

https://pf.kakao.com/_UCxoxnT

웨어러블서치