‘AI 가스라이팅’ 막아라…오남용·부작용에 ‘AI 건강한 사용’ 화두
곽소영 기자
수정 2025-10-05 15:28
입력 2025-10-03 12:12
AI 업계, ‘건강한 사용’ 대책 마련
장시간 사용시 휴식 권고…극단 선택 시 신고
국내서도 챗봇에 부적절 내용 감지해 규제
인공지능(AI)에 과도하게 의존하거나 부적절한 대화를 하는 등 부작용이 나타나면서 이용자들이 AI를 건강하게 이용하도록 하는 것이 AI 업계의 새로운 과제가 되고 있다.오픈AI는 지난달 챗GPT의 10대 보호 원칙을 발표했다 .사람들이 챗GPT를 사용하는 방식에 따른 연령 예측 시스템을 구축해 18세 미만 사용자와 성인 사용자를 구분하고 성인과 다른 대화 방식을 제공하겠다는 것이 골자다.
예를 들어 이용자가 챗GPT와 연애를 하는 듯한 대화를 원하더라도 18세 미만에게는 수행하지 않고, 극단적 선택에 대한 내용도 언급하지 않는다. 또 18세 미만 사용자가 극단적 선택을 생각하거나 연락이 닿지 않을 경우 부모에게 연락할 수 있는 시스템을 구축한다.
오픈AI는 “이러한 원칙이 (성인에 대한 기준과) 충돌한다는 것을 알고 있으며 이 충돌을 해결하는 방식에 동의하지 않는 사람도 있을 것이라는 점 또한 알고 있다”며 “어려운 결정이지만 전문가와 논의한 끝에 가장 좋은 방법이라는 결론에 도달했다”고 밝혔다.
8월에는 ‘휴식 알림’과 ‘행동 유도형 조언’ 기능도 도입했다. 이용자와 챗GPT 사이의 대화가 길어질 경우 “잠시 쉬어가는 게 어떠냐”는 식의 제안을 하고, 결론을 제시하기 보단 여러 가지 가능성과 선택지를 제시하는 식이다.
메타는 8월 청소년 대상 AI 챗봇의 부적절한 대화 문제가 제기된 후 즉시 안전장치를 강화했다. 지난해 10월 미국의 한 14세 소년이 AI 캐릭터와의 대화 끝에 극단적 선택을 했던 사건 이후 윤리성 강화에 나선 것이다. 성적 콘텐츠가 포함된 AI 캐릭터에 대한 청소년 접근을 제한했다.
국내에서는 NC AI가 고객 상담 챗봇 ‘앤서’에 ‘챗봇 네거티브 규제 정책’을 수립해 엔씨소프트에 대한 부정적 가치 평가, 게임 서비스 관련 부적절 내용, 유료 재화 편법 등 게임 업계 특화 안전 기준을 포함시켰다.
자체 개발한 ‘세이프가드’ 기술도 정식으로 적용해 종합적인 AI 안전성 시스템의 상용화에 돌입했다. 레드팀·블루팀·퍼플팀으로 구성된 삼중 보안 체계를 구축하고 레드팀이 새로운 악성 공격을 연구하면, 블루팀이 방어 기술을 개발하고, 퍼플팀이 이를 정책에 반영하는 순환 구조다.
이연수 NC AI 대표는 “AI 기술의 발전과 함께 사용자 안전성 확보는 더 이상 선택이 아닌 필수”라며 “14년간 축적해온 AI 기술 역량을 바탕으로 게임 산업 특성에 맞춘 맞춤형 안전장치를 구현했다”고 밝혔다.
곽소영 기자
Copyright ⓒ 서울신문 All rights reserved. 무단 전재-재배포, AI 학습 및 활용 금지
