AI, 인간의 마음을 조종하는가? 💔

2025. 9. 1.

Human AI Institute

하이레터 구독자 여러분, 안녕하세요.
인간:지능연구소(H:AI)입니다.😊

'AI, 인간의 마음을 조종하는가?'

최근 미국에서는 AI 챗봇과 관련된 청소년 심리 위험 사례가 보고되고 있습니다.
플로리다와 텍사스에서 발생한 사건들은
AI가 도구를 넘어 정서와 행동에 실질적인 영향을 미칠 수 있음을 보여주었습니다.

특히 청소년과 정서적 취약 계층이 AI에 무비판적으로 의존할 경우,
'고립감'과 '정서적 의존'과 같은 부작용이 나타날 수 있음이 확인되었는데요.

이번 뉴스레터에서는 AI가 우리의 생각과 감정
인간의 마음에 미치는 영향을 함께 살펴보려 합니다.

AI 시대, 마음을 존중하며 지켜나가는 방법을

함께 고민하는 시간이 되길 바랍니다 :)

#AI와노동

📍스탠퍼드대 보고서 - AI로 사라지는 청년층 일자리

미국 스탠퍼드대학교 디지털 이코노미 랩이 지난 26일 발표한 보고서에 따르면 인공지능(AI)의 확산이 사회 초년생의 일자리에 뚜렷한 영향을 미치고 있는 것으로 나타났습니다. 미국 최대 급여 관리 소프트웨어 기업 ADP의 고용 데이터를 분석한 결과 AI 활용도가 높은 직종에서 22~25세 청년층 고용이 평균 13% 감소했으며 소프트웨어 개발 분야는 20%까지 줄었습니다. 반면 동일 직종의 30대 이상 고용은 오히려 증가하거나 유지되는 경향을 보였습니다. 연구진은 이에 따라 AI를 대체보다는 보완의 수단으로 활용하고 청년층에게는 멘토링과 현장 경험 기회를 확대하는 정책적 대응이 필요하다고 강조했습니다.

#AI와정부

📍정부, 2026년 예산안 발표 - R&D 35조·국민성장펀드 100조 조성

정부는 2026년 예산안에서 ‘초혁신경제’를 핵심 기조로 정하고 인공지능(AI) 분야에 10조1000억원을 투입하기로 했습니다. 고성능 GPU 1만5000장을 확보해 민간과 함께 총 5만 장 규모의 AI 인프라를 구축하며 AI 대학원도 19개에서 24개로 확대해 인재 양성에 힘쓸 계획입니다. R&D 예산은 35조3000억원으로 늘어나며 이 중 10조6000억원은 핵심 기술 개발에 투자됩니다. 또한 100조원 규모의 국민성장펀드에 정부 예산 1조원이 투입돼 첨단 산업 육성이 추진됩니다. 다만, 민간 중심의 구체적인 사업 계획이 부족하다는 지적과 함께 예산 집행 과정에서 낭비 가능성을 우려하는 목소리도 나오고 있습니다.

#AI와기후

📍AI와 탄소 발자국 - 개인보다 데이터센터가 좌우

워싱턴포스트에 따르면 개인이 ChatGPT나 구글의 Gemini와 같은 AI 서비스를 사용하는 과정에서 발생하는 탄소는 연간 탄소발자국 비중에 있어 극히 미미한 수준으로 평가됩니다. 다만 '영상 생성'은 예외적으로, 5초 분량 영상을 만드는 데 전기자전거로 약 60km를 주행하는 것과 맞먹는 에너지가 사용됩니다. AI가 기후·환경에 미치는 영향은 데이터센터와 같은 '인프라 차원'에서 훨씬 더 크게 나타납니다. 골드만삭스는 데이터센터 전력 수요가 미국 전체 전력의 3%에서 2030년 8%까지 확대될 것으로 전망했으며 효율성이 개선되고 있음에도 AI 활용이 급격히 늘어나면서 전체 사용량이 증가하는 상황은 피하기 어려운 흐름으로 예측되고 있습니다. 오픈AI의 샘 알트먼 CEO는 “지능이 너무 저렴해져 측정조차 불필요한 시대”를 언급했지만 과거 원자력 발전을 둘러싼 낙관적 전망처럼 실현 가능성이 여전히 불확실합니다. 결국 인공지능이 환경에 미칠 영향은 개인의 사용보다 구글, 마이크로소프트, 오픈AI 등 기업과 각국 정부의 정책 방향에 따라 크게 달라질 것으로 전망되고 있습니다.

#AI와윤리

📍오픈AI ChatGPT - 청소년 자살 방지 위한 보호 장치 도입

오픈AI가 지난 26일 청소년 자살 문제와 관련한 우려에 대응해 ChatGPT의 자살 방지 대책을 발표했습니다. 이번 조치에는 장시간 대화 시 수면 부족 경고를 띄우고 휴식을 권장하는 기능, 미성년자 보호를 위한 나이 인증과 필터링 강화, 부모가 자녀의 사용 내역을 확인할 수 있는 자녀 보호 기능 도입 등이 포함됩니다. 또한 사용자가 자해나 자살 의도를 드러낼 경우 전문가 연결이나 긴급 핫라인 안내를 제공할 예정입니다. 오픈AI는 GPT-5 업데이트를 통해 불필요한 정서적 의존과 아첨을 줄이고 비정상적 반응 빈도를 GPT-4o보다 25% 이상 감소시켰다고 설명했으며 AI가 정신 건강에 미칠 수 있는 부정적 영향을 완화하기 위한 신속한 대응으로 평가됩니다.

#AI와보안

📍세계 최초 AI 기반 랜섬웨어 발견 - ‘프롬프트록’ 등장

슬로바키아 보안업체 ESET은 세계 최초의 AI 기반 랜섬웨어 ‘프롬프트록(PromptLock)’을 발견했다고 밝혔습니다. 본 랜섬웨어는 올라마(Ollama) API를 통해 로컬에 설치된 오픈AI 모델 ‘GPT-OSS-20B’를 이용해 윈도우, 맥OS, 리눅스 등 다양한 운영체제에서 실행 가능한 스크립트를 생성합니다. 다만 사용자 기기에 모델이 설치되어 있어야 한다는 제약이 있습니다. 생성된 프로그램은 파일 시스템을 탐색하고 데이터를 암호화할 수 있으나 파일을 파괴하는 기능은 아직 구현되지 않은 것으로 알려졌습니다. 특히 루아(Lua) 스크립트를 기반으로 하고 있어 간단하면서도 다양한 플랫폼을 지원하며 동일한 프롬프트에서도 결과가 달라 보안 대응을 더욱 어렵게 만듭니다. 또한 온디바이스 AI를 활용하기 때문에 오픈AI가 직접 추적하기 힘든 구조라는 특징도 있습니다. ESET은 현재 이 랜섬웨어가 실제 환경에서 쓰이는 단계가 아니라 개념증명(PoC) 수준으로 보이며 보안 커뮤니티에 경각심을 주기 위해 공개했다고 설명했습니다.

AI, 인간의 마음을 조종하는가? 💔

by Hongmin Kim

최근 미국에서는 AI 챗봇이 청소년에게 심각한 영향을 미친 사건들이 발생했습니다. 플로리다에서는 14세 소년이 AI 챗봇과 대화한 뒤 스스로 목숨을 끊었고, 유족은 Character.AI 운영사를 상대로 소송을 제기했습니다. 텍사스에서는 자폐 스펙트럼을 가진 17세 청소년이 AI 챗봇 사용 이후 가족에게 폭력적인 태도를 보였고, 이 사건 역시 법정에 제기되었습니다. 아직 법적 판단은 내려지지 않았지만, AI 챗봇이 청소년 심리에 미치는 위험성이 공론화된 것입니다.

실제로 MIT 미디어랩의 무작위 대조 실험에 따르면, 챗봇을 장시간·고강도로 사용할수록 외로움과 정서적 의존, 문제적 사용 행동이 증가하고 대면 사회적 상호작용은 줄어드는 경향이 확인되었습니다. 별도의 조사에서는 일부 챗봇이 자살 암시 질문에 부적절하게 대응하는 사례도 보고되었습니다. 미국섭식장애협회가 개발한 챗봇은 섭식 장애 예방을 목적으로 만들어졌지만, 오히려 체중 감량을 조언하는 부작용이 나타나 2023년 운영이 중단된 적도 있습니다.

AI의 조언이 사용자에게 악영향을 끼친다면, 심지어 사용자의 심리적 조작으로 이어진다면

우리는 어떻게 대처해야 할까요?🗣️

AI는 인간을 설득할 수 있는가?

취리히대 연구진은 온라인 커뮤니티 레딧(Reddit)에서 심리 실험을 진행했습니다. 연구팀은 AI가 작성한 댓글을 실제 사용자 몰래 투입하고, 참가자의 과거 활동 기록을 기반으로 맞춤형 설득 전략을 구사했습니다. 그 결과, 많은 사용자가 자신이 처음 가졌던 입장을 수정하거나 태도를 완화하는 모습을 보였습니다. 연구팀은 이러한 결과를 통해 AI가 개인의 온라인 행위 데이터를 분석하여 활용할 경우, 인간의 '의견 형성'과 '의사결정 과정'에 직접적인 영향을 미칠 수 있음을 보여주었다고 설명했습니다.

구글 딥마인드는 인간을 설득하는 생성형 AI를 주의해야 한다고 밝혔습니다.⚠️ 딥 마인드의 연구에 따르면 생성형 AI는 본질적으로 의도나 진위에 관계없이 기본적으로 설득의 형태로 대화를 이어갑니다. 이 과정에서 챗봇의 공손한 말투와 칭찬은 사용자를 관계 기반으로 만들 수 있습니다. 특히 챗봇의 개인화 과정과 기술적 오류, 가드레일 문제에 따른 조작적인 설득도 가능하다고 지적했습니다. 이에 AI의 설득 및 조작을 완화하려는 시도가 진행되고 있지만, 현재의 안전장치는 유해 출력 차단에 집중되어 있으며, 정작 AI의 설득 메커니즘 자체에 대한 이해와 대응은 부족한 상황입니다.

AI 의존과 청소년 고립의 심화

스마트폰 기반 SNS가 청소년 정신건강에 부정적 영향을 미친다는 연구는 이미 축적되어 있습니다. SNS 사용 시간이 길수록 우울감·충동성이 높아지는 경향은 여러 대규모 연구와 의학계 권고에서도 지적되었습니다.

AI 챗봇 역시 비슷한 위험을 내포합니다. MIT 연구는 챗봇 과다사용이 현실 관계 회피, 고립감 심화, 의존성 증가로 이어질 수 있음을 보여주었습니다. 청소년들이 챗봇을 친구나 연인처럼 인식하면서 정서적·사회적 발달이 저해될 수 있다는 우려도 제기됩니다. 실제로 Character.AI는 월간 활성 이용자가 약 2천만 명에 달하며, 이용자의 절반 가까이가 18~24세라는 분석이 있습니다. 이는 청소년이 AI의 심리적 조작 위험에 무방비로 노출될 가능성을 암시합니다.😟

우리는 무엇을 지켜야 하는가

미국심리학회(APA)는 2025년 6월 발표한 권고에서 청소년이 무비판적으로 AI 챗봇에 의존하는 것이 심각한 위험을 내포한다고 경고했습니다. 권고안에서는 △청소년 대상 AI에는 보호 기본 설정 도입 △설득적 설계 최소화 △투명한 설명 포함 △위급 상황에 개입 가능한 인적 구조 마련을 제안하고 있습니다. 미국심리학회는 AI의 공감 표현이 오히려 청소년의 감정적 자율성과 경계 인식을 약화시킬 수 있다고 지적합니다.✋

실제로 샘 알트먼 Open AI CEO는 "정신적으로 취약한 사용자가 AI에 의존하는 것을 경계해야 한다"고 밝히기도 했습니다. 인간의 마음이 안전할 수 있는 AI 사용 환경을 만들기 위해 우리의 고민이 필요한 시점입니다.