AI 기본법, 책임 있는 AI 가능할까? 🧩

2025. 9. 15.

Human AI Institute

하이레터 구독자 여러분, 안녕하세요.
인간:지능연구소(H:AI)입니다.😉

'AI 기본법, 책임 있는 AI 가능할까?'

최근 과학기술정보통신부가 'AI 기본법' 시행령 초안을 발표했습니다.

규제를 최소화하면서도 산업 육성을 적극적으로 지원하겠다는 방향성을 담고 있는데요.

동시에 AI 안전성 확보와 관련된 장치들도 함께 논의되고 있습니다.

하지만 환각(hallucination) 문제처럼 기술이 본질적으로 안고 있는 한계와

의도된 목적을 넘어 예기치 못한 방식으로 활용될 수 있는 위험까지 고려하면

단순한 산업 지원만으로는 충분하지 않을 것입니다.

책임 있는 AI를 위한 제도적·윤리적 논의가 개발 단계부터

함께 마련되어야 하는 이유이기도 합니다.

이번 뉴스레터에서는 과연 AI 기본법이 '책임 있는 AI'를 실현할 수 있을지,

그리고 어떤 방향을 함께 고민해야 할지 짚어보려 합니다.

AI 시대, 기술의 문턱에서 책임의 균형을

함께 고민하는 시간이 되길 바랍니다 :)

#AI와정부

📍국가인공지능전략위원회 출범 - AI 3대 강국 도약 선언

지난 8일 대통령 직속 '국가인공지능전략위원회'가 공식 출범하며 대한민국 AI 전략을 총괄하는 최고 기구가 첫발을 내디뎠습니다. 위원장을 맡은 이재명 대통령은 첫 회의를 직접 주재하며 대한민국을 AI 3대 강국으로 도약시키기 위한 ‘AI 액션플랜’ 추진 방향을 제시했습니다. AI가 국력과 경제력, 나아가 안보 역량까지 좌우하는 핵심 기술임을 강조하며 ▲모두를 위한 포용적 AI ▲민관 협력 ▲AI 친화적 제도 정비 ▲균형 발전 등 4대 원칙을 제시했습니다. 이날 회의에서는 국가 AI컴퓨팅 센터 구축, AI기본법 하위법령 제정, 운영 세칙 마련 등 구체적인 안건도 논의됐습니다. 정부는 AI 인프라와 인재를 토대로 독자적인 AI 모델을 확보하고 산업·공공·지역 전반의 AI 대전환을 통해 국가 경쟁력을 높이고 국민 삶의 질을 개선한다는 구상을 밝혔습니다. 위원회는 오는 11월까지 12대 전략 분야를 포함한 종합 대한민국 AI 액션플랜을 마련해 발표할 계획입니다.

#AI와산업

📍오픈AI, 한국 지사 출범 - 도쿄·싱가포르 이은 아시아 3번째

지난 10일 오픈AI가 한국 지사 ‘오픈AI 코리아’ 출범을 공식 선언하며 본격적인 한국 진출을 알렸습니다. 제이슨 권 최고전략책임자(CSO)는 한국이 세계적 인프라와 우수한 인재, 기술 친화적 환경을 갖춘 만큼 AI 발전의 최적지라고 평가했으며 실제로 한국은 챗GPT 주간활성사용자(WAU)와 유료 구독자 증가율에서 아시아태평양 최대 수준을 기록하며 중요한 시장으로 자리매김하고 있습니다. 이에 따라 오픈AI는 카카오와의 제휴, 서울대학교와의 연구 협력, 삼성전자 등 대기업 도입을 통해 협력 관계를 확대하는 동시에 한국 내 데이터센터 설립 가능성도 열어두며 향후 투자와 규제 환경 변화에 적극 대응하겠다는 계획을 밝혔습니다.

#AI와윤리

📍美 FTC, 메타·오픈AI 등 조사 - 아동·청소년 유해성 논란 확산

미 연방거래위원회(FTC)가 메타, 오픈AI, 구글 등 주요 AI 기업 7곳을 대상으로 아동과 청소년에게 미치는 챗봇의 유해성 조사를 시작했습니다. FTC는 각 기업에 챗봇의 테스트·모니터링 방식과 미성년자 사용 제한 조치에 관한 자료 제출을 요구했으며 만장일치로 조사 개시를 의결했습니다. 이번 조사는 10대 청소년들이 챗봇과 장시간 대화한 뒤 스스로 목숨을 끊는 사건이 잇따라 발생한 데 따른 것으로 실제로 챗GPT와 캐릭터.AI를 상대로 부모들이 소송을 제기한 사례도 있습니다. 블룸버그통신은 수년간 미 의회가 보호 조치를 청소년 전반으로 확대하려 시도했지만 관련 입법은 단 한 건도 진전을 이루지 못했다고 지적했으며 FTC가 자료를 분석해 최종 보고서를 내놓기까지도 수년이 걸릴 수 있다고 전망했습니다.

#AI와정보

📍구글 'AI 오버뷰' - 인용 문서 10.4% AI 생성 논란

구글의 AI 검색 요약 서비스 ‘AI 오버뷰’ 인용 문서 중 10.4%가 AI가 생성한 것으로 분석됐습니다. 캐나다의 AI 콘텐츠 탐지 솔루션 기업 Originality.ai(오리지날리티닷AI)는 건강·금융·법률 등 주요 분야에서 2만 9천 건의 검색 질문을 분석한 결과, 이 같은 수치를 도출했다고 밝혔습니다. 전문가들은 AI가 생성한 콘텐츠를 다시 인용하는 순환 구조가 장기적으로 모델 붕괴를 초래할 수 있다고 경고하고 있으며 실제로 네이처도 AI가 생성한 데이터로 학습할 경우 모델의 다양성이 줄고 특정 그룹의 정보만 반복적으로 학습하는 왜곡이 발생할 수 있다고 지적했습니다. 이에 구글은 연구의 신뢰성을 부정하며 의문을 제기했지만, 전문가들은 AI 오버뷰가 고품질 콘텐츠의 트래픽을 감소시켜 결과적으로 AI가 생성한 콘텐츠가 계속 늘어나는 악순환을 만들 수 있다고 우려했습니다.

#AI와언론

📍美 음악 잡지 '롤링스톤' 구글 상대 소송 - AI 오버뷰로 언론사 트래픽 감소

미국의 유명 음악 잡지 '롤링스톤'과 연예 잡지 '할리우드 리포터'를 발행하는 펜스케미디어가 구글과 모기업 알파벳을 상대로 반독점 소송을 제기했습니다. 구글이 검색 최상단에 제공하는 AI 요약 서비스 ‘AI 오버뷰’를 통해 자사 보도를 무단으로 활용하면서 트래픽과 수익이 줄었다는 것이 주된 이유입니다. 펜스케미디어는 현재 자사 사이트로 연결되는 구글 검색 결과의 약 20%가 AI 오버뷰를 거치고 있으며, 2024년 말부터 온라인 제휴 수익이 3분의 1 이상 감소했다고 밝혔습니다. 특히 구글이 보상 없이 언론 콘텐츠를 활용하는 방식은 언론사들로 하여금 콘텐츠 제공을 막으면 노출이 줄고, 제공하면 원치 않게 AI 요약에 데이터를 내줘야 하는 딜레마에 빠뜨리고 있다고 지적했습니다. 반면 구글은 AI 오버뷰가 검색의 효율성을 높이고 더 다양한 사이트로 트래픽을 보내고 있다며 반박했습니다.

AI 기본법, '책임 있는 AI'를 만들 수 있을까?

by 현수

“기술은 단순히 우리가 이미 예견한 목표로 달성하는 수단이 아니라,

지도에도 없고 종종 불확실한 미래로 열려 있는 문이다”🚪✨

– <테크놀로지의 정치>, 실라 재서노프 (미국 하버드대학교 존 F. 케네디 공공정책대학원 과학기술학 석좌교수)

과학기술정보통신부(“과기정통부”)가 AI기본법 시행령 초안과 기타 하위법령의 제정방향을 공개하였습니다. AI기본법은 한국의 AI산업 발전을 지원하고, AI 사용에 따른 부작용과 위험을 최소화하는 것을 목적으로 제정되었습니다. 한국은 유럽연합(EU) 다음으로 세계에서 두 번째로 AI 관련 법률을 제정하였으며, 정부는 산업 진흥에 초점을 두었음을 강조하였습니다. 이재명 대통령은 대선 후보 시절부터 AI산업 육성에 강한 의지를 보여왔으나 산업계에서는 규제 부분에 더 큰 관심을 가져왔습니다. 법률이 추상적이고 선언적으로 규정된 부분이 많아 모호한 규정이 AI산업 성장의 저해 요인이 될 수 있다는 우려가 컸기 때문이었습니다. 이에 따라 하위법령의 구체적인 제정 방향에 산업계의 관심이 집중되었습니다.

우리나라 AI기본법이 AI산업 발전과 AI로 인한 부작용 최소화라는 목적에 부합하게 집행될 수 있을까요? 🧐

AI 기본법 하위법령 내용: AI산업 진흥 강조

과기정통부는 하위법령을 시행령, 고시 2건, 가이드라인 5건으로 구성하여 아래와 같이 마련하겠다고 하였습니다.

📍시행령

📍고영향AI 기준 및 예시 가이드

📍고영향AI 사업자책무 고시 및 가이드

📍AI 안정성 확보 의무 고시 및 가이드

📍AI 투명성 확보 가이드

📍AI 영향평가 가이드

고시와 가이드라인의 구체적인 내용은 아직 공개되지 않았고 시행령 초안만 공개되었습니다.

하위법령 제정방향에서 드러난 방향성은 규제의 최소화와 AI 산업의 진흥입니다. 정부가 산업 육성을 지원하기 위한 구체적인 기준을 정하고 공공데이터를 자유롭게 학습용으로 활용할 수 있게 하며, AI 운영에 필요한 대규모 데이터센터 구축 근거도 마련하고 전문인력 확보 및 해외진출을 지원할 수 있도록 지원책이 총망라되었습니다. 이재명 정부의 핵심 경제정책인 만큼 산업계의 목소리를 반영하여 자유로운 기술발전을 보장하겠다는 의지가 드러났습니다.🤝

AI 안전성 확보는 어떻게?

정부는 규제와 관련하여 “법률에서 정한 사항을 구체화∙명확화하여 기업의 규제 우려와 불확실성 완화에 주력”하겠다고 밝히면서, 아래와 같이 방향성을 제시했습니다.

📍투명성 확보 : 생성형∙고영향AI 이용자에 대한 사전고지 및 워터마크 의무 부여

📍안전성 확보 : 누적학습량이 일정 수준 이상인 고성능AI는 안전 확보 의무를 부과

📍고영향AI : 고영향AI 해당 여부에 대한 영역별 판단 기준과 신뢰성 확보 조치 마련

📍AI영향평가 : 사람의 기본권에 미치는 영향평가를 실시할 수 있음

*고영향AI란?
생명∙신체∙기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI시스템으로 특정 영역(에너지, 보건의료, 원자력, 교통, 교육 등)에서 활용되는 AI시스템

책임 있는 AI 개발을 위한 AI 영향평가

H:AI는 “AI영향평가”에 주목했습니다. AI 기술은 빠르게 발전하고 적용영역이 다양해 부정적 효과를 사전에 모두 예측하기 어렵습니다. 따라서 구체적인 의무규정이나 처벌규정을 마련하는 것은 현실적으로 어렵고, 산업진흥이 필요한 상황에서는 사회적 합의도 쉽지 않습니다.

AI영향평가는 사업자가 스스로 개발 시스템의 위험성을 다면적으로 평가하고 시민에게 공개할 수 있도록 하는 장치로서 의미가 있습니다. AI서비스 이용자들은 위험성을 인지하고 자율적으로 용도와 목적을 판단하는 과정이 중요합니다. 그러나 AI기본법은 인공지능사업자에게 AI영향평가를 의무화하지 않았고, 국가기관이 이용할 서비스를 선정할 때 영향평가를 실시한 서비스를 우선적으로 고려하도록 인센티브만 제공하였습니다.

실라 재서노프 교수의 지적처럼, 기술은 의도된 목적만으로 활용되지 않으므로 개발자가 모든 영향을 판단할 수 없습니다. 다양한 이해관계자와 전문가가 윤리, 사회, 정치, 환경 등 여러 관점에서 AI의 영향을 평가할 필요가 있습니다. 이러한 평가 결과는 책임 있는 AI (Responsible AI) 개발 및 AI 고도화에 기여할 수 있습니다.👀🧩

책임 있는 AI 개발을 위하여

현재 활발히 사용되고 있는 대부분의 AI 모델은 대규모 언어 모델(LLM: Large Language Model)을 바탕으로 하고 있습니다. LLM에 기반한 AI 서비스에서 고질적으로 나타나는 문제가 바로 “환각(Hallucination)”입니다. AI가 진실이라는 확신을 드러내며 그럴듯한 거짓을 말하는 현상입니다.❌

OpenAI는 2025년 9월 4일 발표한 논문을 통해 언어 모델에 환각 현상이 발생하는 이유를 연구한 결과를 발표하였습니다. 결론부터 말하면, 환각 현상은 LLM의 특성상 수반될 수밖에 없는 현상이고 이를 줄일 수는 있지만 완전히 없애는 것은 불가능하다고 합니다.

OpenAI 연구진이 환각의 원인으로 주목하는 가장 큰 이유는 LLM의 보상체계 때문입니다. LLM은 정답에는 점수를 부여하고, 오답이나 “모르겠다”와 같은 불확실한 표현에는 점수를 주지 않습니다. 그러다보니 LLM은 정답을 모를 때 “모르겠다”는 답변보다는 정답을 추측해서 내놓는 것이 더 나은 선택이 됩니다. 객관식 시험에서 정답을 모를 때 빈 칸으로 두는 것보다는 맞출 확률을 노리며 일단 찍어보는 것과 같은 이치입니다. LLM의 가장 큰 문제로 꼽히는 “환각”은 애초에 개발 단계에서부터 내재된 문제였던 것입니다.🤯

AI는 일단 개발이 되고 나면, 입력 값이 어떤 연산과 과정을 거쳐 특정한 값을 출력해내는지 설명하기가 사실상 불가능합니다. 인간이 이해할 수 있는 것은 AI가 작동하는 모델까지입니다. 따라서, 책임 있는 AI를 개발하기 위해서는 워터마크 표시나 사후적인 영향평가에 머무르지 않고, 개발 단계부터 들여다볼 필요가 있습니다. 인공지능 개발자의 직업 윤리를 수립하고, 개발 과정에 다양한 시각을 고려∙반영할 수 있는 절차를 마련해야 합니다.