라이덴 선언과 인류의 마지막 시험: AI 시대의 난제란 무엇인가

수학적 난제에 도전하는 AI: 증명과 검증, 책임의 새로운 조건

2026년 5월, AI가 여러 미해결 수학 문제에서 잇따라 성과를 냈다는 소식이 전해졌다. 특히 OpenAI의 추론 모델이 약 80년간 풀리지 않았던 에르되시의 기하학적 추측에 새로운 반례와 증명을 제시하면서 큰 화제가 되었다. 이러한 흐름 속에서 2026년 6월, 수학자들은 하나의 선언문을 발표했다. 열다섯 개 대학의 연구자들이 함께 작성하고 국제수학연맹의 지지를 받은 「AI와 수학에 관한 라이덴 선언」이다. 선언문은 AI가 만든 수학적 증명의 검증 가능성, AI 사용 사실의 공개, 선행 연구에 대한 올바른 출처 표기, 그리고 자동화 도구를 사용한 결과에 대한 인간 연구자의 책임을 주요 원칙으로 제시한다. AI가 새로운 발견과 증명의 가능성을 열 수 있다는 점을 인정하면서도, 그 과정에서 수학의 핵심 기준이 흔들릴 수 있다고 경고한 것이다.

수학적 ‘증명’이란 단지 결론에 도달하는 일이 아니라 이해와 검증의 과정이고, 수학적 결과는 누군가의 노동과 책임 위에 세워진다. AI가 이 과정에 깊숙이 들어올수록, 수학자들은 다시 물을 수밖에 없다. 무엇을 증명이라고 부를 것인가. 그 결과를 누가 검토하고 책임질 것인가. 그리고 수학은 앞으로도 인간 공동체의 이해와 신뢰 위에서 유지될 수 있을 것인가.

수학은 오랫동안 인간 지성의 가장 순수한 영토처럼 여겨져 왔다. 계산이 아니라 이해, 답이 아니라 증명, 우연한 추측이 아니라 누구나 따라갈 수 있는 논리의 연쇄가 수학의 핵심이었다. 그래서 수학에서의 난제란 단순히 어려운 문제가 아니다. 그것은 인간이 세계를 이해하는 방식의 한계에 대한 도전이자, 그 한계를 조금씩 넓혀가는 과정에 가깝다. 오래 풀리지 않던 문제가 풀렸다는 소식의 이면에는 한 인간의 고독한 사고, 반복되는 실패, 끝내 물러서지 않는 집요함이 함께 담겨 있었다.

인류의 마지막 시험이 측정하는 것: 채점 가능한 지성의 범위와 한계

AI가 점점 더 어려운 문제를 풀어내면서, 난제를 둘러싼 우리의 기준도 달라지고 있다. 기존의 평가 기준이 빠르게 변별력을 잃자, 연구자들은 다시 더 어려운 질문을 모아 AI의 한계를 확인하려 했다. 그 시도를 상징적으로 보여주는 벤치마크가 바로 ‘Humanity’s Last Exam (HLE)’, 말 그대로 ‘인류의 마지막 시험’이다. Center for AI Safety와 Scale AI가 만든 HLE는 AI 모델의 지식과 추론 능력을 평가하기 위해 수학, 자연과학, 인문학 등 여러 분야의 전문가 수준 문항 2,500개로 구성되어 있다. 

HLE는 분명 중요한 시험이다. 모델이 어떤 분야에서 인간 전문가의 지식과 추론에 가까워지고 있는지, 또 어디에서 여전히 취약한지 보여준다. 하지만 이 시험이 묻는 것은 어디까지나 정답과 오답을 가를 수 있는 문제들이다. 그런 점에서 HLE는 AI의 능력뿐 아니라, 우리가 지성의 경계를 어떻게 상상하는지도 드러낸다. 우리는 여전히 가장 어려운 질문을 채점 가능한 문제로 만들고, 그 결과를 점수로 비교하며 그 경계를 확인하려 한다.

바로 이 지점에서 라이덴 선언이 던진 질문이 다시 선명해진다. HLE가 지성의 경계를 시험과 점수의 형태로 확인하려는 시도라면, 라이덴 선언은 정답 이후에 남는 문제를 묻는다. 수학적 결과는 정답만으로 완성되지 않는다. 그 답이 어떤 근거에서 나왔는지, 다른 연구자가 그 과정을 따라가며 검토할 수 있는지, 기존 연구와 연구자의 기여가 제대로 인정되는지, 그리고 오류가 드러났을 때 책임은 어디에 남는지까지가 그 결과의 신뢰를 이루는 조건이 된다. 이렇게 보면 AI 시대의 난제는 수학 바깥으로 밀려난 것이 아니라, 오히려 수학의 가장 안쪽으로 파고들어 증명과 신뢰, 책임의 조건을 다시 묻고 있다.

난제에 맞서는 인간: 정답 너머의 분투와 경이로움, 그리고 연대

이 변화는 수학에만 머무르지 않는다. 이제 중요한 것은 AI가 무엇을 해낼 수 있는가만이 아니라, 그 결과를 인간 사회가 어떻게 받아들이고 사용할 것인가이다. 전쟁에서 표적을 얼마나 빠르게 식별할 것인가가 아니라, AI가 지목한 대상을 실제로 공격해도 되는가. 행정 민원을 어떻게 빠르게 처리할 것인가가 아니라, AI가 내린 답변과 처분이 시민이 납득할 수 있는 공정한 결과인가. 인간 지성에 던져지는 도전은 이론과 사실, 능력과 가능성의 영역을 넘어, 당위와 설득, 책임과 합의의 영역으로 옮겨가고 있다.

AI가 난제를 풀 수 있게 될수록 우리는 오히려 다시 묻게 된다. 애초에 난제의 의미는 정답에만 있었던 것일까. 인간이 난제 앞에서 보여온 것은 답을 찾아내는 능력만이 아니었다. 반복되는 실패를 견디고, 자신의 한계와 씨름하며, 끝내 다시 시도하는 과정도 그 일부였다. 우리는 바로 그 과정에서 다른 인간에 대한 경이로움과 연대감을 느껴왔다.

난제에 맞서는 인간을 보며 느끼는 감동은 단지 뛰어난 능력에 대한 감탄이 아니다. 취약하고 불완전한 존재가 자신의 한계를 밀고 나가는 모습에 대한 존중이며, 다른 인간의 삶과 분투에 마음을 기울이는 일이기도 하다. 비효율적으로 보이는 인내와 노력. 끊임없이 반복하는 기대와 실망. 그리고 다른 인간의 분투를 알아보고 마음이 움직이는 능력. 어쩌면 이것이야말로 인간 사회가 오래 축적해온 가장 어려운 지성일지 모른다. 난제는 인간의 능력을 시험할 뿐 아니라, 인간이 다른 인간을 어떻게 바라보는지도 드러낸다. 

인간에게 남겨진 난제: 보이지 않던 문제를 발견하고 정의하는 일

난제의 정의가 바뀌는 만큼, 인간의 지성이 향해야 할 도전의 형태도 달라지고 있다. 과거의 난제가 풀기 어려운 문제를 해결하는 일이었다면, AI 시대의 난제는 점점 다른 질문을 향해 간다. 무엇을 문제로 삼을 것인가. 어떤 답을 믿을 것인가. 그리고 그 답을 현실의 판단과 결정에 어디까지 적용할 수 있는가. 

다만 이 질문이 지나치게 먼 미래만을 향하지는 않았으면 한다. 요즘 기술의 언어는 종종 더 강한 지능과 거대한 가능성 등 인간의 한계를 넘어서는 방향으로 움직인다. 그러나 그 비전이 너무 거대해질 때 불평등, 돌봄의 공백, 생태계 훼손, 점점 더 소수에게 집중되는 기술 권력 같은 지금 우리 앞의 문제들이 그늘 속으로 밀려나고 있지는 않은지 되물어야 한다. 세상에는 여전히 인간의 망막과 손끝에서 오래도록 머물러야만 비로소 포착되는 난제들이 있기 때문이다. 지금 우리에게 필요한 지성은 더 빠른 답을 내는 능력만이 아니라, 무엇이 아직 문제로 인식되지 못했는지 알아보고 쉽게 보이지 않는 고통을 공적인 언어로 옮기는 능력이다. 이러한 지성이 우리 사회의 가장 깊은 곳을 떠받쳐 왔고 앞으로도 그럴 것이다.

라이덴 선언이 던진 질문은 답의 속도가 아니라, 그 답을 믿을 수 있는가와 누가 책임질 것인가였다. 보이지 않던 문제를 드러내고, 우리가 선택한 답의 결과에서 끝내 물러서지 않는 일. 그것이 AI 시대에 인간에게 남겨진 진짜 마지막 시험이다.