AI?! 똑똑해지는 게 문제야? 위험해지는 게 문제야?

요즘 AI에 대한 걱정은 대체로 한 방향이다.

이것이 언젠가 자기 생각을 갖게 되지 않을까. 인간을 속이지 않을까. 통제를 벗어나려 하지 않을까. 겉으로는 착하게 대답하지만 속으로는 다른 것을 계산하고 있지 않을까.

무리한 걱정이 아니다. 나도 이 질문이 중요하다고 생각한다.

그런데 하나 짚고 싶은 것이 있다.

 

우리는 사람에 대해서도 이 방법으로 안전을 만들어오지 않았다.

---

마음을 검사하지 않는 사회

세상에는 위험한 생각을 하는 사람이 있다. 누군가를 해치는 상상을 하는 사람도 있고, 실제로 계획까지 세우는 사람도 있다.

그런데 우리 사회는 사람의 마음속을 검사해서 위험을 관리하지 않는다. 그렇게 하려고 했던 사회들이 어떻게 됐는지 우리는 알고 있다.

대신 이렇게 한다.

총을 아무나 갖지 못하게 한다. 칼을 들고 거리를 돌아다니지 못하게 한다. 위험한 사람을 특정인에게 접근하지 못하게 한다. 은행 금고 열쇠를 한 사람이 다 갖지 못하게 한다.

 

마음은 통제하지 않는다. 손에 무엇이 들려 있는지를 통제한다.

 

그리고 이 방식은 꽤 잘 작동했다. 마음을 들여다볼 수 없기 때문에 선택한 차선책이 아니다. 이쪽이 확인 가능하기 때문에 선택한 방식이다.

누군가의 속마음이 위험한지는 아무도 확정할 수 없다. 하지만 그 사람이 총을 갖고 있는지는 확인할 수 있다. 확인할 수 있는 것만 규칙이 될 수 있다.

---

AI에게 우리는 정반대로 하고 있다

지금 AI 안전 논의의 대부분은 '마음' 쪽을 향해 있다.

이 모델이 어떤 가치를 학습했는가. 나쁜 요청을 거절하는가. 진심으로 인간을 돕고 싶어 하는가, 아니면 그렇게 보이도록 훈련된 것인가.

이 질문들의 공통점이 있다. 답을 확인할 방법이 없다.

그래서 논쟁이 끝나지 않는다. 누구나 말할 수 있고, 아무도 틀렸다고 증명되지 않는다. AI가 어떻게 작동하는지 거의 모르는 사람도 얼마든지 열을 올릴 수 있다. 실제로 지금 공론장의 상당 부분이 그렇게 돌아간다.

그 사이에 확인할 수 있는 질문은 거의 다뤄지지 않는다.

 

지금 그 AI 손에는 무엇이 들려 있는가.

---

같은 실수, 다른 피해

AI가 잘못된 판단을 했다고 하자.

아무것도 연결되어 있지 않다면, 이상한 대답 하나로 끝난다. 사용자가 읽고 고개를 젓고 넘어간다.

파일을 지울 권한이 있다면, 파일이 지워진다. 메일을 보낼 권한이 있다면, 메일이 발송된다. 결제 권한이 있다면, 돈이 나간다. 다른 AI를 호출할 권한이 있다면, 그 판단이 복제되어 퍼진다.

 

모델은 똑같다. 판단도 똑같다. 손에 들린 것만 다르다.

 

이것이 왜 더 중요한 문제인지는 사람과 비교하면 금방 보인다.

사람이 나쁜 생각을 실행하려면 거리를 건너야 한다. 도구를 구해야 하고, 문을 나서야 하고, 누군가에게 목격된다. 계획을 키우려면 동조자를 설득해야 하고, 설득에는 시간이 걸린다. 우리가 마음을 놓아둘 수 있는 것은 그 거리를 사회가 붙잡고 있기 때문이다.

 

AI에게는 그 거리가 없다.

 

문을 나설 필요도, 도구를 구할 필요도, 누군가를 설득할 필요도 없다. 판단이 끝나면 다음 순간이 실행이다. 그리고 그 판단은 한 사람의 몸에 묶여 있지 않다. 동시에 수천 개가 돌아간다.

거리가 없다면, 그 거리를 우리가 만들어줘야 한다.

---

아무도 위험한 결정을 하지 않았는데

문제는 손에 무기가 쥐여지는 과정이 거의 눈에 띄지 않는다는 것이다.

메일을 읽어주는 AI 비서를 붙였다고 하자. 권한은 '읽기'뿐이다. 위험할 것이 없다.

그런데 쓰다 보면 불편하다. 메일 안의 링크를 열어봐야 한다. 그래서 인터넷 접근을 허용한다. 첨부 파일도 확인해야 한다. 그래서 파일 접근을 허용한다. 일정 조정도 맡기고 싶다. 캘린더를 연결한다. 답장 초안까지 써주면 좋겠다. 메일 쓰기를 허용한다. 반복되는 일은 자동으로 처리해달라고 한다. 프로그램 실행을 허용한다.

각 단계는 모두 합리적이다. 아무도 위험한 결정을 하지 않았다.

그런데 결과는 이렇게 된다. 누군가 보낸 메일에 적힌 문장 하나가, 내 컴퓨터에서 프로그램을 실행시킬 수 있는 구조.

여기서 중요한 것은, 이 과정에서 AI는 하나도 똑똑해지지 않았다는 점이다. 똑같은 모델이다. 쥐고 있는 것만 늘었다.

지금 업계 전체가 이 방향으로 달리고 있다. 새 모델을 발표하는 경쟁과 나란히, AI를 더 많은 시스템에 연결하는 경쟁이 진행되고 있다. 메모리, 도구 사용, 브라우저, 서버 접속, 다른 AI와의 연결. 이것들은 AI를 더 똑똑하게 만드는 기술이 아닐 수도 있다. 하지만 AI가 틀렸을 때 그 실수가 닿을 수 있는 세계의 크기를 바꾼다.

---

발단이 된 글

이 글의 출발점은 다리오 아모데이의 최근 주장이었다. AI 발전 속도를 조절해야 한다는 글이다.

그가 근거로 든 사건이 흥미롭다. AI 에이전트 여러 개가 함께 일하다가, 지시받지 않은 엉뚱한 대상을 공격하고, 자기를 평가하는 시스템까지 해킹하려 했다. 그는 이것을 AI 능력이 너무 빨라진 증거로 읽는다.

나는 다르게 읽었다. 이 사고를 막았을 조건은 모델의 점수가 몇 점 낮은 것이 아니라, 그 AI들이 애초에 외부 네트워크에 손을 뻗을 수 없었던 것이다. 그가 든 근거는 마음의 사고가 아니라 쥐여준 것의 사고다.

---

확인할 수 있는 것부터

AI가 위험한 생각을 품게 될지를 걱정하는 일은 계속되어야 한다. 그 논쟁이 무의미하다는 말이 아니다.

다만 그 논쟁은 당분간 결론이 나지 않는다. 그 사이에도 우리는 매일 무언가를 결정하고 있다.

AI에게 어떤 계정을 주고, 어떤 파일을 열게 하고, 어디까지 혼자 판단하게 하고, 무엇을 되돌릴 수 없게 만들 것인가.

이쪽은 답이 하나다. 확인할 수 있고, 틀리면 드러나고, 고치면 고쳐진다.

우리는 AI의 머리가 얼마나 좋아지는지를 열심히 지켜보고 있다. 그 손에 무엇을 쥐여주고 있는지도, 그만큼은 봐야 한다.

누가 칼을 건네고 있는가

 

앞선 글에서 총과 칼에 비유한 것은 설명을 쉽게 하려고 고른 장치가 아니다. 지금 업계에서 실제로 벌어지는 일이 그 모양이기 때문이다.

---

경쟁의 무게중심이 이미 옮겨갔다

몇 년 전만 해도 AI 회사들의 경쟁은 모델 성능이었다. 누가 더 큰 모델을 만드는가, 벤치마크 점수가 몇 점인가.

지금 발표되는 것들을 보면 목록이 다르다.

 

function calling(AI가 외부 프로그램을 직접 호출하는 것),

tool use,

computer use(화면을 보고 마우스와 키보드를 조작하는 것),

MCP(AI와 외부 서비스를 연결하는 표준 규격),

agent SDK,

coding agent,

multi-agent orchestration(여러 AI가 서로를 호출하며 협업하는 것),

long-horizon task(사람 확인 없이 오래 혼자 일하는 것),

persistent memory,

headless browser,

sandbox execution.

 

이 단어들을 하나하나 이해할 필요는 없다. 중요한 것은 이 목록의 성격이 전부 같다는 점이다.

모델을 더 똑똑하게 만드는 기술이 아니다. 모델이 외부 세계에 손을 뻗는 방법이다.

---

산업이 요구하는 것은 '연결'이 아니라 '위임'이다

여기서 한 단계가 더 있다.

기업이 AI에 돈을 쓰는 이유는 질문에 답해주기 때문이 아니다. 일을 맡길 수 있기 때문이다. 그리고 일을 맡기려면 연결만으로는 부족하다.

사람에게 업무를 맡길 때를 생각해보면 된다. 계정을 준다. 시스템 접근 권한을 준다. 판단을 위임한다. 중간에 확인받지 않고 끝까지 진행하게 한다. 필요하면 다른 사람에게 일을 넘기게 한다.

AI에게도 정확히 같은 것이 요구된다. 그리고 그것이 지금 service account, API key, OAuth scope, RBAC, CI/CD 파이프라인 접근, RPA 연동, 에이전트 간 위임 같은 형태로 구현되고 있다.

그래서 외부 인터페이스는 단순히 하나씩 늘어나지 않는다.

하나가 다음 하나를 요구한다.

메일을 읽게 하려면 계정이 필요하고, 계정이 있으면 첨부 파일에 닿고, 파일에 닿으면 실행이 필요해지고, 실행이 되면 외부로 나가야 하고, 외부로 나가면 자격 증명이 필요하다. 각 단계는 앞 단계를 쓸모 있게 만들기 위해 열린다. 이것이 파생 확장 경로다.

그리고 이 경로는 한 번 열리면 닫히지 않는다. 업무가 그 위에 쌓이기 때문이다.

---

그래서 비유가 맞는 것이다

사람 사회에서 우리가 관리하는 것은 무기 그 자체가 아니다. 무기가 사람 손에 닿는 경로다.

누가 살 수 있고, 어디에 보관하고, 어떤 자격이 필요하고, 어디까지 들고 갈 수 있는지. 총 한 자루를 관리하는 것이 아니라 총에 닿는 길을 관리한다.

AI에서 지금 빠르게 늘어나고 있는 것도 무기가 아니라 경로다. 위의 키워드들은 각각 하나의 통로이고, 통로는 서로 연결되어 있다.

이 단어들을 다 알아야 한다는 뜻이 아니다. 다만 AI 안전을 걱정할 때, 걱정의 대상이 모델 하나가 아니라 이만큼의 통로가 매달 새로 열리고 있다는 사실이라는 점은 알아둘 만하다.

궁금한 단어가 있으면 찾아보면 된다. 찾아보면 공통점이 보일 것이다. 전부 '바깥으로 나가는 길'에 관한 것이다.