칼 포퍼는 X선비인가? - 핵물리학자와 PM이 발견한 AI 협업의 과학적 접근법

딸기카레 2025. 6. 25. 13:23

"나 이번주에 상반기 업무성과 발표가 있는데 AI로 1주일만에 만든 데이터 분석 소프트웨어를 실적으로 넣었어 ㅋㅋㅋ"

핵물리학 박사인 동생이 오전 11시경에 보낸 카톡이었다. C#으로 짠 분석 프로그램으로 기존에 매틀랩으로 하루 걸리던 작업을 버튼 하나로 처리할 수 있게 만들었다며 뿌듯해했다.

"우왕, 바이브 코딩이네."

25년 PM 경험으로 비슷한 상황을 수없이 겪어본 나는 동생의 성과를 알아봐줬다. 하지만 동생의 다음 말에서 익숙한 패턴이 보였다.

"한번 못알아먹기 시작하면 아무리 해도 해결이 안되더라구... 이틀동안 못알아먹고 뺑뺑이 돌다가, 새로운 대화창에서 새로 시작하니깐 한번에 해결하더라."

AI와 협업할 때 누구나 겪는 그 답답함이었다. 동생은 계속 털어놓았다.

"자꾸 안되었는데 다 되었다고... 완벽히 해결했습니다. 이러는데 해보면 안되어있고 ㅋㅋ"

그때 나는 동생에게 조언했다.

"기왕이면 개발스택 잡아달라고 하고, 지금 내 개발환경 설명해주고 시작해."

"개발 스택 잡아달라는게 뭐야?"

"전체 밑그림 잡는거. 제일 먼저 내 개발환경 알려주는거부터 해주고 개발스택 요구하고. 그럼 기준이 잡혀."

그리고 나는 AI와 협업할 때의 근본적인 문제를 설명해주었다.

"AI는 귀납기계라 모든 문제를 패턴, 다수설, 통념, 선입견, 심지어 집단환각까지 답으로 인식하거든.
시작점, 밑바탕, 스키마, 프로세스, 지향점, 원칙 이런거 먼저 잡아주지 않으면,
니가 아니다, 틀렸다 말하는 것에서 떠듬떠듬 상황을 파악하는 방식으로 일을 처리하거든."

그렇게 시작된 우리의 대화는 AI 협업의 본질에 대한 깊은 성찰로 이어졌다.

두 전문가의 AI 협업 현실

PM의 AI 활용: 패턴 분석의 달인

소프트웨어 개발 현장에서 AI는 정말 강력한 도구다. 특히 대량의 로그 데이터나 오류 메시지를 분석할 때 그 진가를 발휘한다.

최근 프로젝트에서 시스템 경고 메시지 수백 개가 쏟아졌을 때, AI는 몇 분 만에 패턴을 찾아냈다. "이 경고들은 대부분 메모리 부족과 관련이 있어 보입니다. 특히 오후 2-4시 사이에 집중적으로 발생하네요."

AI는 패턴 찾기의 달인이다.

개발 현장뿐만 아니라 마케팅에서도 그 진가를 발휘한다. 기존 전문가들의 교과서적 분석으로는 읽어낼 수 없는 시장 변화를 포착할 때가 그렇다. 원칙론에서 벗어나 대중들이 향하고 있는 방향, 심지어 '틀린 길'이라도 달려가는 흐름을 인터넷 상의 버즈량을 통해 파악해낸다. 인간이 며칠 걸려서 찾아낼 규칙성을 몇 초 만에 발견하는 것, 이것이 바로 귀납적 추론의 힘이다.

하지만 여기서 함정이 있다. AI가 찾은 패턴이 무엇을 의미하는지는 여전히 사람이 해석해야 한다는 것이다.

핵물리학자의 AI 활용: 해석의 한계

동생의 경우는 더 극명했다. 연구 데이터를 분석하는 도구를 만들려고 다양한 AI 도구들을 써봤지만, 매번 중요한 지점에서 막혔다고 했다.

"AI가 코드는 잘 짜주는데, 내가 원하는 게 뭔지를 이해를 못하겠어. 계속 비슷하지만 조금씩 다른 답만 주니까 결국 갈아엎고 처음부터 다시 했지."

이는 학술 연구에서만 나타나는 문제가 아니다. 기획 업무에서도 마찬가지다. AI에게 "우리 제품의 경쟁 우위 전략을 짜달라"고 요청하면, 일반적인 마케팅 이론들을 조합한 그럴듯한 답변을 내놓는다. 하지만 우리 회사의 특수한 상황, 경영진의 의도, 시장에서의 포지션 등 맥락적 요소들은 제대로 반영하지 못한다.

결국 동생은 개발환경과 스택을 처음부터 체계적으로 설계하고, AI는 보조 도구로만 활용해서 완성된 분석 툴을 만들어냈다.

AI는 연역적 사고가 약하다.

전체 구조를 파악하고 목표에 맞는 일관된 해답을 제시하는 것은 여전히 인간의 몫이다.

AI와의 현명한 협업 전략

1. 구조를 먼저, AI는 나중에

동생에게 해준 조언이 바로 이것이었다. "개발환경부터 제대로 잡고 시작해야 한다."

AI와 협업할 때 가장 중요한 것은 사람이 전체 구조와 방향을 설정하는 것이다. AI는 그 틀 안에서 구체적인 작업을 도와주는 보조 도구여야 한다.

프로젝트 목표와 요구사항 명확화
전체 아키텍처와 개발 스택 결정
단계별 마일스톤과 검증 기준 설정
이 모든 것이 끝난 후 AI 도구 활용

2. AI 결과는 가설로 취급하라

포퍼의 반증주의 관점에서 보면, AI가 제시하는 모든 결과는 가설일 뿐이다. 검증되고 반증될 수 있어야 한다.
실무에서 이를 적용하는 방법:

검증 가능한 형태로 요청: "이 데이터에서 패턴을 찾아줘" → "이 가설이 맞는지 데이터로 검증해줘"
반증 가능성 열어두기: AI 답변을 절대적 진실로 받아들이지 말고 항상 대안 가능성 고려
점진적 검증: 작은 단위로 나눠서 각 단계마다 결과 검증

연구자의 경우, "AI가 제시한 이론적 틀이 내 데이터와 연구 방법에 정말 적합한가?"를 끊임없이 질문해야 한다.
기획자라면 "AI가 추천한 전략이 우리 상황에서 실현 가능하고 효과적인가?"를 검토해야 한다.

3. 데이터 품질이 모든 것을 결정한다

AI는 입력된 데이터의 품질을 넘어설 수 없다.

쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out).

프로젝트에서 AI가 엉뚱한 경고를 낸 적이 있었다. 알고 보니 로그 수집 과정에서 타임스탬프가 잘못 기록된 데이터가 섞여 있었다. AI는 그 잘못된 데이터까지 포함해서 패턴을 찾으려다 보니 이상한 결론에 도달한 것이었다.

이는 다른 분야에서도 마찬가지다. 학술 연구에서 설문 데이터에 응답 오류나 편향이 섞여 있으면, AI가 그 오류까지 포함해서 '의미 있는' 패턴을 찾아낸다고 착각할 수 있다. 시장 조사에서도 특정 시점의 이벤트나 계절성 요인을 제대로 걸러내지 않으면, AI가 일시적 현상을 트렌드로 오인할 위험이 있다.

데이터 검증은 AI 활용의 전제조건이다.

4. 지속적 모니터링과 피드백

AI 시스템은 정적이지 않다.

새로운 데이터가 들어올 때마다 결과가 달라질 수 있다.

따라서 지속적인 모니터링과 피드백이 필수다.

개발 프로젝트에서는 시스템 환경이 바뀔 때마다 AI의 분석 결과를 재검토해야 한다.
연구에서는 새로운 논문이나 데이터가 추가될 때마다 기존 분석의 타당성을 점검해야 한다.
마케팅에서는 시장 상황이나 경쟁 환경이 변할 때마다 AI의 트렌드 분석을 업데이트해야 한다.

정기적인 결과 검토와 검증
예상과 다른 결과가 나올 때 원인 분석
환경 변화가 AI 성능에 미치는 영향 추적
팀원들과의 정기적인 AI 활용 경험 공유

5. 명확한 역할 분담

AI는 분석 도구, 인간은 의사결정자. 이 역할 분담을 명확히 하는 것이 성공적인 협업의 핵심이다.

AI의 역할: 데이터 처리, 패턴 발견, 옵션 제시, 반복 작업 자동화
인간의 역할: 목표 설정, 맥락 이해, 최종 판단, 윤리적 검토, 책임 담당

동생과 나는 각각 다른 분야에서 일하지만, 이 원칙은 공통적으로 적용된다는 것을 확인했다.

반증주의적 AI 협업 철학

대화를 마무리하면서 나는 동생에게 칼 포퍼의 예화를 들어주었다. 포퍼는 과학의 본질을 반증가능성에서 찾았다. 좋은 이론이란 검증될 수 있는 것이 아니라 반증될 수 있는 것이라고 했다. 관찰과 실험을 통해 언제든 틀렸음을 증명할 수 있어야 진정한 과학적 지식이라는 것이다.

포퍼가 과학자들에게 "당신의 이론이 틀릴 수 있다는 가능성을 항상 열어두라"고 했듯이, 우리도 "AI의 답변이 틀릴 수 있다는 가능성을 항상 열어두어야 한다."

하지만 동시에 씁쓸한 현실도 떠올랐다.

AI가 주도하는 사회가 되어가면서 사람들이 점점 다수설, 통념, 선입견, 심지어 집단환각까지 추종하는 상황이 되었다.

칼 포퍼 같은 천재도 지금 세상에서 태어나면 'X선비' 취급을 받게 될지도 모르겠다는 생각이 들었다.

집단과의 소통에서 이런 현상을 바꾸기는 어렵더라도, 개개인이 자신의 전문영역과 과제에서만큼은 현 세태와 달리 칼 포퍼식 접근법을 유지해야 한다.

AI는 강력한 도구다. 하지만 도구일 뿐이다.

그 도구를 어떻게 사용할지, 언제 믿고 언제 의심할지는 여전히 인간이 결정해야 한다.

25년 PM과 핵물리학 박사가 서로 다른 분야에서 찾아낸 공통된 진실이 있다면 이것이다: AI와 잘 협업하려면 AI를 맹신하지 말고, 끊임없이 검증하고 반증할 수 있는 자세를 유지해야 한다.

그래서 칼 포퍼는 X선비가 아니다. 오히려 AI 시대에 더욱 필요한 철학자다.

반증 가능성을 열어두는 것.

이것이 AI와 함께 일하는 우리가 잊지 말아야 할 과학적 태도다.