AI가 답에 이르는 설명을 길게 제시하면 생각을 깊이 한 것처럼 느껴진다. 하지만 설명의 길이와 문제를 푼 결과는 따로 확인해야 한다. 나는 《The Illusion of Thinking》을 그 구분을 요구하는 연구로 읽는다.
[Apple 연구진의 논문](https://machinelearning.apple.com/research/illusion-of-thinking)은 복잡도를 조절할 수 있는 퍼즐 과제에서 추론 모델과 일반 모델의 성능을 비교했다. 연구진은 평가한 조건에서 낮은 복잡도, 중간 복잡도, 높은 복잡도에 따라 성능 양상이 달라지고, 높은 복잡도에서는 두 부류 모두 크게 실패하는 구간을 보고했다.
이 결과를 읽을 때는 어떤 모델과 과제, 출력 조건을 평가했는지를 함께 봐야 한다. 한 연구의 결과를 현재의 모든 모델과 모든 업무에 그대로 옮길 수는 없다.
관측한 실패와 ‘생각하지 않는다’는 결론 사이
기존 글에서는 이 논문을 근거로 LLM이 실제로 사고하지 않는다고 결론 내렸다. 그러나 실험에서 특정 과제를 풀지 못했다는 관측과 사고의 실재에 관한 철학적 결론은 같은 층위가 아니다. 출력만으로 인간과 같은 사고인지 판정하는 데에는 별도의 논의가 필요하다.
추론의 흔적처럼 보이는 텍스트도 내부 과정 전체를 그대로 보여주는 창이라고 가정해서는 안 된다. 이용자는 그 설명을 읽고 검토할 수 있지만, 설명이 그럴듯하다는 사실을 정답이나 안전한 판단의 증명으로 삼을 수는 없다.
인간의 신뢰가 어떻게 생기는지에 관한 주장도 별도다. 이 논문이 사용자에게 설명을 보여주고 신뢰를 측정한 연구인 것처럼 인용해서는 안 된다.
전문성 연구에서 가져올 질문
나는 자연주의적 의사결정과 인지 과업 분석을 이런 결과를 읽는 질문으로 사용하고 싶다. 문제가 어려워졌을 때 어떤 단서를 놓쳤는지, 접근을 바꿀 필요를 감지했는지, 결과를 어떻게 확인했는지 묻는 것이다.
다만 LLM을 RPD의 특정 유형으로 분류한 것이 실험으로 확인됐다고 말할 수는 없다. 그것은 저자가 제안하는 해석의 틀이다. 모델의 성능 변화와 인간 전문가의 상황 재해석을 비교해 볼 수는 있어도 둘을 같은 기제로 단정할 수 없다.
실제 업무에서는 난도를 나누어 확인하기
AI에 맡기는 작업 하나를 골라 쉬운 사례와 어려운 사례를 함께 살펴보자. 정답 여부뿐 아니라 필요한 자료를 빠뜨리는지, 제약을 지키는지, 틀린 결과를 알아차릴 수 있는지도 기록한다.
설명을 더 길게 요청했을 때 실제 오류가 줄었는지 확인한다. 설명만 길어지고 결과가 같다면 다른 접근이 필요할 수 있다. 문제를 나누거나 계산·검색 도구를 사용하거나 사람이 확인하는 방법을 검토하되, 바꾼 조건에서도 다시 시험한다.
확인할 기준이 없는 작업이라면 그 한계부터 남긴다. 설명이 상세하다는 이유로 채택을 서두르기보다 어떤 부분을 검증할 수 있고 어떤 부분은 판단이 필요한지 구분한다.
이 연구가 내게 남기는 질문은 ‘생각하는 것처럼 보이는가’에서 끝나지 않는다. 어떤 조건에서 무엇을 해냈고, 어디서 실패했으며, 그 차이를 우리가 알아볼 수 있는가. 협력의 설계는 그 관측에서 시작해야 한다.