AI가 틀린 내용을 자연스럽게 설명하면 오류를 알아채기 어렵다. 문장이 정돈돼 있고 이유까지 붙어 있으면 더 그렇다. 그래서 나는 답의 유창성만으로 신뢰를 판단하지 말고, 확인하고 고칠 수 있는 작업을 설계해야 한다고 생각한다.
기존 글의 ‘환상은 없애서도 안 된다’는 표현은 이 목적을 흐릴 수 있다. 사실이 아닌 정보를 줄이는 노력은 필요하다. 동시에 오류가 남을 수 있다는 조건에서 발견·수정·중단할 방법도 필요하다. 예방과 관리를 서로 반대편에 놓을 이유는 없다.
설명을 보여주는 것만으로는 부족하다
단계가 있는 설명은 검토할 자리를 만들 수 있다. 하지만 그 단계가 정확하다는 보장은 아니다. 이유가 붙은 잘못된 결론도 있을 수 있고, 인용이 있어도 해당 주장을 지지하지 않을 수 있다.
따라서 검토 가능한 설명에는 결론뿐 아니라 사용한 자료, 적용한 조건, 확인하지 못한 부분이 드러나야 한다. 내부 사고를 전부 공개하라는 요구보다, 판단에 필요한 근거와 확인 절차를 요구하는 편이 구체적이다.
‘AI가 사고하는가’라는 논쟁을 끝내야만 이런 작업을 시작할 수 있는 것도 아니다. 현재 답에서 확인할 수 있는 오류와 빠진 조건부터 다룰 수 있다.
관리한다는 말에 포함할 네 가지
첫째, 주장과 자료를 연결한다. 중요한 수치나 사실은 출처를 열어 조건과 날짜를 대조한다. 답이 출처보다 넓은 결론을 내렸다면 그 부분을 추론으로 구분한다.
둘째, 사용자가 수정할 수 있게 한다. 맥락이 틀렸다면 어떤 조건을 바꿨는지 기록하고 다시 답을 받는다. 답변이 바뀌었다는 사실만으로 옳아졌다고 보지 않고 수정한 부분을 확인한다.
셋째, 멈출 조건을 둔다. 필요한 근거가 없거나 결과를 되돌리기 어렵다면 바로 실행하지 않는다. 누가 어떤 자료를 확인해야 다음 단계로 갈 수 있는지 정한다.
넷째, 채택의 책임을 분명히 한다. 모델과 사람에게 책임을 막연히 나누기보다, 실제로 누가 검토하고 결정하며 문제가 생겼을 때 수정하는지 정한다.
한 번의 답을 어떻게 다룰까
예를 들어 AI가 업무 절차의 변경안을 제시했다면, 변경의 이유와 전제부터 적는다. 현재 운영 기록으로 확인되는 부분, 모델이 추정한 부분, 담당자가 판단해야 하는 부분을 나눈다. 실행 전에는 작은 범위에서 시험할 수 있는지 살핀다.
시험이 기대와 다르면 결과를 숨기지 않고 어떤 가정이 틀렸는지 돌아본다. 잘못된 답을 발견한 기록은 다음 사용 조건을 정하는 재료가 된다. 같은 오류가 반복되면 프롬프트만 고칠 것이 아니라 자료와 도구, 업무 배치까지 검토할 필요가 있다.
내가 말하는 관리 가능한 추론 전략은 이런 작업의 제안이다. 특정 논문이 효과를 입증한 완성된 방법론이라고 말하려는 것은 아니다. 결과를 믿게 만드는 표현보다, 틀렸을 때 발견하고 고칠 수 있는 조건을 우선하자는 뜻이다.
AI의 출력을 발판으로 사람은 생각할 수 있다. 그 발판이 어디에 기대고 있고 언제 흔들리는지 알 수 있어야 한다. 내가 남기고 싶은 것은 환상의 가치보다 그 확인 가능성이다.