글쓴이
고경만
더 프로메테우스 대표
해경 (解經) · 더 프로메테우스(ThePrometheus) 대표. 한국자연주의의사결정학회 회장, 에그클(AI Growth Club) 설립자 · 호스트, 바이브워커스 파트너.
AI·기술

할루시네이션 위험 증가
– Search GPT 와 Perplexity 는 아직, 실시간 스크래핑(크롤링)을 하지 않습니다. LLM 미신은 할루시네이션을 유발하고, LLM의 효용 가치를 떨어뜨립니다.
실시간 데이터 수집의 방식은 두 갈래로 나뉩니다. 실시간 스크래핑과 실시간 쿼리 방식, 이 두 가지는 표면적으로는 유사해 보이지만, 그 성격은 다릅니다. 만약 우리가 실시간 쿼리 방식을 실시간 스크래핑으로 오해한다면, LLM의 효용 가치가 떨어지게 됩니다. 특히, 생략된 맥락이나 정보에 의해 할루시네이션 위험이 증가 할 수 있습니다.
ChatGPT의 SearchGPT나 Perplexity와 같은 서비스는 실시간 스크래핑(또는 크롤링)을 하지 않습니다. 그들은 대화의 흐름 속에서 질문이 들어올 때마다 필요한 정보를 신뢰할 수 있는 출처와 허가된 API에서 실시간 쿼리 방식으로 불러옵니다. 이는 한번에 관련 페이지의 정보를 긁어 모아오는 것이 아니라, 그 때 그때 프롬프트에 맞는 정보를 가져와서 제공하는 것입니다. 따라서 맥락을 잃어버릴 수 있으며, 전체로부터 괴리가 일어날 수 있습니다.
PS. 이 글에서는 실시간 쿼리 방식과 실시간 스크래핑 방식의 차이를 강조하기 위해서, 스크래핑 방식과 크롤링 방식의 디테일한 차이점은 다루지 않습니다.
| 비교 항목 | 실시간 쿼리 방식 | 실시간 스크래핑 방식 |
|---|---|---|
| 데이터 접근 방식 | 필요한 정보를 요청할 때마다 API나 신뢰 가능한 출처에서 가져옴 | 웹페이지에서 데이터를 실시간으로 수집하여 저장 및 활용 |
| 정보 제공 속도 | 매우 빠름, 필요한 정보만 선택적으로 수집 | 중간~빠름, 대량의 데이터 수집이 필요한 경우 시간 소요 |
| 정보의 최신성 | 요청 시점의 최신 정보를 실시간으로 가져옴 | 데이터가 미리 수집되므로 최신 정보 유지에 제한적일 수 있음 |
| 법적 이슈 | 허가된 API와 출처 사용으로 법적 문제가 적음 | 무단 스크래핑 시 법적 문제가 발생할 수 있음 |
| 할루시네이션 위험 | 제한된 출처에서 정보가 부족할 경우 발생할 수 있음 | 데이터가 충분하기 때문에 상대적으로 낮음 |
실시간 쿼리 방식은 실시간 스크래핑 방식보다 할루시네이션이 일어날 가능성이 높습니다. 그렇다면 실시간 쿼리 방식에서는 어떻게 이용해야 할까요. 우선, Perplexity 나 SearchGPT 가 데이터를 통으로 가져 오지 않는다는 것을 이해할 필요가 있습니다. 오해하지 않는것, 이것이 시작입니다.
할루시네이션 위험을 과소평가하지 않기 위해서는, 단순히 정보의 흐름을 이해하는 것에 그치지 않고, 다양한 맥락에서 정보를 접근하려는 노력이 필요합니다. 이는 마치 나무가 다양한 계절과 날씨 속에서 자신을 적응시키듯, 우리는 다양한 시각과 접근 방식을 통해 정보를 다루어야 합니다.
글쓴이
더 프로메테우스 대표
해경 (解經) · 더 프로메테우스(ThePrometheus) 대표. 한국자연주의의사결정학회 회장, 에그클(AI Growth Club) 설립자 · 호스트, 바이브워커스 파트너.

핵심 명제: “도구는 Code로 구현되고, Code를 LLM이 운영하며, 최종 가치와 판단의 책임은 인간이 소유한다.” — 1. 프롬프트 요령의 한계와 판단의 공백 최근 수많은 조직이 AI 에이전트와 LLM을 실무에 도입하고 있습니다. 하지만 현장에서 마주하는 진짜 문제는 “프롬프트를 얼마나 유려하게 작성하는가”가 아닙니다. 실무의 성패를 가르는 본질은 “무엇을…

AI가 그럴듯한 답을 냈는데도 믿기 어려웠다면, 문장이 약해서가 아니라 요청 안에 너무 많은 판단을 숨겼기 때문일 수 있습니다. 이 분야의 모든 전문가가 공유하는 핵심 멘탈 모델 다섯 가지 같은 문장에는 분야, 전문가, 공유의 기준, 핵심의 기준, 개수 제한이 한꺼번에 들어 있습니다. 좋은 프롬프트는 멋진 문장…

짧게 말하면, AI 결과의 신뢰성은 믿을 만해 보이는가로 판단하면 안 된다. 이 결과를 어디까지 쓸 것인지, 무엇이 근거인지, 어떤 한계가 있는지, 언제 의심할지, 누가 되돌릴지를 함께 정해야 한다. AI가 결정 루프에 들어올수록 사람의 역할은 줄어들지 않는다. 사람은 AI의 제안을 받아 적는 대신, 계약과 경계와 책임을…