글쓴이
고경만
더 프로메테우스 대표
해경 (解經) · 더 프로메테우스(ThePrometheus) 대표. 한국자연주의의사결정학회 회장, 에그클(AI Growth Club) 설립자 · 호스트, 바이브워커스 파트너.
AI·기술

우리는 ‘신뢰’를 올리는 방법만 고민했고, ‘신뢰가 정당해지도록’ 설계하지 않았다.

AI 기반 의사결정지원 시스템(의사결정 지원 시스템, DSS)은 종종 “아직, 현장에서 작동하지 않는다”고 평가된다. 하지만 이 실패의 상당 부분은 모델 성능이 아니라 신뢰 보정(trust calibration) 문제다. 즉, 사용자가 믿는 것(trust)과 시스템이 실제로 해낼 수 있는 것(trustworthiness)이 어긋난다.
이 글의 요지는 단순하다.
현장에서 “AI가 안 된다”는 말은 대개 아래 중 하나다.
핵심은 이것이다.
이 세 가지는 모두 “모델이 틀렸다, 성능이 모자르다”만으로 설명되지 않는다.
실패의 근원에는 사람과 AI 시스템이 형상하는 관계가 무너진 결과이며, 신뢰 보정 실패가 그 시작점이다.
인간에게 신뢰(trust)는 위험이 있을 때만 의미가 있다.
사용자가 AI-DSS를 신뢰한다는 말은 보통 다음 두 조건이 있을 때 성립한다.
실무 판별 질문: 사용자가 모델을 무시해도 별 비용이 없다면, 우리는 ‘신뢰’를 평가하는 게 아니라 ‘선호/호감’을 평가하고 있을 가능성이 크다.
사람들은 AI를 막연히 신뢰하지 않는다. 항상 특정한 기대를 신뢰한다.
이 기대를 계약(contract)이라고 부르자.
사용자는 개발자가 말하지 않은 계약을 암묵적으로 가정한다. 그래서 첫 번째 처방은 단순하지만 강력하다.
지킬 계약을 명시하고, 지키지 못하는 경계(조건/예외)를 동시에 명시하라.
두 개는 다르다.
세련된 UI는 신뢰를 올릴 수 있지만 능력을 보장하지 않는다.
반대로 좋은 모델도 신뢰를 못 얻으면 미사용이 된다.
AI-DSS가 실패하는 이유는 이 둘을 섞어 “신뢰를 올리자”만 남기는 순간부터 시작된다.
‘신뢰가 높다’는 말이 곧 좋은 게 아니다.
부당한 신뢰는 특히 오남용(misuse)를 키운다.
모델의 실제 능력을 낮췄는데도 사용자 신뢰가 거의 그대로라면, 우리는 신뢰를 설계한 게 아니라 “연출”했을 가능성이 크다.
설계 포인트: 정확성 계약만이 아니라 공정성·드리프트 탐지·유보(abstain)·인간 개입 정책까지 계약으로 명시.
설계 포인트: 설명은 “신뢰 증폭기”가 아니라 “보정기(언제 의존/언제 의심)”로 설계.
정당한 신뢰는 보통 두 경로 중 하나(혹은 둘 다)를 통해 생긴다.
사용자가 모델의 추론 과정(또는 그에 충실한 신호)을 이해하고, 그 과정이 사용자의 priors(전문 규범/지식/기대)와 정합할 때 생긴다.
사용자가 추론을 이해하지 못해도, 평가 체계(검증/감사/운영 실적)가 믿을 만하면 생긴다.
여기서부터가 핵심이다. “신뢰 증가”가 아니라 “정당한 신뢰/불신 보정”을 설계한다.
템플릿:
“맥락 [C]에서, 이 시스템은 이해관계자 [S]에게 [계약]을 [경계/허용오차] 내에서 유지한다.”
예:
혹시 말해 붙이지만, 단순히 설문(“AI 신뢰합니까?”)만으로는 정당성을 알 수 없다.
설명가능성(XAI)을 “신뢰를 올리는 기술”로 두면 위험하다.
XAI의 역할은 계약에 대해:
형성하도록 돕는 것이다.
그리고 계약마다 필요한 설명은 다르다(정확성/공정성/프라이버시/책임성은 같은 설명으로 해결되지 않는다).
Q1. 정확도가 높은데도 DSS가 실패하는 이유는?
정확성 계약만 충족해도 사용자가 가정한 다른 계약(공정성/책임/강건성)이 깨지거나, 신뢰가 부당하게 형성되어 오남용·미사용이 발생할 수 있다.
Q2. 정당한 신뢰란?
신뢰가 시스템의 실제 능력(신뢰할 만함)에서 인과적으로 발생한 상태다.
Q3. UI 과신(부당한 신뢰)을 줄이려면?
UI/설명은 설득이 아니라 “경계·제약·유보 조건”과 “의존/의심 판단”을 돕도록 설계하고, 개입 기반 테스트로 검증한다.
Q4. 신뢰 보정이란?
사용자 신뢰 행동이 시스템 능력과 정렬되는 상태(과신도 불신도 아닌 적정 상태)다.

AI 의사결정지원이 실패하는 이유는 “모델이 나빠서”만이 아니다.
우리가 신뢰를 설계하지 않았기 때문이다.
이제 질문을 바꿔야 한다.
이 전환이 채택과 안전을 동시에 가능하게 한다.
(이 글은 한국어 버전 발행 글이며, 영문 버전은 이곳에 발행 되었습니다: augmentedtechnology.substack.com)
이 글은 아래 의사결정 연구 논문을 기반으로 작성 되었으며 ,
”Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI“
이 글을 작성하는 과정에는 LLM 기반 업무도구인 VibeWorkPlace(LLM Applications) 활용 했습니다.
글쓴이
더 프로메테우스 대표
해경 (解經) · 더 프로메테우스(ThePrometheus) 대표. 한국자연주의의사결정학회 회장, 에그클(AI Growth Club) 설립자 · 호스트, 바이브워커스 파트너.

핵심 명제: “도구는 Code로 구현되고, Code를 LLM이 운영하며, 최종 가치와 판단의 책임은 인간이 소유한다.” — 1. 프롬프트 요령의 한계와 판단의 공백 최근 수많은 조직이 AI 에이전트와 LLM을 실무에 도입하고 있습니다. 하지만 현장에서 마주하는 진짜 문제는 “프롬프트를 얼마나 유려하게 작성하는가”가 아닙니다. 실무의 성패를 가르는 본질은 “무엇을…

AI가 그럴듯한 답을 냈는데도 믿기 어려웠다면, 문장이 약해서가 아니라 요청 안에 너무 많은 판단을 숨겼기 때문일 수 있습니다. 이 분야의 모든 전문가가 공유하는 핵심 멘탈 모델 다섯 가지 같은 문장에는 분야, 전문가, 공유의 기준, 핵심의 기준, 개수 제한이 한꺼번에 들어 있습니다. 좋은 프롬프트는 멋진 문장…

짧게 말하면, AI 결과의 신뢰성은 믿을 만해 보이는가로 판단하면 안 된다. 이 결과를 어디까지 쓸 것인지, 무엇이 근거인지, 어떤 한계가 있는지, 언제 의심할지, 누가 되돌릴지를 함께 정해야 한다. AI가 결정 루프에 들어올수록 사람의 역할은 줄어들지 않는다. 사람은 AI의 제안을 받아 적는 대신, 계약과 경계와 책임을…