“챗봇 도입하면 상담이 줄어들 줄 알았는데, 오히려 재인입만 늘었다.” CS 현장에서 챗봇 도입 후 종종 듣는 말이다.
자동응답률은 올라가도 오히려 회원의 재인입률은 오히려 증가하거나 그대로인 경우가 있다.
원인은 상담 채널, 상담 도구의 문제가 아니라 지식베이스(KB) 설계에 있다.
KB는 질문에 답하는 문서가 아니라 ‘다음 질문을 막는’ 설계물이어야 한다.
예를 들어 환불 규정을 안내할 때 “언제 입금되나요”라는 후속 예상 질문까지 1차 답변에 포함시키면 재인입 자체가 감소 시킬 수 있다.
즉 1차 고객 문의 시점 후속되는 고객 경험, 추가 행동 등을 예상하여 시나리오를 설계하여야 실질적인 자동 응답률을 개선할 수 있다.
이 판단은 CS 실무를 직접 다뤄본 사람만 할 수 있는 영역이라 생각했고, 이걸 증명하기 위해 Claude로 AI 챗봇을 직접 구축해봤다. (실제 사내 데이터가 아닌 합성 문의 데이터 기준이다.)
구축 과정
문의 유형을 KB만으로 답변 가능한 정책형(71건), 개인 데이터 확인이 필요한 조회형(23건), 사람이 판단해야 하는 판단형(6건)으로 분류했다.
KB는 Claude 프로젝트 지식으로 탑재하고, 응대 원칙·이관 기준·정책값은 별도 지침으로 분리해 정책이 바뀌어도 KB 문서는 그대로 두고 지침값만 수정하면 되는 구조로 만들었다.
검증: KB 설계가 실제로 재인입을 줄이는가
여기서 그치지 않고, “선제 안내 설계”라는 원칙 자체를 A/B로 검증했다. KB 61건을 선제 안내가 없으면 재인입이 거의 확실한 Critical(16건), 일부만 재인입되는 Helpful(29건), 답변만으로 완결되는 Minor(16건)로 나누고, 선제 안내 없는 KB(A안)와 설계된 KB(B안)의 재인입률을 비교했다.
Critical은 90%→15%(75%p↓), Helpful은 40%→10%(30%p↓), Minor는 5%→3%(2%p↓)로 줄었다(가정 시나리오).
정책형 71건 전체 재인입률은 45%→10%로 35%p 개선됐고, 자동응답률이 71%로 동일한데도 실질 자동완결률은 39.1%→63.9%로 약 25%p 차이가 났다.
또한, 직전 근무지 재직 당시 KB설계 (상담 매뉴얼 정비)로 재인입 약 40% 감소 (1,000건당 250 → 150건) 라는 성과로 냈고, 실제 데이터로 검증해냈었다.
정리
자동응답률은 도입 여부를 보여줄 뿐, 실질 절감 효과는 KB 설계 품질이 결정한다. 그리고 KB 61건을 전부 똑같이 정성 들일 필요는 없다 — Critical 항목처럼 설계 유무가 결과를 가르는 문항에 리소스를 집중하는 것도 설계의 일부다.
비개발자라도 AI 도구를 다룰 줄 아는 것과, CS 실무 기준으로 그 설계를 판단하고 검증할 줄 아는 것은 다른 역량이다.
※ 위 수치는 합성 데이터 기반 시뮬레이션이며, 재인입 발생률은 KB 선제 안내 강도를 3단계로 분류한 뒤 실무 경험을 기준으로 가정해 산출했습니다.
