AI가 거짓말하는 게 아니라, 모르면서 아는 척하는 거라고

ChatGPT한테 뭔가 물어봤는데, 대답이 너무 그럴듯해서 그냥 믿고 썼다가 나중에 다 틀린 거 알게 된 경험 있지 않아요? 저도 있어요. 한번은 특정 법령 조항을 물어봤는데, 조문 번호까지 정확하게 말해줘서 그대로 문서에 넣었다가 낭패를 봤어요. 그 조항은 존재하지도 않았거든요.

이게 바로 AI 환각이에요. 영어로는 '할루시네이션(hallucination)'이라고 하는데, AI가 실제로 없는 정보를 있는 것처럼 만들어내는 현상이에요. 거짓말이라기보다는, 모르면서도 모른다는 걸 모르는 상태랄까요. 그래서 더 위험해요. 자신 있게 말하거든요.

이 글은 그 환각을 어떻게 줄일 수 있는지, 제가 실제로 써보고 효과 있었던 방법들을 정리한 거예요. 화려한 이론 말고, 지금 당장 프롬프트 창에서 쓸 수 있는 것들로만.

왜 AI는 틀리면서도 확신하는 걸까

AI 언어모델은 기본적으로 "다음에 올 말을 예측하는 기계"예요. 방대한 텍스트를 학습하면서 '이 맥락에서는 이런 말이 따라온다'는 패턴을 익히는 거죠. 그러다 보니 정확한 정보가 없어도, 문맥상 그럴듯한 말을 만들어내는 쪽으로 작동해요.

쉽게 비유하면, 시험 공부 안 했는데 답안지를 써야 하는 학생과 비슷해요. 완전히 모르진 않고, 언뜻언뜻 들은 것들을 조합해서 그럴싸한 답을 쓰는 거예요. 채점하기 전까지는 틀렸는지 몰라요.

이 문제가 단순한 불편함을 넘어서는 이유는, AI가 실제 업무나 의사결정에 쓰이기 시작하면서 신뢰성 자체가 흔들리기 때문이에요. 그래서 환각을 줄이는 건 AI를 제대로 쓰기 위한 기본기예요.

방법 1. "모르면 모른다고 해줘"를 명시적으로 써라

이게 제일 간단한데, 효과가 제일 크게 체감됐어요. 프롬프트 끝에 한 줄 추가하는 거예요.

"확실하지 않은 정보는 추측이라고 표시해줘. 모르는 건 모른다고 해도 괜찮아."

이 한 줄이 없으면 AI는 기본적으로 자신 있게 대답하는 방향으로 응답해요. 있으면, 적어도 불확실한 부분에 "이건 제가 정확히 확인할 수 없습니다" 같은 표시를 달아주기 시작해요. 100%는 아니지만, 확실히 달라져요.

친구한테 뭔가 부탁할 때도 "모르면 그냥 솔직하게 말해줘, 아는 척하지 말고"라고 하잖아요. AI한테도 그렇게 해야 해요.

방법 2. 출처를 함께 달라고 요청하면, 뭔가 달라진다

"출처도 같이 알려줘"라고 하면 AI가 더 신중하게 대답하는 경향이 있어요. 출처를 만들어내는 경우도 있긴 한데, 그보다 중요한 건 AI가 출처를 달아야 한다고 인식하는 순간 좀 더 검증된 정보를 끌어오려는 방향으로 움직인다는 거예요.

물론 나온 출처가 실제로 있는지 직접 확인하는 게 필수예요. 위에서 말한 법령 조항 사건도, 출처 확인만 했어도 막을 수 있었어요. AI가 준 출처를 그대로 믿으면 안 되고, 검색해서 실제로 존재하는지 한 번은 눌러봐야 해요.

이게 귀찮으면, 적어도 중요한 판단에 쓸 정보일수록 반드시 체크하는 습관을 들이는 게 맞아요. AI 모델의 신뢰도를 어떻게 평가할 수 있는지 관점에서 보면, 출처 검증 자체가 사용자 레벨에서 할 수 있는 가장 기본적인 평가예요.

방법 3. 질문을 좁힐수록 환각이 줄어든다

질문이 넓으면 AI가 채워야 할 공간이 커져요. 그 공간을 메우면서 없는 것도 만들어내게 돼요. 반대로 질문을 아주 구체적으로 좁히면, AI가 만들어낼 여지가 줄어요.

"AI에 대해 설명해줘"보다는 "2024년 기준 ChatGPT-4o와 Claude 3.5 Sonnet의 컨텍스트 창 크기 차이를 알려줘"가 훨씬 환각이 적어요. 범위가 명확하니까요.

일상 예시를 들면, 의사한테 "요즘 몸이 안 좋아요"라고 하면 두루뭉술한 대답이 오지만, "3일 전부터 오른쪽 갈비뼈 아래쪽이 식후에 15분 정도 욱신거려요"라고 하면 훨씬 구체적인 대답이 나오잖아요. 같은 원리예요.

방법 4. 역할을 줄 때는 "한계도 알고 있는" 전문가로 설정해라

프롬프트에 "너는 전문가야"라고 역할을 주는 건 꽤 흔한 방식이에요. 그런데 여기에 함정이 있어요. "전문가"로 설정하면 AI가 전문가처럼 자신 있게 말하려고 해요. 모르는 것도 전문가답게 그럴싸하게 채워요.

그래서 저는 이렇게 바꿨어요. "너는 이 분야에 깊은 지식을 가진 전문가지만, 불확실한 건 반드시 불확실하다고 밝히는 사람이야."

이렇게 하면 역할 안에 이미 겸손함이 포함돼요. AI가 그 역할에 맞게 응답하려다 보니, 자연스럽게 확신이 없을 때 표시를 달게 돼요. 사소해 보이지만 실제로 응답 질이 달라져요.

방법 5. 같은 질문을 다르게 여러 번 던져봐라

이게 좀 번거롭긴 한데, 중요한 정보일수록 써먹을 만한 방법이에요. 같은 내용을 묻는 질문을 표현만 바꿔서 2~3번 던져봐요. 그리고 대답이 일관성이 있는지 보는 거예요.

환각이 있는 정보는 질문이 바뀌면 대답도 흔들려요. 어떤 때는 A라고 하고, 어떤 때는 B라고 해요. 반면 실제로 학습이 잘 된 정보는 표현이 달라져도 핵심 내용이 일관돼요.

"이 정책 시행 연도가 언제야?" → "이 정책은 몇 년도에 도입됐어?" → "이 정책을 처음 도입한 시기가 언제야?" 이렇게 세 번 물어봤을 때 다 다른 연도가 나오면, 그건 믿으면 안 돼요.

참고로 이 접근법은 프롬프트 자체를 조작하거나 속이려는 시도가 있을 때도 일관성 체크가 방어 역할을 한다는 점에서, AI 보안 맥락에서도 꽤 유용한 습관이에요.

그래서 오늘 당장 뭘 바꾸면 돼?

다섯 가지를 한꺼번에 다 적용하려고 하면 오히려 아무것도 안 하게 돼요. 그냥 이것만 먼저 해봐요.

다음 번에 AI한테 뭔가 물어볼 때, 질문 맨 끝에 이 한 줄을 붙여봐요.

"확실하지 않은 건 추측이라고 표시해줘. 모르면 솔직하게 말해도 괜찮아."

단 한 줄인데, 응답이 달라지는 걸 바로 느낄 거예요. 거기서부터 시작하면 돼요. 나머지 방법들은 그 다음에 하나씩 붙여가면 충분해요.

AI를 쓰는 게 문제가 아니에요. 어떻게 쓰느냐가 문제예요. 환각을 완전히 없애는 건 지금 기술 수준에서는 불가능하지만, 줄이는 건 지금 당장 할 수 있어요. 그것도 프롬프트 한 줄로.

📌 한 줄 정리: AI 환각은 AI가 거짓말하는 게 아니라 모르는 걸 모른다는 구조적 문제라서, 사용자가 질문 방식을 바꾸는 것만으로도 체감되는 오류를 크게 줄일 수 있다.

• 프롬프트에 "모르면 모른다고 해줘"를 명시한다
• 출처를 요청하고, 나온 출처는 반드시 직접 확인한다
• 질문을 최대한 좁고 구체적으로 만든다
• 역할 설정 시 "불확실성을 인정하는" 전문가로 설정한다
• 중요한 정보는 표현을 바꿔 여러 번 물어보고 일관성을 확인한다