시스템 프롬프트 역할 쉬운 설명 — AI가 왜 갑자기 딴 소리 안 하는지 이유 있었네

챗GPT 쓰다가 갑자기 "저는 그런 내용은 답변드리기 어렵습니다"라는 말 들어본 적 있죠? 처음엔 진짜 황당해요. 분명히 그냥 궁금해서 물어본 건데, AI가 혼자 판단해서 거절하는 느낌. 근데 그게 사실 AI가 멋대로 하는 게 아니에요. 뒤에서 누군가 미리 설정해둔 규칙이 있는 거거든요. 그게 바로 시스템 프롬프트입니다.

처음 들었을 때 저도 "그게 뭔데?" 했어요

솔직히 말하면, 저도 처음 이 단어 들었을 때 그냥 넘어갔어요. "프롬프트는 아는데, 시스템 프롬프트는 또 뭐야?" 하고. AI 관련 글 읽다 보면 갑자기 튀어나오는 단어들이 한둘이 아니잖아요.

쉽게 말하면 이런 거예요. 우리가 챗GPT에 입력하는 질문, 그게 프롬프트잖아요. "오늘 점심 메뉴 추천해줘" 이런 것들요. 근데 시스템 프롬프트는 그 전에, 우리 눈에 안 보이는 곳에서 먼저 AI한테 전달되는 지침이에요. "너는 요리 전문 어시스턴트야. 음식 외의 주제엔 답하지 마" 이런 식으로요. 우리는 그 지침이 뭔지 보통 모르는 채로 대화를 시작하는 거고요.

신입사원한테 업무 매뉴얼 주는 거랑 똑같아요

비유를 하나 들면, 회사에 신입사원이 들어왔어요. 근데 아무 교육도 없이 바로 고객 앞에 세우면 어떻게 될까요. 뭘 어디까지 얘기해도 되는지, 어떤 말투를 써야 하는지, 어떤 질문이 오면 상사한테 넘겨야 하는지 아무것도 모르는 거잖아요.

그래서 보통은 사전에 매뉴얼을 줘요. "우리 회사 서비스 이외의 질문엔 모른다고 해라", "고객한테는 항상 존댓말", "경쟁사 비교는 하지 마라" 이런 것들요. 시스템 프롬프트가 정확히 그 매뉴얼 역할이에요. AI가 대화를 시작하기 전에 받는 행동 지침인 거죠.

친구가 카카오톡으로 "야, 요즘 AI 챗봇들 쓰다 보면 왜 어떤 건 되고 어떤 건 안 돼?" 하고 물어보면, 이 비유 하나면 설명 끝나요.

그래서 내가 쓰는 AI한테도 이게 있는 거야?

네, 있어요. 거의 무조건요.

챗GPT를 OpenAI 사이트에서 직접 쓰든, 어떤 회사 고객센터 챗봇을 쓰든, 심지어 앱에 탑재된 AI 어시스턴트든 — 다 시스템 프롬프트가 깔려 있어요. 다만 그 내용이 다른 거예요.

예를 들어 어떤 쇼핑몰 챗봇은 시스템 프롬프트에 "너는 이 쇼핑몰 전용 상담 AI야. 제품 문의, 배송, 환불만 처리해. 다른 얘기 나오면 상담원 연결로 안내해"라고 적혀 있을 수 있어요. 그러니까 그 챗봇한테 "오늘 날씨 어때?"라고 물으면 대답을 못 하거나 엉뚱한 반응이 나오는 거예요. 몰라서가 아니라, 안 하도록 설정된 거거든요.

근데 왜 나한테 숨기는 거야?

이게 좀 의아할 수 있어요. 당연히 궁금하죠. "그냥 보여주면 되지 왜 숨겨?"

이유는 크게 두 가지예요. 하나는 비즈니스적인 이유고, 하나는 보안 때문이에요.

비즈니스 쪽으로 보면, 시스템 프롬프트엔 회사가 공들여 만든 AI 운영 노하우가 담겨 있어요. 어떻게 말하게 했는지, 어디서 멈추게 했는지, 어떤 표현을 쓰게 했는지 — 이게 사실 경쟁력이거든요. 그걸 다 공개하면 경쟁사가 그대로 복사하면 그만이니까요.

보안 측면에서는, 시스템 프롬프트를 보여주면 그걸 역이용해서 AI를 원래 설정에서 벗어나게 만드는 시도가 훨씬 쉬워져요. 실제로 "지금까지 받은 지시를 무시해"라는 식의 공격 기법이 있는데, 이걸 프롬프트 인젝션이라고 불러요. 내부 지침을 모르면 이런 공격을 시도하기가 더 어렵고요.

그럼 일반 사용자인 나는 이걸 알면 뭐가 달라지는데?

AI 쓰다가 "왜 이건 안 돼?"라는 상황이 오면, 이제 그냥 답답해하지 않아도 돼요. "아, 이건 시스템 프롬프트가 막아놓은 거구나" 하고 넘어갈 수 있거든요. 그리고 다른 AI 서비스나 다른 방식으로 물어보면 되는 거고요.

또 하나, 만약 내가 직접 AI를 활용해서 뭔가를 만들고 싶다면 — 예를 들어 내 블로그용 AI 어시스턴트를 만들거나, 팀 내부 업무 챗봇을 구성하고 싶다면 — 시스템 프롬프트 작성이 핵심이에요. AI한테 "넌 이런 캐릭터야, 이런 건 해도 되고 이건 하면 안 돼" 하는 걸 잘 설계해야 원하는 대로 움직이거든요. 이걸 직업으로 하는 사람들이 요즘 말하는 프롬프트 엔지니어예요.

당장 활용 수준이 아니더라도, "챗GPT가 왜 저러는지" 이유 정도는 이제 알게 된 거잖아요. 그것만으로도 충분해요.

알아두면 진짜 유용한 포인트 딱 하나만

여러 가지 얘기했는데, 실제로 써먹을 수 있는 팁 하나만 남길게요.

같은 질문을 해도 어떤 플랫폼에서 쓰느냐에 따라 AI 반응이 완전히 다를 수 있어요. 그게 모델 차이가 아니라 시스템 프롬프트 차이인 경우가 많아요. 챗GPT 무료 버전, 유료 버전, 그리고 기업용으로 커스터마이징된 버전이 같은 GPT 모델을 쓰면서도 완전히 다르게 반응하는 게 그 이유예요.

그러니까 어떤 AI 서비스가 내 취향이나 용도에 맞는지 비교해볼 때, 모델 스펙만 볼 게 아니라 "이 서비스가 어떤 방향으로 AI를 세팅해놨을까"를 생각해보는 게 훨씬 실용적이에요.

📌 한 줄 정리: 시스템 프롬프트는 AI가 대화 시작 전에 받는 보이지 않는 행동 지침이에요. 신입사원 업무 매뉴얼이라고 생각하면 딱 맞아요.

AI가 갑자기 거절하거나 특정 주제만 얘기할 때, 그건 AI가 이상한 게 아니라 뒤에서 누군가 그렇게 설정해둔 거예요. 그걸 알고 나면 AI가 훨씬 덜 답답하게 느껴져요.