챗봇한테 시켰는데 왜 혼자 못 할까, AI 에이전트랑 뭐가 다른 거야

카카오톡 고객센터 챗봇한테 환불 신청해봤다가 "담당자 연결해드릴게요"만 세 번 들어본 적 있으세요? 저는 있어요. 그 순간 드는 생각이 딱 하나죠. "이게 AI라며, 왜 혼자 못 해결하는 거야."

요즘 뉴스에서는 "AI 에이전트가 업무를 자동화한다"는 말이 심심찮게 나오는데, 막상 내가 매일 쓰는 챗봇이랑 뭐가 다른 건지 감이 잘 안 잡히더라고요. 이 글에서는 그 차이를 억지로 도식화하지 않고, 그냥 제가 이해한 방식 그대로 풀어볼게요. 참고로 이 글은 AI 에이전트 입문 시리즈의 기둥글과 함께 읽으면 훨씬 입체적으로 이해가 됩니다.

챗봇이 "잘 대답하는 AI"라면, 에이전트는 "혼자 움직이는 AI"

챗봇의 핵심은 대화입니다. 질문하면 답한다. 그게 전부예요.

쉽게 말하면 이런 거예요. 챗봇은 엄청 박식한 친구인데, 본인이 직접 뭔가를 하지는 않아요. "여행 계획 어떻게 짜면 좋아?"라고 물으면 멋진 답변을 줘요. 근데 "그럼 네가 항공권 예약해줘"라고 하면? 거기서 멈춥니다. 말로만 알려줄 수 있고, 행동은 못 해요.

AI 에이전트는 달라요. 목표를 주면, 그 목표를 달성하기 위해 필요한 단계를 스스로 짜고, 도구를 써서, 직접 실행합니다. 항공권 예약 사이트에 들어가고, 조건에 맞는 항공편을 검색하고, 결제까지 처리할 수 있어요. 사람이 중간중간 개입하지 않아도요.

이 차이가 작아 보이지만, 실제로는 엄청나게 큰 차이입니다.

핵심 차이 1 — 챗봇은 한 번에 하나, 에이전트는 연속으로 여러 개

챗봇은 기본적으로 요청 하나에 응답 하나예요. 대화가 이어지더라도, 매 순간은 독립적으로 처리됩니다. 이전 대화 내용을 기억하는 것처럼 보여도, 실제로는 이전 맥락을 함께 집어넣어서 새로운 요청으로 처리하는 거거든요.

에이전트는 다릅니다. 목표 하나를 받으면, 거기에 도달하기 위한 여러 단계를 알아서 계획하고 순서대로 실행해요. 이 과정에서 이전 단계 결과를 다음 단계에 활용하고, 중간에 예상치 못한 상황이 생기면 계획을 수정하기도 합니다.

친구가 "AI한테 보고서 써달라고 했더니 잘 써줬는데, 관련 데이터 검색은 왜 못 해줘?" 하고 물어본 적 있어요. 그건 챗봇이라 그래요. 에이전트였다면 "보고서 써줘"라는 말 한마디에 알아서 웹 검색도 하고, 데이터도 정리하고, 초안까지 완성했을 거예요.

핵심 차이 2 — 도구를 쓰느냐, 말만 하느냐

챗봇은 언어 모델 그 자체예요. 텍스트를 입력받고, 텍스트를 출력합니다. 그게 잘 만들어진 챗봇이든, 간단한 FAQ봇이든 기본 구조는 같아요.

에이전트는 외부 도구와 연결됩니다. 웹 검색 API, 달력 앱, 이메일, 스프레드시트, 심지어 코드 실행 환경까지. 이렇게 AI가 외부 시스템과 연결되는 방식 자체가 요즘 빠르게 바뀌고 있는데, 그 흐름이 궁금하다면 AI가 도구를 쓰는 방식, MCP 프로토콜이 바꾸고 있는 것들을 같이 읽어보면 좋아요.

도구를 쓴다는 게 왜 중요하냐면, 현실에서 일어나는 거의 모든 업무가 "정보를 가져오고 → 판단하고 → 실행하는" 순서로 이루어지거든요. 챗봇은 판단까지는 할 수 있지만, 정보를 직접 가져오거나 실행하지는 못해요. 에이전트는 세 단계를 다 할 수 있고요.

핵심 차이 3 — 사람이 얼마나 붙어 있어야 하냐

처음엔 저도 이 부분을 제일 간과했어요.

챗봇을 쓸 때는 사람이 계속 옆에 있어야 해요. "이거 해줘" → 결과 받기 → "그럼 이것도 해줘" → 결과 받기. 이 루프를 사람이 계속 돌려야 합니다. AI가 아무리 뛰어나도, 다음 단계로 넘어가는 건 결국 사람의 몫이에요.

에이전트는 다른 개념이에요. 사람이 목표를 던져주면, 중간 과정은 혼자 처리합니다. 마치 직원한테 "이번 달 경쟁사 가격 분석 보고서 만들어줘"라고 하면 알아서 자료 모으고 정리해서 들고 오는 것처럼요. 사람이 매 단계를 지시할 필요가 없어요.

이걸 전문 용어로 "자율성"이라고 하는데, 에이전트가 챗봇보다 자율성이 훨씬 높습니다. 근데 자율성이 높아지면 그만큼 통제하기도 어려워지는 trade-off가 생기긴 해요. 그래서 실제 현장에서는 에이전트가 혼자 다 처리하기보다, 중요한 결정 지점에서 사람에게 확인받는 구조로 설계하는 경우가 많아요.

그래서 나는 뭘 써야 할까

솔직히 말하면, 지금 당장 일반 사용자가 AI 에이전트를 직접 세팅해서 쓰는 건 쉽지 않아요. 아직 도구나 환경이 완전히 대중화된 단계는 아니거든요. 근데 이미 우리가 쓰는 서비스 안에 에이전트 기능이 슬금슬금 들어오고 있어요. 노션 AI, 구글 Workspace AI, 코파일럿 같은 것들이 그 예시예요.

판단 기준은 이거예요. 내가 원하는 게 "대화 상대"면 챗봇으로 충분합니다. 아이디어 정리, 글 초안, 질문에 대한 답 같은 것들이요. 근데 내가 원하는 게 "대신 처리해주는 것"이라면 에이전트가 필요해요. 반복적인 데이터 정리, 일정 관리, 여러 시스템을 넘나드는 업무 자동화 같은 것들이요.

지금 당장은 둘의 경계가 좀 흐릿한 것도 사실이에요. 챗GPT나 Claude에 웹 검색 기능이 붙으면서 "챗봇이지만 약간 에이전트스럽게" 진화하고 있거든요. 에이전트가 판단할 때 외부 지식을 가져오는 방식도 함께 이해해두면 좋은데, 그 부분은 AI가 인터넷을 뒤지는 방법, RAG가 뭔지 궁금했다면에서 자세히 다루고 있어요.

용어가 헷갈리면 이렇게 기억하세요

저는 이렇게 기억해요. 챗봇은 "말 잘하는 AI", 에이전트는 "일 처리하는 AI". 그게 전부예요.

말 잘하는 게 필요한 상황이 있고, 일 처리가 필요한 상황이 있어요. 둘 중 하나가 무조건 낫다고 할 수 없어요. 근데 앞으로 AI가 우리 일상에 더 깊이 들어올수록, 에이전트 방식이 훨씬 많은 영역을 바꿔놓을 거예요. 그게 최근 기술 업계가 에이전트에 그렇게 열을 올리는 이유이기도 하고요.

📌 한 줄 정리: 챗봇은 질문에 답하는 AI고, 에이전트는 목표를 받아 스스로 계획하고 도구를 써서 실행하는 AI다. 대화가 필요하면 챗봇, 업무 자동화가 필요하면 에이전트.