사진 한 장 보내면 Claude가 뭘 읽어내는 걸까
Claude Vision API가 이미지를 어떻게 이해하는지, 영수증·차트·사진 분석 등 실제 활용 사례를 통해 쉽게 풀어봤습니다. 텍스트 AI와 뭐가 다른지 궁금했다면 여기서 해결하세요.
회사 슬랙에 누군가 스크린샷을 붙여넣으면서 "이 그래프 해석 좀 해줘"라고 했을 때, 저도 처음엔 그냥 Claude 채팅창에 올렸어요. 그런데 생각해보면 그게 그냥 되는 게 아니잖아요. AI가 텍스트를 읽는 건 그러려니 했는데, 이미지를 '보고' 내용을 파악한다는 게 어떤 원리인지 — 솔직히 처음엔 전혀 감이 안 왔습니다.
Claude Vision API, 이름만 들으면 뭔가 대단한 것 같은데 막상 검색하면 기술 문서가 쏟아지고. 오늘은 그 당혹감에서 시작해서, 실제로 어디에 어떻게 쓰이는지까지 순서대로 풀어볼게요.
Vision API라는 게 대체 뭔데?
쉽게 말하면 이런 거예요. 기존 Claude API는 텍스트를 주면 텍스트로 답하는 구조였어요. 질문을 글로 쓰면 글로 답이 온다. 그런데 Vision API는 이미지를 함께 넘길 수 있어요. "이 사진 속에 뭐가 있어?" 혹은 "이 영수증 금액 합산해줘" 같은 걸 할 수 있게 된 거죠.
멀티모달이라는 단어를 뉴스에서 본 적 있을 거예요. 모달리티(modality)가 '입력 방식'이라고 보면 돼요. 텍스트 하나만 받던 AI가 이미지도 같이 받을 수 있게 됐다는 뜻이고, 그게 멀티모달입니다. Vision API는 그 멀티모달 기능을 개발자가 자기 서비스에 붙일 수 있도록 열어놓은 통로예요.
비유하자면, 원래는 전화 통화만 되던 채널에서 사진도 주고받을 수 있게 된 것과 비슷해요. 카카오톡이 문자에서 사진·동영상으로 확장된 것처럼.
그럼 이미지를 어떻게 "읽는다"는 거야?
친구가 "AI가 사진을 본다는 게 말이 돼?" 하고 물은 적 있어요. 그 질문이 사실 핵심이에요.
AI는 이미지를 픽셀 단위 숫자 배열로 받아들여요. 사람 눈이 빛의 파장을 색으로 인식하듯, AI는 수십억 장의 이미지를 학습하면서 "이런 패턴이 있으면 고양이", "이런 배치면 표 형식의 데이터" 같은 연결고리를 스스로 만들어낸 거예요. 학습 과정에서 이미지와 텍스트를 함께 학습했기 때문에, 그림을 보고 언어로 설명하는 능력이 생긴 거고요.
Claude의 경우 이미지를 base64 인코딩(이미지 파일을 텍스트 형태의 긴 문자열로 변환한 것)이나 URL 형태로 API에 전달하면, 모델이 그걸 해석해서 텍스트로 답변을 생성해요. 내부적으로는 이미지 전용 인코더가 시각 정보를 처리한 뒤, 언어 모델이 그 결과를 바탕으로 답을 만드는 구조예요.
참고로 Claude API를 처음 연결하는 과정이 궁금하다면 해당 글에서 기본 구조부터 설명해뒀으니, Vision API 전에 훑어보면 훨씬 수월해요.
실제로 어디에 쓰이냐고? 생각보다 범위가 넓어요
가장 많이 쓰이는 건 문서 처리 자동화예요. 종이 영수증 사진을 찍으면 날짜, 품목, 금액을 뽑아서 엑셀에 정리해주는 식. 경리 업무를 하는 지인이 실제로 이걸 써봤는데, 수작업으로 한 시간씩 걸리던 영수증 입력이 대폭 줄었다고 했어요.
차트·그래프 해석도 꽤 쓸모 있는 사례예요. 보고서 PDF에서 이미지로 박힌 그래프를 텍스트로 뽑아내거나, "이 추이 그래프 보고 전분기 대비 뭐가 달라졌는지 요약해줘" 같은 요청도 처리해요. 데이터가 숫자로 정리돼 있으면 다음 단계로 넘기기가 훨씬 쉬워지거든요.
이커머스에서는 상품 이미지를 넣으면 자동으로 설명 텍스트를 생성하는 데 써요. 사진 수백 장에 일일이 설명을 다는 게 원래 사람 손이 많이 가는 작업인데, 이걸 API로 자동화하면 시간이 확 줄어요. 물론 완벽하지 않아서 검수는 여전히 필요하지만, 초안 작성 시간 자체가 사라진다는 게 의미 있어요.
의료·법무 쪽에서는 검사 결과지 사진이나 계약서 스캔본에서 주요 내용을 추출하는 시도도 있어요. 다만 이 영역은 정확도 요구치가 높아서 AI 출력을 그대로 쓰는 경우는 거의 없고, 전문가 검토를 위한 사전 정리 용도로 활용하는 게 현실이에요.
쓰다 보면 생기는 질문들, 미리 답해드릴게요
어느 정도 해상도까지 인식하냐는 질문을 자주 받아요. Claude API 기준으로 이미지 크기에 제한이 있고, 너무 크면 자동으로 리사이즈돼요. 작은 글씨가 빽빽한 문서는 인식률이 떨어질 수 있어서, 가능하면 300dpi 이상 스캔본을 쓰는 게 좋아요.
비용 얘기를 안 하면 섭섭하죠. Vision API는 텍스트만 쓸 때보다 토큰 소모가 많아요. 이미지 한 장이 수백에서 수천 토큰을 차지할 수 있거든요. 이미지 크기와 해상도에 따라 달라지는데, API 비용 구조를 미리 파악해두지 않으면 나중에 청구서 보고 깜짝 놀랄 수 있어요. 이미지 처리를 대량으로 돌리기 전에 작은 배치로 먼저 테스트해보는 걸 추천해요.
그리고 한 번에 여러 이미지를 넘길 수 있냐는 것도 자주 묻는데, 가능해요. 여러 페이지짜리 문서를 이미지 배열로 넘기면 전체를 한 번에 처리해줘요. 단, 이미지 수가 늘어날수록 당연히 비용도 늘어나고 응답 시간도 길어지니까 적절한 균형이 필요해요.
실제로 코드는 어떻게 생겼어?
개념은 이해했는데 실제 코드가 어떤 모양인지 막막한 분들을 위해 간단히 보여드릴게요.
import anthropic
import base64
client = anthropic.Anthropic()
# 이미지 파일을 base64로 변환
with open("receipt.jpg", "rb") as f:
image_data = base64.standard_b64encode(f.read()).decode("utf-8")
message = client.messages.create(
model="claude-opus-4-5",
max_tokens=1024,
messages=[
{
"role": "user",
"content": [
{
"type": "image",
"source": {
"type": "base64",
"media_type": "image/jpeg",
"data": image_data,
},
},
{
"type": "text",
"text": "이 영수증에서 날짜, 총액, 품목 목록을 뽑아서 JSON 형식으로 정리해줘."
}
],
}
],
)
print(message.content)이게 다예요. 이미지를 base64 문자열로 바꿔서 content 배열에 텍스트와 함께 넣어주는 구조예요. URL로 넘기는 방식도 있는데, 그건 "type": "url"에 이미지 주소를 넣으면 돼요. URL 방식은 코드가 더 짧지만, 외부 이미지에 접근이 가능해야 해요.
텍스트 프롬프트 부분을 바꾸면 같은 이미지로 전혀 다른 결과를 뽑을 수 있어요. "이 사진에서 텍스트만 추출해줘"도 되고, "이 그래프의 트렌드를 세 문장으로 설명해줘"도 되고. 프롬프트가 구체적일수록 원하는 결과가 나올 확률이 높아요.
그래서 이게 나한테 어떻게 쓸모 있을까
코딩을 전혀 안 하는 분이라도 Vision 기능은 Claude.ai 채팅창에서 이미 쓰고 있을 거예요. 사진 올리고 질문하면 답해주는 그게 바로 Vision 기능이에요. API는 그걸 자기 서비스에 직접 붙이고 싶은 사람들을 위한 거고요.
직접 서비스를 만들 게 아니라도, Vision API가 어떻게 동작하는지 알면 현재 쓰는 AI 도구의 한계를 파악하는 데 도움이 돼요. 왜 어떤 사진은 잘 읽고 어떤 건 엉뚱한 답을 내놓는지, 왜 손글씨는 인식률이 낮은지. 원리를 알면 결과를 더 잘 활용할 수 있거든요.
뭔가 더 복잡한 워크플로우, 예를 들어 "이미지 분석 결과를 다른 시스템에 자동으로 넘기는 흐름"을 구성하고 싶다면 Claude Agent SDK 쪽을 들여다볼 때가 온 거예요. Vision API는 그 체계 안에서 인식 담당 부품처럼 동작하거든요.
📌 한 줄 정리
Claude Vision API는 이미지를 텍스트와 함께 AI에 넘길 수 있는 통로예요. 영수증 정리, 차트 해석, 상품 설명 생성 등 반복적인 이미지 처리 작업을 자동화할 때 가장 효과적이고, 이미지 1장당 토큰 소모가 상당하기 때문에 대량 처리 전에 비용 테스트를 먼저 해보는 게 현명해요.