멀티모달 문서 이해 — AI가 표·그래프까지 읽는 법

멀티모달 문서 이해(multimodal document understanding)는 AI가 텍스트만이 아니라 이미지·표·레이아웃까지 한꺼번에 읽어 문서를 파악하는 기술이다. 계약서, 재무제표, 논문, 스캔한 서류처럼 "글자만 뽑아서는 뜻이 안 통하는" 문서를 다룰 때 이게 왜 중요한지 금방 드러난다.

오래된 방식은 문서에서 글자만 긁어내는 것이었다(OCR). 그런데 실제 문서는 글자의 나열이 아니다. 표의 어느 칸이 어느 헤더에 속하는지, 어떤 문단이 각주인지, 그래프가 무엇을 말하는지 — 이 모든 게 배치와 시각 정보에 담겨 있다. 글자만 뽑으면 표는 뒤죽박죽 텍스트가 되고, 도표는 통째로 사라진다. 나는 재무 표를 텍스트로만 넘겼다가 모델이 숫자와 항목을 엉뚱하게 짝지어 답하는 걸 보고 이 한계를 절감했다.

글자만으로는 안 되는 이유

표를 생각해보자. "매출 / 2024 / 2025 / 서울 / 100 / 120"이라는 글자 나열은, 사람이 봐도 어느 숫자가 어느 해의 어느 지역 값인지 알기 어렵다. 원래 표에선 행과 열의 교차로 의미가 정해지는데, 그 구조가 텍스트로 납작해지면서 관계가 사라진 것이다. 도표는 더하다. 막대그래프 이미지를 글자로 바꾸면 아무것도 안 남는다. 멀티모달 모델은 페이지를 이미지로 함께 보기 때문에, 이런 시각적 관계를 살려서 읽는다.

실무에서 달라지는 것

가장 크게 달라지는 영역은 문서 자동화다. 청구서에서 항목과 금액을 정확히 뽑고, 계약서에서 조항의 위치와 맥락을 파악하고, 보고서의 그래프가 말하는 추세를 요약하는 일. 예전엔 문서 종류마다 규칙을 손으로 짜야 했는데, 멀티모달 모델은 다양한 서식을 유연하게 다룬다. 특히 표가 많은 문서에서 정확도 차이가 확연하다.

• 구조 보존 — 표의 행·열 관계를 유지한 채 값을 읽는다.
• 시각 요소 해석 — 그래프·도식·도장·서명 위치 같은 걸 함께 본다.
• 서식 유연성 — 문서마다 다른 배치에도 규칙 없이 대응한다.

여전히 조심할 점

만능은 아니다. 아주 조밀하거나 화질이 나쁜 표에선 여전히 값을 잘못 읽을 수 있고, 흐릿한 스캔 문서는 사람도 헷갈리는 걸 모델도 헷갈린다. 무엇보다 모델이 확신에 차서 틀린 숫자를 답하는 게 위험하다. 그래서 금액·날짜처럼 정확성이 중요한 값은 검증 단계를 따로 두는 게 안전하다. 뽑은 값이 원문과 맞는지 규칙으로 대조하거나, 합계가 맞는지 계산으로 확인하는 식이다.

어떻게 접근하나

실전에서는 순수 멀티모달만 쓰기보다, 텍스트 추출과 이미지 이해를 함께 쓰는 경우가 많다. 글자가 선명한 부분은 텍스트로 정확히 뽑고, 표와 도표는 이미지로 이해시켜 관계를 살린다. 그리고 뽑은 결과는 항상 검증을 거친다. 나는 "모델이 문서를 읽는다"를 "모델이 초안을 만들고, 시스템이 검증한다"로 바꿔 생각하면서 신뢰도가 훨씬 안정됐다.

자주 묻는 질문

OCR은 이제 필요 없나요?

그렇지 않다. 글자가 선명한 문서에서 정확한 텍스트를 얻는 데는 여전히 유용하고, 멀티모달 모델과 함께 쓰면 서로를 보완한다. 텍스트 계층은 정확한 글자를, 멀티모달 계층은 표·도표의 구조와 의미를 담당하는 식이다. 둘을 결합할 때 가장 안정적인 결과가 나오는 경우가 많다.

표를 읽을 때 숫자를 틀리면 어쩌죠?

중요한 값은 모델 출력만 믿지 말고 검증 단계를 둔다. 예를 들어 항목별 금액의 합이 총액과 일치하는지 계산으로 확인하거나, 정해진 형식(날짜·통화)에 맞는지 규칙으로 대조한다. 모델은 초안을 빠르게 만들고, 시스템이 그 초안의 일관성을 점검하는 구조로 가면 오류를 상당히 걸러낼 수 있다.

스캔 품질이 나쁜 문서도 되나요?

화질이 나쁘면 모델도 어려워한다. 사람이 봐도 헷갈리는 흐릿한 글자나 뭉개진 표는 모델도 틀릴 수 있다. 가능하면 입력 전에 해상도를 높이거나 기울기·잡음을 보정하는 전처리를 거치는 게 좋다. 전처리로 원본을 또렷하게 만들수록 이후 이해 단계의 정확도가 함께 올라간다.