협력사 정산 PDF에서 금액을 정확히 추출해도 ‘예상액’ 열의 값을 ‘확정액’으로 처리하면 정산 시스템에는 잘못된 금액이 들어갑니다. 글자 인식 결과만 대조하면 놓치기 쉬운 오류입니다. PDF 분석 도입 전에는 값이 어느 행·열에 속하고 어떤 조건에서 유효한지 확인해야 합니다.
텍스트 추출과 문서 이해의 경계
PDF에 텍스트 레이어가 있으면 그 내용을 직접 추출할 수 있습니다. 이미지로만 된 스캔본은 OCR(광학 문자 인식)로 글자를 읽으며, OCR 결과에 글자 위치가 포함되는 경우도 있습니다. 문서 이해를 평가하려면 그 위치가 어떤 머리글·각주·범례와 연결되는지, 그 연결을 바탕으로 업무 질문에 답할 수 있는지 봐야 합니다.
이 관계는 구조를 보존한 데이터에서도 확인할 수 있습니다. 예를 들어 Azure Document Intelligence의 레이아웃 분석 v4.0은 셀의 행·열 번호, 병합 범위, 페이지 내 위치를 반환합니다. 같은 버전에서 표와 그림의 위치 영역은 본체만 포함하므로 각주나 캡션까지 필요한 경우 주변 영역도 확인해야 합니다. Microsoft Learn — 문서 레이아웃 분석 v4.0
Google과 Artificial Analysis는 2026년 11월 10일자 발표에서 MKA(Multimodal Knowledge Agent)를 공개했습니다. 10개 산업 분야의 비공개 과제 200개에서 에이전트가 도면·스캔 등 복잡한 입력 파일을 읽고 작성한 산출물을 가중 기준으로 평가합니다. 공개 예시 10개는 채점에 쓰는 과제와 별도입니다. Google — MKA 벤치마크 발표 Artificial Analysis — MKA 공개 및 평가 방식
기술보고서의 동일한 최대 250턴 환경에서 Gemini 4 Carbon의 이미지 보기 도구를 제거하고 OCR·코드 실행 등을 유지했을 때, MKA의 Climb WSR이 5.94%포인트 하락했습니다. 이 지표는 어려운 평가 기준의 가중 충족률을 과제별로 계산해 평균한 값이며, 보고된 차이는 해당 모델과 실험 설정에 해당합니다. Google DeepMind — MKA 기술보고서
표·차트·레이아웃에서 틀리기 쉬운 연결
추출한 숫자를 원본에서 찾아 머리글, 축, 각주 중 어떤 조건이 적용되는지 확인합니다.
| 대상 | 오독 유형 | 원본에서 확인할 근거 |
|---|---|---|
| 표와 병합 셀 | ‘예상’과 ‘확정’ 양쪽에 ‘금액’ 열이 있어 서로 바뀌거나, 세로로 병합된 거래처명이 아래 행에서 빠집니다. | 상위·하위 머리글, 병합 시작·끝 행과 열, 값이 속한 행을 확인합니다. |
| 차트 | 막대의 금액과 선의 비율이 서로 다른 축을 쓰는데 눈금을 섞어 읽습니다. | 계열을 범례와 맞춘 뒤 해당 축·단위·시점을 확인합니다. 값 표시가 없다면 원천 데이터로 대조하거나 추정치로 남깁니다. |
| 페이지 레이아웃 | 두 단의 문장이 섞이거나 다음 페이지의 반복 머리글을 데이터 행으로 읽습니다. 표 아래 제외 조건도 빠질 수 있습니다. | 읽기 순서와 페이지 간 표 연결을 확인하고, 각주 기호를 실제로 적용되는 셀과 대조합니다. |
사내 문서 정확도 평가 체크리스트
- 정답과 근거를 먼저 정합니다. 실제 업무 양식의 승인된 사본으로 문서 유형·스캔 품질·표 구조별 검증 세트를 만듭니다. 담당자가 필드마다 값·단위·기간과 원본 페이지·표 셀 또는 영역을 기록하고, 자료가 부족한 문서는 ‘판단 보류’를 정답으로 표시합니다. 양식이나 질문을 조정하는 데 쓰는 문서와 최종 평가용 문서는 분리합니다.
- 같은 문서와 질문으로 텍스트만 제공한 방식과 구조 데이터 또는 페이지 이미지까지 제공한 방식을 비교합니다. 이미지의 효과를 확인하려면 지원되는 범위에서 같은 모델·질문·추출 텍스트를 유지하고 이미지만 추가합니다. 값·단위·기간과 근거 위치가 모두 일치해야 해당 필드를 통과로 처리합니다. 판독할 근거가 부족한 문서는 보류 여부를 채점합니다.
- 전체 평균과 함께 유형별 필드 통과율(통과 필드 ÷ 평가 필드)과 사람 검토 전환율(검토로 넘긴 문서 ÷ 전체 문서)을 봅니다. 중대 오답률은 확정액·통화·기간 등 미리 지정한 중대 오류가 한 건이라도 있는 문서 수를 전체 평가 문서 수로 나눕니다. 자동 반영으로 분류된 문서도 표본을 뽑아 오답이 통과했는지 확인합니다.
문서 반출과 자동 반영 전 운영 체크리스트
- 처리 환경을 승인합니다. 문서 등급별 전송 범위를 정하고, 선택한 서비스의 처리 리전·학습 사용 여부와 원본·결과·로그의 보관 및 삭제 조건을 확인합니다. Google Cloud Document AI처럼 동기 요청과 배치 요청의 원본 저장 방식이 다른 서비스도 있습니다. Google Cloud — Document AI 보안 및 규정 준수
- 검토 화면에서 원본 근거를 열 수 있게 합니다. 결과를 문서 버전·페이지·셀 또는 영역에 연결하고, 원본과 근거 이미지의 열람 권한을 제한합니다. 평가용 PDF를 가림 처리했다면 텍스트 레이어·주석·첨부에도 민감정보가 남아 있는지 확인합니다.
- 에이전트에 부여한 권한을 점검합니다. 문서 안의 링크나 지시문은 분석 대상 데이터로 취급하고, 분석 도구의 외부 전송 권한을 업무에 필요한 경로로 제한합니다.
- 자동 반영을 보류할 조건을 지정합니다. 단위·기간·각주가 충돌하거나 근거를 열 수 없는 건은 담당자에게 넘깁니다. 정산 확정액처럼 오독의 영향이 큰 값은 승인 후 반영하고, 모델이나 파서가 바뀌면 같은 검증 세트로 재평가합니다.
결론
정산 PDF를 검증할 때는 ‘어느 기간의 확정액이며 원본 어디에 있는가’를 묻습니다. 텍스트와 구조 정보만으로도 근거를 재현할 수 있는 양식은 그 방식으로 처리하고, 범례나 배치에 답이 달린 문서는 페이지 이미지까지 대조합니다. 값과 출처가 함께 검증되는 문서 유형부터 자동 반영 범위를 정합니다.