작업표준서의 설정값을 묻자 사내 AI가 문서 링크와 함께 숫자를 답합니다. 담당자가 링크의 스캔 페이지를 확대하니 답변과 원본의 소수점 위치가 다릅니다. 이는 오류를 추적하는 방법을 설명하기 위해 구성한 업무 장면이며, 실제 사고나 사용자의 경험은 아닙니다.

이때 답변만 고치면 같은 문서에서 다른 질문을 했을 때 문제가 다시 드러날 수 있습니다. 먼저 원본 이미지의 표기가 어디에서 달라졌는지 확인해야 합니다. 이 글은 스캔 PDF를 문자로 변환한 뒤 검색하는 텍스트 중심의 검색 증강 생성(RAG)을 대상으로, 숫자·단위·기호가 답변까지 전달되는 경로와 단계별 확인 기준을 다룹니다.
원본 이미지에서 답변까지 이어지는 오류 경로
광학 문자 인식(OCR)은 이미지 속 글자를 기계가 처리할 수 있는 텍스트로 바꾸는 과정입니다. 스캔한 작업표준서를 텍스트 중심 RAG에 넣는 구성에서는 OCR 결과를 정리하고 검색 가능한 조각으로 나눈 뒤 검색 인덱스에 저장합니다. 질문이 들어오면 관련 조각을 찾아 언어 모델에 전달하고, 모델이 그 자료를 이용해 답변을 작성합니다. Microsoft의 RAG 설명은 문서 분할·벡터화와 검색 결과를 언어 모델에 넘기는 구성을 설명합니다.
따라서 OCR 단계에서 바뀐 문자가 검색 자료에 남고, 해당 조각이 답변의 근거로 선택되면 잘못된 표기가 답변에도 반영될 수 있습니다. 이는 파이프라인 구조에서 도출한 가능성이며, 모든 OCR 오류가 반드시 답변에 나타난다는 뜻은 아닙니다. 관련 조각이 검색되지 않거나 모델이 값을 생략하는 경우도 있으므로 실제 경로는 저장된 자료와 요청 기록으로 확인해야 합니다.
예를 들어 원본의 0.5 mm가 OCR 결과에서 5 mm로 바뀌었다고 놓고 비교할 수 있습니다. 이 숫자는 오류 전파를 설명하기 위한 가상 표기이며 실제 설비의 설정값이나 특정 제품에서 관측한 오류가 아닙니다. 단위가 그대로 남아 있어도 소수점 하나가 사라지면 다른 값이 되므로, 문장 전체가 자연스럽다는 이유로 통과시킬 수 없습니다.
임베딩은 텍스트를 의미 검색에 활용할 수 있는 벡터로 표현하는 단계이지 원본 이미지와 문자를 대조해 승인하는 절차는 아닙니다. 따라서 벡터 검색에서 관련성이 높게 나온 결과라도 숫자의 정확성은 별도로 확인해야 합니다. 출처 링크 역시 어느 자료를 참고했는지 추적하는 단서이며, 링크가 있다는 사실만으로 그 자료의 OCR 결과까지 원본과 일치한다고 결론 내릴 수는 없습니다.
여기서 설명한 경로를 모든 문서 AI에 그대로 적용해서는 안 됩니다. 원본 페이지 이미지를 모델에 함께 전달하는 구성에서는 문자 추출 외에 이미지 선택과 전달 여부도 살펴야 합니다. 먼저 실제 서비스가 텍스트만 보내는지, 이미지도 보내는지 확인해야 점검 대상을 빠뜨리지 않습니다.
숫자·단위·기호를 원본 위치와 함께 대조하는 기준
점검은 문서 전체의 인식률 하나보다 업무 판단을 바꾸는 표기에서 시작하는 편이 유용합니다. 숫자와 소수점, 값에 붙은 단위, 허용 범위를 나타내는 부등호, 공차를 나타내는 기호를 하나의 검토 단위로 묶습니다. ≤와 <, ±와 +는 서로 같은 의미가 아니므로 숫자만 맞는지 읽어서는 조건 변화를 놓칠 수 있습니다.
단위는 문자 모양뿐 아니라 해당 값에 붙어 있는지도 확인합니다. 별도 열에 놓인 단위가 다른 행의 값과 결합되거나 머리글의 단위가 빠졌다면 글자 인식과 문맥 연결을 나누어 조사해야 합니다. 이 글에서는 숫자·단위·기호의 일치를 중심으로 보고, 표 분할 방식 자체를 설계하는 문제는 별도 과제로 구분합니다.
원본과 OCR 텍스트를 나란히 열고, 의심 표기가 있는 페이지와 영역을 찾아 비교합니다. Azure Document Intelligence의 레이아웃 모델 v4.0 문서는 페이지, 단어의 텍스트·위치 다각형·신뢰도, 문단과 표 셀의 위치 정보를 설명합니다. 이런 정보를 활용하면 추출된 문자열이 원본의 어느 부분에 대응하는지 검토할 수 있습니다. 다만 다른 OCR 도구에서도 같은 필드가 같은 이름으로 제공된다고 가정해서는 안 됩니다.
신뢰도는 검토 우선순위를 정하는 신호로 활용하되, 작업값의 승인 기준과 같게 취급하지 않습니다. Microsoft의 정확도·신뢰도 안내는 추출 결과에 대한 추정 신뢰도와 사람의 검토를 설명하며, 모든 필드에 점수가 반환되는 것은 아니라고 밝힙니다. 점수의 제공 범위는 모델과 API 버전에 따라 확인해야 하며, 점수가 없다는 사실을 오류 없음으로 해석할 수도 없습니다.
실무 검토 규칙으로는 낮은 점수의 단어를 먼저 살펴보고, 업무상 중요한 수치·단위·기호는 점수와 관계없이 원본 대조 대상으로 정하는 방법을 권합니다. 자동 통과 기준을 운영한다면 해당 문서군의 원본 대조 결과로 기준을 평가해야 합니다. 다른 조직의 임계값이나 문서 전체 평균을 그대로 가져와 개별 설정값의 정확성을 보장하는 수치로 쓰지 않는 편이 타당합니다.
원본 자체가 흐리거나 잘려 판독할 수 없으면 OCR 결과를 정답으로 확정할 근거가 부족합니다. 재스캔하거나 승인된 전자 원문을 확보하고, 그래도 표기가 모호하면 문서 담당자의 확인을 받아야 합니다. 주변 문장과 설비 상식에 맞아 보인다는 이유로 AI가 숫자를 보완하게 하면 문서에 없는 판단이 새로 들어갈 수 있습니다.

처음 달라진 단계를 찾는 대조 기록
답변 오류를 접수하면 같은 질문의 답변, 인용된 문서, 당시 검색 결과와 모델에 실제 전달한 내용을 확보합니다. 현재 검색을 다시 실행한 결과가 당시 결과와 같다고 단정할 수는 없습니다. 기록이 없다면 재현 점검 결과로 구분하고, 당시 원인을 확정할 수 없다는 한계도 남겨야 합니다.
주된 산출물은 한 항목을 끝까지 따라가는 대조 기록입니다. 문서 식별자와 개정 정보, 페이지·영역, OCR 처리 정보, 검색 조각 식별자를 연결하고 각 단계의 실제 표기를 적습니다. 이는 운영을 위한 기록 항목 제안이며 특정 제품이 모두 자동으로 남겨 준다는 뜻은 아닙니다.
| 대조 지점 | 확인할 실제 자료 | 불일치가 드러났을 때의 판단 |
|---|---|---|
| 원본 이미지와 OCR 출력 | 동일 페이지·영역의 값, 단위, 조건 기호 | 원본은 분명한데 OCR부터 다르면 인식 단계를 조사합니다. |
| OCR 출력과 저장된 검색 조각 | 정리 전후 텍스트와 조각 식별자 | OCR은 맞는데 조각부터 다르면 변환·정리·분할 과정을 조사합니다. |
| 검색 조각과 모델 입력 | 반환된 조각과 최종 전달 문맥 | 다른 조각을 선택했거나 전달 중 빠졌다면 검색·문맥 구성 단계를 조사합니다. |
| 모델 입력과 최종 답변 | 입력에 포함된 값·조건과 답변 문장 | 입력은 맞는데 답변만 다르면 생성·요약 과정의 변형을 조사합니다. |
위 표는 처음 불일치가 관측된 지점에 따라 조사 범위를 좁히는 기준입니다. 그 지점이 발견됐다는 사실만으로 스캔 품질, 특정 변환 규칙, 모델의 내부 처리 가운데 어느 것이 근본 원인인지까지 확정되지는 않습니다. 한 단계에서 오류가 보이더라도 이후 단계에서 조건이 추가로 누락됐는지 끝까지 비교해야 합니다.
Azure AI Search의 Document Layout skill 문서는 구조를 반영한 Markdown 또는 텍스트 출력과 위치 메타데이터 추출 옵션을 설명합니다. 이처럼 경로를 추적할 정보를 제공하는 구성이라면 활성화 여부와 실제 저장 여부를 함께 확인할 수 있습니다. 옵션이 있다는 설명만으로 현재 서비스의 모든 조각에 원본 위치가 저장되어 있다고 판단하지 않습니다.
최종 기록에는 확인한 사실과 남은 추정을 나눠 적습니다. 원본·OCR·검색 조각에서 동일한 잘못된 표기를 발견했다면 그 전달 사실을 기록할 수 있지만, 실제 모델 입력을 확보하지 못했다면 답변까지의 전체 경로를 확인했다고 쓰지 않습니다. 이 구분이 있어야 담당자가 근거가 있는 수정과 추가 조사 중 무엇을 먼저 할지 판단할 수 있습니다.
수정된 OCR 결과를 검색과 답변에 반영하는 절차
원본에서 정답이 확인됐다면 원본 파일은 보존하고 OCR 결과의 수정 전후 값과 근거 위치를 남깁니다. 검색용 텍스트를 직접 고치는 운영이라면 다음 수집 작업에서 그 수정이 유지되는지도 확인해야 합니다. 재처리하면 사라지는 임시 수정만 남겨 두면 어떤 자료가 현재 승인된 검색 근거인지 관리하기 어려워집니다.
그다음 수정한 텍스트가 영향을 주는 조각을 다시 만들고, 그 텍스트에서 생성한 벡터를 사용하는 구성이라면 벡터도 갱신합니다. 검색 인덱스의 이전 조각을 갱신하거나 제거하는 방법은 수집 파이프라인에 맞춰 정합니다. Microsoft의 인덱스 갱신 문서는 문서 키를 이용한 업로드·병합·삭제 동작을 설명하므로, 원본 파일 수정과 인덱스 반영을 별도 작업으로 확인할 근거가 됩니다.
새 조각을 추가했다는 사실만으로 이전 조각이 정리됐다고 판단하지 않습니다. 같은 문서·개정본에 해당하는 검색 결과를 확인하고, 수정 전 표기가 활성 검색 범위에 함께 남아 있는지 점검합니다. 모든 인덱스를 지우는 방식으로 바로 확대하기보다 문제가 있는 문서와 파생 조각의 관계를 먼저 파악하는 편이 수정 범위를 설명하기 쉽습니다.
검증에서는 답변 문장의 자연스러움보다 근거가 바뀌었는지 먼저 확인합니다. 같은 질문으로 검색해 수정한 조각이 반환되는지 보고, 모델 입력에 올바른 값·단위·조건이 함께 전달되는지 비교한 뒤 최종 답변까지 확인합니다. 같은 페이지의 다른 중요 항목도 살펴야 한 표기만 고치면서 주변 조건을 빠뜨린 변경을 발견할 수 있습니다.
자료의 판독이나 갱신 여부가 미확인인 동안에는 해당 설정값을 확정해 안내하지 않는 운영 규칙을 둘 수 있습니다. 검토가 필요한 문서를 답변 근거에서 제한하거나 원본 확인으로 연결하는 방식은 이 글에서 제안하는 통제 절차입니다. 제품이 기본으로 수행한다고 가정하지 말고 실제 필터·검토 상태·응답 정책에 반영되는지 점검해야 합니다.

자주 묻는 질문
출처 페이지가 맞는데도 답변이 틀릴 수 있나요?
페이지의 이미지와 검색에 사용된 텍스트는 서로 다른 표현입니다. 페이지 연결은 맞아도 OCR 텍스트나 전달 문맥의 표기가 다를 수 있으므로 인용 위치의 원본과 실제 입력을 대조해야 합니다. 원본과 입력까지 맞는데 답변이 달라졌다면 생성 과정으로 조사 범위를 옮깁니다.
OCR 도구를 바꾸면 기존 문제도 해결되나요?
도구 교체의 효과는 같은 원본을 대조해 확인해야 하며, 교체 사실만으로 정확성이 입증되지는 않습니다. 기존 검색 조각이 남아 있다면 새 OCR 결과가 실제 검색에 반영됐는지도 별도로 확인해야 합니다. 오류 유형을 먼저 기록하면 교체 전후에 무엇을 비교해야 할지 정할 수 있습니다.
원본 표기가 모호할 때 AI가 문맥으로 정리해도 되나요?
판독이 불확실한 설정값을 문맥 추정만으로 승인된 값처럼 안내하지 않는 편이 타당합니다. 담당자가 확인할 수 있는 원문을 확보하고, 확인 전에는 해당 항목을 미확인으로 남기는 운영을 권합니다. 표기를 읽는 문제와 설비의 적정 조건을 결정하는 문제는 각각의 검토가 필요합니다.
결론
스캔한 작업표준서의 답변을 검증할 때는 원본 이미지, OCR 출력, 검색 조각, 모델 입력, 최종 답변을 이어서 봐야 합니다. 숫자·단위·기호를 원본 위치와 연결해 기록하면 어디서부터 표기가 달라졌는지 조사할 수 있습니다. 신뢰도와 출처는 유용한 단서이지만 그 대조를 대체하는 승인 표시는 아닙니다.
우선 문제가 된 항목 하나로 대조 기록을 만들고, 처음 불일치가 드러난 단계부터 수정 범위를 정하십시오. 수정 뒤에는 이전 조각의 잔존 여부와 실제 질문의 전달 근거를 확인하고, 읽을 수 없는 표기는 문서 담당자의 확인으로 넘기는 것이 다음 행동입니다.