티스토리 뷰

카테고리 없음

설비 점검 매뉴얼 PDF의 표가 RAG 검색에서 분리되는 문제

생각방 2026. 11. 20. 21:58

목차


    설비 점검 매뉴얼을 사내 AI 검색에 등록한 뒤 점검 항목을 질문했는데, 답변에 인용된 문장에는 행 데이터만 있고 열 제목은 보이지 않습니다. 원본 PDF에서는 어느 설비의 어떤 조건에 해당하는 내용인지 읽히지만, 검색 결과의 일부만으로는 그 관계를 확인하기 어렵습니다. 이때는 답변 문구를 고치기 전에 표의 의미가 어느 처리 단계까지 보존됐는지 확인해야 합니다.


    머리글과 본문글의 분리

    다음은 표의 문맥을 점검하는 설명용 업무 흐름입니다. RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 문서를 검색해 얻은 근거를 생성 모델에 전달하는 방식입니다. 여기서는 설비 점검표의 머리글과 행 데이터가 함께 전달되는지를 살펴보고, 원본·추출 결과·검색 조각·최종 입력을 대조하는 점검 방법을 정리합니다.

    표가 끊긴 지점부터 구분

    PDF 화면에서 표가 정상으로 보이는 것과 검색용 데이터에 같은 구조가 남는 것은 별개의 확인 항목입니다. 표 안의 글자를 읽었더라도 읽기 순서가 바뀌거나 머리글과 본문이 서로 다른 조각에 담길 수 있습니다. RAG에서 검색을 위해 나눈 문서 조각을 청크(chunk)라고 하며, 청크의 경계가 표의 의미 경계와 항상 일치하는 것은 아닙니다.

    먼저 답변이 인용한 PDF의 해당 표를 열고 표 제목, 상위 절 제목, 열 머리글, 행 머리글, 단위와 주석을 확인합니다. 이어서 같은 부분의 추출 결과와 저장된 청크를 비교합니다. 숫자와 문자가 이미 추출 단계에서 빠졌다면 추출을 고쳐야 하고, 추출 결과에는 있는데 청크에서 사라졌다면 분할 또는 변환 과정을 살펴야 합니다. 두 상태를 구분하지 않은 채 청크 길이만 늘리면 수정 대상이 흐려집니다.

    점검 기록은 다음처럼 단계별로 남기는 편이 좋습니다. 표 안의 판단은 운영자가 적용할 확인 기준이며 특정 제품의 자동 진단 결과가 아닙니다. 각 단계에서 같은 문서와 표를 비교할 수 있도록 파일 식별값, 개정 정보, 페이지와 표 위치도 함께 적습니다.


    대조 단계확인할 자료다음 판단
    PDF → 추출 결과셀의 행·열 관계, 머리글, 주석과 단위구조나 문자가 누락됐으면 추출과 후처리부터 확인
    추출 결과 → 저장 청크원문에 있던 머리글과 행의 동반 여부경계에서 갈라졌으면 표 단위 분할이나 머리글 결합 검토
    저장 청크 → 검색 결과대상 행과 관련 표 조각의 반환 여부저장은 정상인데 빠졌으면 검색 조건과 순위 확인
    검색 결과 → 모델 입력실제 전달된 근거의 내용과 잘림 여부검색됐지만 입력에서 빠졌으면 근거 조립과 길이 제한 확인

    검색 화면에 원본 링크가 표시된다는 사실만으로 모델이 표 전체를 읽었다고 판단해서는 안 됩니다. 애플리케이션이 검색 결과에서 일부 필드만 꺼내거나 길이를 줄였다면, 화면의 미리보기와 실제 모델 입력이 다를 수 있습니다. 가능한 환경에서는 검색 반환 내용과 모델에 넘긴 근거 본문을 각각 확인해 누락 위치를 좁힙니다.

    요약 — 수정할 단계는 답변의 모양보다 동일한 표가 처리 과정에서 처음 달라진 위치로 정합니다.

    머리글과 행이 함께 읽히는 분할 단위

    표는 셀의 문자를 모두 모았다고 의미가 보존되는 자료가 아닙니다. 행의 점검 항목이 어느 열의 기준과 연결되는지, 그 기준이 어떤 운전 조건에 적용되는지까지 읽혀야 합니다. 병합된 머리글 아래에 여러 하위 열이 있거나 한 셀의 설비명이 여러 행에 걸쳐 적용되면, 단순한 줄바꿈 텍스트만으로 그 관계를 표현하기 어렵습니다.

    Microsoft의 Document Intelligence 레이아웃 문서는 표의 행·열 인덱스와 병합 범위, 머리글 정보를 다룹니다. v4.0의 2024-11-30 GA 버전에서는 Markdown 출력 안의 표를 HTML 표로 표현해 병합 셀과 여러 줄 머리글을 나타냅니다. 이는 확인 가능한 제품 구현의 예이며, 구조를 추출하는 기능이 있다는 사실만으로 개별 매뉴얼의 인식 정확도가 보장되지는 않습니다.

    추출된 HTML 표를 다음 단계에서 태그만 제거해 이어 붙이는 처리도 확인해야 합니다. 표를 문장으로 바꿔 저장한다면 각 행에 필요한 열 이름과 상위 머리글을 명시하고, 원래 셀과 대응할 수 있게 유지하는 방식을 검토합니다. 빈칸이 위 행과 같은 뜻인지, 해당 없음인지, 실제 누락인지는 원본에서 확인해야 합니다. 빈칸을 무조건 이전 값으로 채우는 규칙은 적용하지 않습니다.


    표가 충분히 작다면 제목·머리글·본문·필수 주석을 한 청크로 보존하는 방식을 먼저 시험할 수 있습니다. 표가 길어 나눠야 한다면 완전한 행 또는 의미가 이어지는 행 묶음을 경계로 삼고, 각 묶음에 해석에 필요한 머리글을 붙이는 방식을 검토합니다. 이때 머리글을 반복하는 것은 독자가 이해할 수 있게 만드는 편집 제안이며 모든 분할 도구가 자동으로 수행하는 기능은 아닙니다.

    문서 구조를 활용해도 추가 분할이 있는지는 따로 봐야 합니다. Azure AI Search의 Document Layout 기반 처리 예시는 제목과 본문을 인식한 뒤 Text Split으로 다시 나눠 색인에 넣는 구성을 보여 줍니다. 따라서 구조 기반 처리를 사용한다는 설정명만 확인할 것이 아니라, 실제 저장된 청크에서 표가 어떤 경계로 잘렸는지 열어 봐야 합니다.


    청크 사이에 일부 내용을 겹치게 넣는 중첩도 후보이지만, 중첩 범위가 표의 머리글까지 닿는지는 표마다 다릅니다. 길이를 늘리면 다른 설비의 행이나 다음 표가 함께 들어가는지도 확인해야 합니다. 적절한 길이는 고정된 권장 숫자보다 해당 표의 구조와 검색 질문을 기준으로 정하는 편이 타당합니다.

    요약 — 분할 단위는 글자 수만으로 정하지 않고 각 행의 적용 대상을 해석할 수 있는 범위로 시험합니다.

    행 묶음마다 필요한 머리글을 결합하는 설계

    작은 검색 조각과 넓은 근거의 연결

    표 전체를 한꺼번에 검색 대상으로 만들면 개별 점검 항목을 찾는 데 필요한 표현이 넓은 내용에 섞일 수 있습니다. 반대로 행만 잘게 나누면 질문과 맞는 행을 찾아도 열 이름과 적용 조건이 빠질 수 있습니다. 이때는 검색에 사용하는 조각과 답변에 전달하는 근거 범위를 다르게 설계하는 방법을 검토할 수 있습니다.

    MongoDB와 LangChain의 부모 문서 검색 문서는 작은 자식 청크를 검색한 뒤 연결된 부모 문서를 반환하는 방식을 설명합니다. 이를 점검표에 적용하려면 검색용 행 묶음을 자식으로, 해당 머리글과 필요한 주석을 포함한 표 범위를 부모로 정의하는 설계가 가능합니다. 원본 PDF 전체를 무조건 전달한다는 뜻은 아니며, 부모 범위와 연결 방식은 구현자가 정하고 시험해야 합니다.

    연결을 위해 문서 식별값과 개정 정보, 표 식별값, 행 범위, 원본 페이지를 관리하는 것을 권합니다. 같은 문서 안에서도 점검표가 여러 개일 수 있으므로 문서 이름만으로 머리글을 찾아 붙이지 않습니다. 이런 항목은 모든 제품이 제공하는 공통 필드명이 아니라, 자신의 처리 결과에서 관계를 추적하기 위한 기록 항목입니다.


    머리글을 별도 정보로 저장하는 경우에도 모델 입력에 실제로 포함되는지 확인해야 합니다. 검색 필터에 사용하는 속성으로만 남겨 두면 애플리케이션이 그 값을 근거 본문으로 조립하지 않을 수 있습니다. 검색된 행에 어떤 머리글을 붙였는지, 그 머리글이 같은 표의 것인지, 주석이 다른 설비의 조건과 섞이지 않았는지를 함께 검사합니다.

    페이지가 바뀐다고 같은 표가 끝나는 것도 아니고, 모양이 비슷하다고 다음 페이지의 표가 이어지는 것도 아닙니다. 표 제목과 열 구성, 계속 표기, 적용 설비와 주석을 원본에서 대조한 뒤 연결 여부를 정합니다. 특히 반복 머리글을 제거하는 정리 과정에서 하위 머리글까지 사라지지 않았는지 확인하고, 자동으로 병합하기 어려운 표는 검토 대상으로 남깁니다.


    부모 범위를 넓히면 한 질문에 필요 없는 행도 함께 전달될 수 있습니다. 모델의 입력 한도 안에 들어오는지와 관계없는 조건이 답변에 섞이는지를 확인하고, 필요한 표 범위로 다시 좁힙니다. 근거가 충분한지 판단하는 기준은 반환된 청크의 개수보다 대상 행과 그 행을 해석하는 정보의 동반 여부입니다.

    요약 — 검색의 세밀함과 답변 근거의 범위는 분리하되 같은 문서·개정·표의 연결을 확인합니다.

    검색 조각과 연결된 부모 표 범위의 관계

    원본 표와 같은 질문으로 재검증

    수정 후에는 원본을 보고 정답 근거를 지정한 질문 묶음으로 비교합니다. 단순한 항목 조회뿐 아니라 머리글을 알아야 구분되는 질문, 병합 셀의 적용 범위가 필요한 질문, 페이지를 넘는 행과 주석을 함께 읽어야 하는 질문을 포함합니다.

    각 질문에는 예상되는 문서와 표, 해당 행, 필요한 머리글과 주석을 미리 적습니다. 그다음 검색이 필요한 조각을 반환했는지와 최종 답변이 그 근거의 조건을 지켰는지를 따로 기록합니다. Microsoft의 RAG 평가 문서도 검색 단계의 품질과 생성 답변의 근거 충실성·관련성·완전성을 구분합니다. 검색이 개선됐다는 판단을 답변 품질 개선과 바로 동일시하지 않는 이유입니다.

    변경 전후를 비교할 때는 질문, 원본 PDF, 검색 조건과 모델 설정을 가능한 한 같게 유지합니다. 분할 방식과 검색 조건을 동시에 바꾸면 무엇이 차이를 만들었는지 해석하기 어려우므로, 먼저 수정하려는 단계의 영향을 확인합니다. 기록에는 사용한 추출·분할 설정과 색인 갱신 상태를 남겨 이전 청크가 섞인 결과를 새 방식의 결과로 오인하지 않도록 합니다.


    답변이 맞아 보여도 인용된 근거에 해당 머리글이 없으면 통과로 처리하지 않는 기준을 권합니다. 반대로 근거는 충분한데 답변이 다른 열을 선택했다면 분할만 더 바꾸기보다 근거 조립과 답변 지침을 살펴야 합니다. 설비 점검의 실제 기준이나 작업 지시는 원본 매뉴얼과 현장 책임자의 확인으로 확정하고, 검색 답변이 그 확인을 대신하는 것으로 운영하지 않습니다.

    필요한 머리글이나 주석을 복원하지 못한 질문은 답변 범위를 줄이고 원본 확인으로 연결합니다. 표의 구조가 불확실한 상태에서 주변 행을 참고해 기준을 추정하는 것보다, 어떤 근거가 부족한지 표시하는 편이 후속 검토에 도움이 됩니다.

    요약 — 검색 결과와 답변을 따로 평가하고 원본 표의 적용 조건까지 확인한 질문만 검증 완료로 기록합니다.

    결론

    설비 점검 매뉴얼 PDF의 표가 RAG 검색에서 분리돼 보인다면, 원본 표와 추출 결과부터 비교하고 저장 청크·검색 결과·모델 입력 순서로 같은 행을 따라가야 합니다. 추출이 잘못된 경우와 분할 경계가 문제인 경우, 검색이나 입력 조립에서 근거가 빠진 경우에 필요한 수정은 서로 다릅니다.


    작은 표는 머리글과 필수 주석을 함께 보존하고, 긴 표는 행 묶음별 머리글 결합이나 부모 범위 반환을 시험할 수 있습니다. 다음 작업은 일괄적인 길이 변경보다 문제 표의 위치와 누락된 문맥을 점검 기록에 남기는 것입니다. 그 기록을 기준으로 같은 질문을 다시 실행해 해당 행의 의미가 끝까지 유지되는지 확인합니다.

    참고자료