품질관리 매뉴얼을 개정해 새 PDF를 올렸는데도 사내 AI가 이전 검사 절차를 안내할 수 있습니다. 검색이 질문과 비슷한 문장을 찾는 데 성공했더라도, 그 문장이 현재 해당 생산라인에 적용할 기준인지는 별도로 확인해야 합니다. 같은 작업명과 품목명이 여러 개정판에 반복되므로 문장 유사도만으로 유효한 판을 고르기 어렵습니다.

설명용으로 문서함에 시행이 끝난 2판, 현재 시행 중인 3판, 승인됐지만 시행 전인 4판이 함께 있는 상황을 살펴보겠습니다. 이때 가장 높은 개정번호를 선택하면 아직 시행하지 않은 절차를 안내하게 됩니다. 필요한 기준은 최근 업로드된 파일이 아니라, 질문의 기준일과 적용 현장에 맞는 승인 문서입니다.
원본 PDF와 검색 청크의 서로 다른 수명
검색증강생성(RAG)은 질문과 관련된 자료를 검색해 언어모델의 답변 근거로 제공하는 방식입니다. PDF 전체를 그대로 찾기보다 내용을 작은 조각인 청크로 나누고, 각 조각의 텍스트와 검색용 표현을 인덱스에 저장하는 구성이 흔합니다. 따라서 원본 파일의 변경과 검색 데이터의 변경은 같은 작업이 아닙니다.
문서함에서 2판을 보관 폴더로 옮겼더라도 인덱스에 남은 2판 청크가 자동으로 제외된다고 단정할 수 없습니다. 수집기가 새 경로를 다른 문서로 인식하면 같은 파일의 사본이 추가될 가능성도 있습니다. 파일 경로뿐 아니라 문서 계열, 개정판, 원본 파일, 청크를 연결하는 식별자를 확인해야 하는 이유입니다.
Azure AI Search의 인덱스 프로젝션은 부모 문서와 그 문서에서 만들어진 여러 청크의 관계를 다룹니다. 부모 문서를 데이터 소스에서 완전히 삭제했을 때 연결된 청크도 제거되려면 삭제 감지가 구성돼 있어야 하며, 그렇지 않으면 수동 정리가 필요할 수 있습니다. 이는 Microsoft의 부모·자식 색인 관리 설명에서 확인할 수 있는 제품별 동작입니다.
검색 제외와 기록 폐기도 구분해야 합니다. 개정 전 매뉴얼이 이력 확인에 필요하다면 보존 저장소에는 남겨 두면서 현재 업무 검색에서는 배제할 수 있습니다. 이 글은 보존기간이나 원본 폐기 시점을 정하지 않으며, 보존 판단은 조직의 기록관리 기준에 따릅니다.
승인 상태·시행기간·적용 범위를 묶은 유효성 판정
문서 ID는 같은 절차의 개정 이력을 묶고, 개정판 ID는 그중 특정 판을 구별하는 데 사용합니다. 여기에 승인 상태, 시행 시작·종료 시점, 적용 공장·라인·품목을 연결합니다. 아래 필드는 특정 서비스가 자동으로 제공하는 표준이 아니라 내부 문서 관리대장과 검색 데이터를 연결하기 위한 설계 예시입니다.
| 관리 항목 | 확인할 정보 | 검색 단계의 판단 |
|---|---|---|
| 문서 계열·개정판 ID | 같은 절차의 판 구분과 원본 식별자 | 다른 절차와 구판 청크의 혼합 여부 확인 |
| 승인 상태 | 초안·검토 중·승인·철회 등 내부 상태 | 승인되지 않았거나 철회된 판 제외 |
| 시행 시작·종료 | 해당 판이 실제 적용되는 기간 | 질문 기준일에 유효한 판만 선택 |
| 적용 범위 | 공장·라인·품목 등 해당 업무의 조건 | 다른 현장의 절차 유입 방지 |
| 색인 연결 정보 | 원본 위치·청크 ID·마지막 반영 결과 | 메타데이터와 본문이 같은 판인지 대조 |
현재 업무 검색에서는 승인 상태가 유효하고, 기준일이 시행기간 안에 있으며, 적용 범위가 질문의 업무와 일치해야 합니다. 예를 들어 시작 시점은 포함하고 종료 시점은 제외하는 운영 규칙을 정했다면, 전환 시각을 기준으로 이전 판을 제외하고 새 판을 포함하도록 맞춥니다. 종료값이 비어 있을 때 무기한 시행을 뜻하는지 정보 누락을 뜻하는지도 먼저 합의해야 합니다.
두 판이 동시에 유효하다고 표시되면 개정번호가 높은 쪽을 임의로 선택하기보다 적용 범위와 전환 등록 오류를 확인하는 편이 적절합니다. 반대로 시행일이나 적용 범위가 누락된 문서를 모두 허용하면 확인되지 않은 기준이 답변 근거로 들어갑니다. 이 경우 검색을 보류하고 문서 담당자에게 확인하도록 처리하는 방안을 권합니다.
승인과 시행은 별도 사건입니다. 4판의 승인 시점에 3판을 바로 제외하면 시행일까지 필요한 현행 근거가 사라질 수 있습니다. 날짜를 요청 시점마다 비교하는 필터를 쓸지, 시행 시각에 상태를 갱신하는 작업을 둘지 정하고, 후자를 선택했다면 전환 작업 실패도 감시해야 합니다.
사용자가 공장이나 품목을 말하지 않았다면 로그인 조직 정보나 화면에서 선택한 업무 범위를 함께 확인할 수 있습니다. 어느 방법이든 다른 현장에 공통으로 적용되는지 확인되지 않은 문서를 기본값으로 내보내서는 안 됩니다. 문서의 업무 유효성 조건과 사용자의 열람 권한은 별도로 적용해야 하며, 유효한 문서라고 모든 직원에게 공개할 수 있는 것은 아닙니다.

검색 필터와 구버전 청크 정리의 역할 분리
현재 판만 수집하는 방식은 일반 검색 경로를 단순하게 만들 수 있습니다. 여러 판을 함께 색인하고 요청마다 필터링하는 방식은 과거일 기준 조회에 유연하지만, 모든 검색 경로에 조건을 적용해야 합니다. 어느 쪽이든 현재 판으로의 전환이 끝나기 전에 기존 판을 제거해 근거 공백을 만드는지 확인해야 합니다.
Azure AI Search의 벡터 검색은 필터 가능한 비벡터 필드에 조건을 적용합니다. 문서 상태와 시행기간을 인덱스 필드로 연결한 뒤 실제 검색 요청에서 사용해야 하며, PDF 파일명에 개정번호를 넣는 것만으로 필터가 만들어지지는 않습니다. 공식 벡터 필터 문서에 따르면 필터 적용 방식은 검색 결과 회수에 영향을 줍니다. 특히 먼저 뽑은 후보를 나중에 거르는 방식에서는 조건에 맞는 문서가 있어도 결과가 부족할 수 있으므로, 빈 결과를 문서 부재로 즉시 해석하지 않아야 합니다.
Amazon Bedrock Knowledge Bases도 문서 메타데이터 필터를 지원합니다. S3 문서에 메타데이터를 연결하려면 대응하는 메타데이터 파일 등 준비 조건을 확인해야 하고, 사용할 연산자와 저장소별 제약은 Bedrock의 검색 구성 안내를 기준으로 정해야 합니다. 실제로 어느 서비스를 사용하든 상태값·자료형·날짜 표현이 인덱스와 요청 사이에서 일치하는지 대조하는 작업이 먼저입니다.
필터는 검색 후보를 통제하지만 오래된 데이터 자체를 정리하는 작업까지 대신하지는 않습니다. Bedrock은 데이터 소스 파일을 추가·수정·삭제하면 동기화해 변경분을 반영하도록 안내합니다. 동기화 완료 이후에도 저장소에 따라 질의에 반영되기까지 지연이 있을 수 있으므로, 작업 상태와 실제 조회 결과를 함께 확인해야 합니다. 데이터 소스 동기화 문서는 이러한 반영 과정과 확인 항목을 설명합니다.
삭제 처리는 제품과 수집 방식에 맞춰야 합니다. Azure AI Search는 일부 삭제 감지 구성에서 원본에 삭제 표시를 남기고 인덱서가 처리한 뒤 물리적으로 제거하는 순서를 설명합니다. 이를 건너뛰어 검색 인덱스에 고아 문서가 남았다면 문서 키를 확인해 정리해야 할 수 있습니다. 공식 문서 삭제 안내를 참고하되, 보존해야 할 원본을 검색 정리 목적으로 함께 폐기하지 않도록 대상을 구별합니다.
운영 설계에서는 일반 검색, 직접 검색 API, 키워드와 벡터를 결합한 검색, 과거 이력 조회 중 어느 경로가 노출되는지 목록으로 관리하는 편이 좋습니다. 화면의 기본 검색만 점검하면 다른 호출 경로에서 구판이 반환되는 문제를 놓칠 수 있습니다. 이력 조회에는 별도의 기준일과 권한을 적용하고, 답변에도 당시 판이라는 점을 표시하도록 권합니다.
교체 완료를 판단하는 검색 근거 점검
새 PDF 업로드 성공은 전환 완료의 충분한 조건이 아닙니다. 문서 담당자가 유효 판을 확정한 뒤 IT 담당자가 청크의 개정판 ID와 시행 정보를 확인하고, 업무 담당자가 실제 질문으로 인용 근거를 대조해야 합니다. 다음 표는 실행 결과가 아니라 도입할 때 사용할 수 있는 검증 항목입니다.
| 검증 조건 | 기대하는 근거 | 기대와 다를 때 확인할 대상 |
|---|---|---|
| 오늘 적용할 검사 절차 질문 | 해당 현장의 시행 중인 판 | 기준일·현장 조건·승인 상태 |
| 구판에만 있는 절차명 검색 | 일반 검색에서 구판 제외 | 구판 청크·복제 파일·검색 경로 |
| 시행 예정 판의 고유 문장 검색 | 현재 업무 근거에서 제외 | 승인·시행 구분과 전환 작업 |
| 다른 공장·품목 조건으로 조회 | 해당 범위의 판만 반환 | 범위 매핑과 공통 문서 규칙 |
| 유효 문서가 없는 질문 | 근거 부족 안내 | 무필터 재검색·추정 답변 여부 |
결과는 최종 답변과 그 이전의 검색 목록을 나누어 봅니다. 검색 목록에 구판이 들어 있는데 언어모델이 우연히 인용하지 않은 경우와, 검색 단계에서 확실히 제외된 경우는 다릅니다. 반환된 청크의 개정판 ID, 시행기간, 적용 범위를 기록하고 최종 인용이 같은 자료를 가리키는지 대조해야 합니다.
검색 목록은 맞는데 답변이 오래된 내용을 반복한다면 기존 대화나 응답 캐시의 영향도 확인할 대상입니다. 새 대화에서 다시 질의하고, 캐시가 있는 시스템은 같은 요청이 어떤 응답을 재사용하는지 확인합니다. 특정 원인을 미리 확정하지 말고 검색 입력, 반환 근거, 생성 결과가 갈리는 단계를 찾아야 합니다.
제 판단으로는 완료 기준에 '포함 확인'과 '제외 확인'을 함께 두는 것이 핵심입니다. 새 판을 찾을 수 있다는 사실만 확인하면 구판이 동시에 검색되는 상태를 놓칠 수 있습니다. 시행 전환 경계, 적용 범위 누락, 중복 유효 판처럼 판단이 달라지는 조건도 함께 점검해야 합니다.

자주 묻는 질문
프롬프트에 최신 문서만 답하라고 쓰면 충분한가요?
그 지시는 검색 후보의 문서 상태를 강제하는 필터와 다릅니다. 이미 구판이 답변 근거로 전달됐다면 지시문만으로 배제를 보장할 수 없습니다. 문서 상태는 수집·검색 단계에서 통제하고 답변의 인용도 확인해야 합니다.
개정일이 지나도 구판을 보관할 수 있나요?
검색 제외와 원본 보존은 별개입니다. 보존해야 하는 문서는 기록 저장소에 두고 현재 업무 검색에서 배제하는 구조를 검토할 수 있습니다. 실제 보존·폐기 시점은 해당 문서에 적용되는 내부 기준과 요구사항에 따라 정해야 합니다.
검색 결과가 없을 때 필터를 풀고 다시 찾으면 되나요?
현재 품질 기준을 묻는 요청에서 자동으로 필터를 해제하면 제외한 구판이 다시 근거로 들어올 수 있습니다. 기준일·범위·색인 상태를 먼저 확인하고, 유효한 근거가 없으면 문서 담당자 확인으로 연결하도록 권합니다. 과거 자료를 조회하는 경우에는 이력 조회임을 구분해야 합니다.
결론
개정 전 매뉴얼을 사내 AI 검색에서 제외하려면 문서 관리대장의 유효성 판단이 청크와 검색 요청까지 이어져야 합니다. 먼저 문서 계열·개정판 ID와 승인 상태·시행기간·적용 범위를 확정하고, 수집 정책과 검색 필터에 반영합니다. 이어 구판 청크와 사본을 점검하고 실제 질문에서 반환되는 근거를 확인합니다.
바로 적용할 첫 작업은 현재 검색되는 청크 하나를 골라 원본의 개정판과 시행 정보가 연결돼 있는지 대조하는 것입니다. 연결이 없다면 새 PDF 업로드보다 그 관계를 만드는 일이 먼저입니다. 전환 완료는 업로드 표시가 아니라 현행 기준의 인용과 제외 대상의 미반환으로 판단해야 합니다.