구글 검색 결과에서 회사 홈페이지의 관리자 주소가 발견됐다고 가정해 봅시다. 서버 설정을 보니 robots.txt에 이미 Disallow: /admin/이 있습니다. 이때 먼저 열어 볼 것은 설정 파일보다 관리자 URL입니다. 로그아웃 상태에서 주소를 열었을 때 로그인 화면만 뜨는지, 관리자 전용 데이터까지 내려오는지에 따라 대응 순서가 달라집니다.
공개 파일에 적힌 수집 규칙
robots.txt는 검색 엔진 크롤러처럼 웹페이지를 자동으로 읽는 프로그램에 어느 경로를 수집할지 안내하는 공개 파일입니다. 예를 들어 아래 설정은 이 규칙을 따르는 크롤러에 /admin/으로 시작하는 경로를 가져가지 말라고 요청합니다. 이 파일을 수정해도 브라우저에서 같은 주소를 직접 요청했을 때 서버가 적용하는 로그인과 권한 검사는 그대로입니다. RFC 9309 §3 — Robots Exclusion Protocol의 보안 고려사항
User-agent: *
Disallow: /admin/위 설정은 설명용입니다. 끝에 붙은 슬래시까지 경로의 일부이므로 /admin/에 대한 규칙을 보고 슬래시 없는 /admin까지 같은 결과가 나오리라 가정하면 점검이 빗나갈 수 있습니다. 파일에 적힌 경로는 robots.txt를 열어 보는 누구에게나 드러납니다. 경로를 아는 사람도 보호된 응답을 받지 못하도록 설계해야 합니다. RFC 9309 §2.2.2 — Allow와 Disallow의 경로 매칭
검색 결과에 남는 관리자 주소
외부 페이지가 관리자 URL을 링크하면, Google은 그 주소의 본문을 수집하지 않고도 URL을 검색 결과에 표시할 수 있습니다. 운영자가 관리하는 사이트라면 Search Console의 URL 검사에서 Google에 기록된 색인 상태를 확인합니다. 여기서 보는 것은 검색 쪽 기록입니다. 서버가 지금 비로그인 요청에 어떤 내용을 보내는지는 브라우저에서 따로 확인해야 합니다. Google Search Central — robots.txt의 한계 · Search Console — URL 검사 도구
누구나 열어도 되는 페이지를 Google 검색에서만 제외하려면 noindex를 쓸 수 있습니다. Googlebot이 응답을 읽을 수 있어야 이 지시도 확인합니다. 같은 URL을 robots.txt로 수집 차단해 두면 Googlebot이 새로 붙인 noindex를 읽지 못합니다. 관리자 전용 데이터는 접근 권한으로 보호하고, 공개해도 되는 로그인 화면의 검색 노출을 관리할 때는 이 방식의 적용 조건을 따로 확인합니다. Google Search Central — noindex 적용 조건
화면과 조회 API의 권한 점검
운영 설정을 반영한 테스트 환경에서 관리자 화면 하나와 그 화면이 호출하는 읽기 전용 조회 API 하나를 고릅니다. 개발자 도구의 Network 탭에서 관리자 계정으로 화면을 열어 조회 요청을 찾습니다. 그런 다음 비로그인 브라우저 프로필과 관리자 권한이 없는 일반 계정 프로필에서 같은 화면과 조회 URL을 각각 요청합니다. 관리자 세션의 쿠키나 토큰을 다른 프로필로 복사하면 비교 조건이 달라집니다.
| 요청한 상태 | 관리자 화면 | 관리자 조회 API |
|---|---|---|
| 비로그인 | 로그인 안내나 차단 화면만 표시 | 관리자 데이터 미반환 |
| 일반 계정 | 관리자 전용 내용 표시 제한 | 관리자 데이터 미반환 |
| 권한을 가진 관리자 | 해당 권한 범위의 화면 표시 | 허용된 조회 결과만 반환 |
상태 코드와 응답 본문을 함께 봅니다. 처음 요청이 로그인 페이지로 이동해 마지막 응답이 200이라면, 마지막 본문이 로그인 화면인지 확인합니다. 화면 접근이 막혀도 조회 API의 응답에 관리자용 목록이나 상세 데이터가 담겨 있다면 그 API에 대한 접근 통제를 먼저 수정해야 합니다. 점검표에는 요청 경로, 계정의 권한, 첫 응답과 최종 응답, 관리자 데이터 포함 여부를 적습니다. 같은 시각의 요청 ID가 있으면 서버 로그의 권한 판정 결과와 맞춰 볼 수 있습니다. OWASP — 요청별 권한 검증
결론
비로그인 사용자나 일반 계정으로 관리자 전용 데이터를 받을 수 있다면, 화면과 조회 API의 서버 측 권한 검사를 고친 뒤 동일한 요청으로 재확인합니다. 반대로 보호된 응답은 차단되고 검색 결과에 주소만 남아 있다면, Search Console에서 해당 URL의 색인 상태와 공개 여부를 따로 점검합니다. 운영 점검표에도 ‘검색 노출’과 ‘권한 없는 요청에 대한 데이터 반환’을 각각 기록해 두면 담당자가 어느 설정부터 확인할지 바로 알 수 있습니다.