기업 네트워크에는 방화벽을 통과한 뒤에도 다양한 공격 트래픽이 유입될 수 있다. 허용된 포트를 이용한 취약점 공격, 악성코드 통신, 비정상적인 프로토콜 사용처럼 단순한 IP 주소와 포트 기준만으로 판단하기 어려운 활동도 있기 때문이다.
이런 트래픽을 분석하는 대표적인 보안 기술이 IDS(Intrusion Detection System)와 IPS(Intrusion Prevention System)다. 두 기술은 이름도 비슷하고 같은 탐지 엔진을 사용하는 경우도 많아 기능 차이가 모호하게 느껴질 수 있다.
핵심 차이는 의외로 단순하다. IDS는 의심스러운 활동을 탐지해 알려주는 역할이 중심이고, IPS는 탐지 결과를 바탕으로 해당 트래픽을 실제로 차단할 수 있다.
하지만 실무에서 중요한 차이는 차단 버튼의 유무보다 더 깊다. IPS가 트래픽 경로에 직접 들어가는 순간 오탐 하나가 정상 서비스를 중단시킬 수 있기 때문이다. 따라서 IDS와 IPS를 이해하려면 탐지 기술뿐 아니라 네트워크 배치 구조와 운영 방식까지 함께 봐야 한다.
1. IDS와 IPS의 핵심 차이
NIST는 IDS를 컴퓨터 시스템이나 네트워크에서 발생하는 이벤트를 감시하고 분석해 침입 징후를 찾는 기능으로 설명한다. IPS는 여기에 탐지한 활동을 중단하려는 기능까지 포함한다. 이를 네트워크 기반 IDS와 IPS를 중심으로 비교하면 다음과 같다.
| 구분 | IDS | IPS |
|---|---|---|
| 주요 목적 | 의심스러운 트래픽 탐지·경고 | 의심스러운 트래픽 탐지·차단 |
| 일반적인 배치 | 트래픽 경로 밖의 수동 감시 | 트래픽 경로상의 Inline |
| 정상 트래픽 영향 | 상대적으로 낮음 | 정책 오류 시 직접 영향 가능 |
| 탐지 시 동작 | Alert, Log | Alert, Log, Drop, Reject 등 |
| 오탐의 영향 | 불필요한 경보 증가 | 정상 서비스 차단 가능 |
| 운영 핵심 | 탐지 정확도와 분석 | 탐지 정확도와 차단 안정성 |
여기서 중요한 점은 IDS와 IPS가 반드시 완전히 다른 제품이라는 뜻은 아니라는 것이다. NIST SP 800-94는 IDS와 IPS가 많은 기능을 공유하며 IPS의 예방 기능을 비활성화하면 IDS처럼 동작할 수도 있다고 설명한다. 현재의 통합 보안제품에서도 하나의 탐지 엔진을 탐지 전용 모드 또는 차단 모드로 운영하는 형태를 볼 수 있다. Suricata 역시 하나의 네트워크 보안 엔진을 수동 IDS 방식과 Inline IPS 방식으로 운영할 수 있다.
따라서 IDS와 IPS를 구분할 때는 제품 이름보다 트래픽을 어디에서 보고 있으며 탐지 후 어떤 동작을 수행하도록 설정되어 있는지를 확인하는 것이 더 정확하다.
2. IDS와 IPS의 네트워크 배치 구조
IDS와 IPS의 가장 중요한 구조적 차이는 트래픽 경로에 직접 포함되는지 여부다.
IDS는 트래픽을 복사해 관찰하는 구조가 일반적이다
네트워크 IDS는 일반적으로 실제 서비스 트래픽의 경로 밖에서 패킷을 관찰한다. 네트워크 스위치의 SPAN 포트 또는 네트워크 TAP 등을 이용해 트래픽의 복사본을 IDS 센서에 전달하는 방식이 대표적이다.
구조를 단순화하면 Internet → Firewall → Switch → Server라는 실제 통신 경로에서 별도의 복제 트래픽이 IDS로 전달되고, IDS가 이를 분석해 경보를 발생시키는 형태다. 공격 트래픽을 IDS가 발견하더라도 원본 패킷은 이미 정상 네트워크 경로를 따라 목적지로 이동한다.
이 구조의 장점은 IDS 장애가 서비스 트래픽 흐름에 직접적인 장애를 만들 가능성이 상대적으로 낮다는 것이다. 반면 탐지한 패킷을 센서 자체가 즉시 막기는 어렵다. IDS 경보를 SIEM이나 SOAR, 방화벽 같은 다른 시스템과 연결해 후속 대응을 수행할 수는 있지만 이는 인라인에서 해당 패킷을 직접 차단하는 IPS 구조와는 구분할 필요가 있다.
IPS는 트래픽 경로에 직접 들어간다
IPS는 일반적으로 보호 대상 네트워크 앞의 트래픽 경로에 Inline으로 배치된다. 구조를 단순화하면 Internet → Firewall → IPS → Internal Network와 같다. 모든 대상 트래픽이 IPS를 통과하기 때문에 공격으로 판단한 패킷이나 세션에 즉시 조치를 취할 수 있다.
Suricata의 현재 IPS 문서에서도 IPS 모드는 트래픽 필터처럼 동작하며 일반적으로 Inline으로 사용된다.
탐지 규칙에 따라 drop이나 reject 같은 동작을 이용해 원하지 않는 트래픽을 차단할 수 있다.
그러나 이 구조에는 대가가 따른다. IPS의 성능 부족, 정책 오류, 장비 장애 또는 잘못된 탐지 결과가 실제 서비스 트래픽에 영향을 줄 수 있기 때문이다. 그래서 IPS를 운영할 때는 탐지율뿐 아니라 처리 성능, 장애 동작, 이중화 구조와 정책 변경 절차도 중요하다.
3. 침입을 탐지하는 세 가지 기본 방식
IDS와 IPS의 차이는 대응 방식에 있지만 공격을 찾아내는 기본 원리는 상당 부분 공유한다. NIST SP 800-94에서는 대표적인 침입 탐지 방식을 시그니처 기반 탐지, 이상 기반 탐지, 상태 기반 프로토콜 분석으로 설명한다.
다만 SP 800-94 최종본은 2007년에 발표된 문서이며, 2012년에 공개된 Revision 1 초안은 2022년에 폐기됐다. 따라서 이 문서는 현재 제품의 세부 기능을 설명하는 최신 제품 지침보다는 IDS/IPS의 기본 탐지 원리를 이해하는 자료로 활용하는 것이 적절하다.
시그니처 기반 탐지
Signature-based Detection은 이미 알려진 공격의 특징이나 패턴을 규칙으로 만들어 관찰한 트래픽과 비교하는 방식이다. 특정 취약점 공격에 나타나는 패킷 패턴이 알려져 있다면 해당 패턴과 일치하는 트래픽을 공격 후보로 탐지할 수 있다.
장점은 알려진 공격을 비교적 명확하게 식별할 수 있다는 점이다. 반면 새로운 공격이나 기존 공격이 크게 변형된 경우 기존 시그니처만으로 탐지하지 못할 수 있다. 따라서 시그니처를 지속적으로 업데이트하고 실제 환경에 맞게 관리하는 작업이 필요하다.
이상 기반 탐지
Anomaly-based Detection은 정상적인 네트워크나 시스템의 행동을 기준으로 삼고 그 기준에서 크게 벗어나는 활동을 탐지한다. 평소에는 특정 시스템과 통신하지 않던 서버가 갑자기 대량의 연결을 발생시키거나 일반적인 업무 시간대와 다른 패턴의 트래픽이 나타나는 상황 등이 분석 대상이 될 수 있다.
알려지지 않은 공격이나 새로운 이상 징후를 발견할 가능성이 있다는 것이 장점이다. 그러나 정상적인 서비스 변화까지 이상으로 판단하면 False Positive, 즉 오탐이 증가할 수 있다. 정상 기준선을 얼마나 정확하게 설정하고 지속적으로 조정하는지가 중요하다.
상태 기반 프로토콜 분석
Stateful Protocol Analysis는 단순히 개별 패킷 하나만 보는 것이 아니라 프로토콜의 정상적인 동작 상태와 통신 흐름을 추적하면서 비정상적인 사용을 찾는다. TCP 세션이나 애플리케이션 프로토콜이 어떤 순서와 상태로 동작해야 하는지를 이해하고 정상적인 프로토콜 사용에서 벗어나는 활동을 분석하는 방식이다.
이 방식은 단순 문자열 일치보다 많은 문맥을 파악할 수 있지만 동시에 세션 상태를 지속적으로 관리해야 하므로 처리 자원도 필요하다. 실제 IDS·IPS 제품은 하나의 탐지 방식에만 의존하기보다 여러 분석 기법과 위협정보를 조합하는 경우가 일반적이다.
4. 탐지 이후 경고와 차단이 이루어지는 과정
IDS와 IPS의 동작 차이는 공격 후보를 발견한 이후 가장 명확하게 나타난다. IDS의 흐름을 단순화하면 트래픽 수집 → 패킷·세션 분석 → 탐지 규칙 일치 → 이벤트 생성 → 로그 기록 → 보안 담당자 경고로 볼 수 있다.
보안관제 환경에서는 생성된 이벤트가 SIEM으로 전송되고 다른 로그와 상관분석되는 경우가 많다. 예를 들어 IDS에서 웹 공격 의심 이벤트가 발생했다면 웹서버 로그, WAF 로그, 사용자 접근기록 등을 함께 분석해 실제 공격 성공 여부를 판단할 수 있다.
IPS에서는 여기에 차단 과정이 추가된다.
트래픽 유입 → 분석 → 공격 판단 → Drop/Reject → 이벤트 기록 → 보안 담당자 확인과 같은 흐름이다.
Suricata IPS에서는 drop 규칙이 일치한 트래픽을 폐기하거나
reject를 이용해 연결 종료를 유도하는 방식 등을 사용할 수 있다.
이 차이는 매우 중요하다. IDS 경보는 분석자가 잘못된 탐지라고 판단하면 경보를 종료하면 되지만 IPS의 잘못된 판단은 이미 정상 사용자의 통신을 차단했을 가능성이 있기 때문이다.
5. IPS에서 오탐 관리가 더 중요한 이유
IDS와 IPS 모두 탐지 정확도가 중요하지만 IPS에서는 False Positive가 특히 민감한 문제다. 정상적인 트래픽을 공격으로 잘못 탐지했다고 가정해보자.
IDS라면 보안관제 화면에 불필요한 경보가 발생한다. 경보가 지나치게 많아지면 분석자의 업무량이 증가하고 중요한 이벤트가 다른 경보에 묻히는 Alert Fatigue 문제로 이어질 수 있다.
IPS라면 상황이 더 직접적이다. 정상 트래픽을 공격이라고 판단한 순간 고객 요청, API 호출, 파일 전송 또는 업무 시스템 간 통신까지 차단할 수 있다. 따라서 새로운 IPS 탐지 규칙을 적용할 때 모든 규칙을 처음부터 자동 차단으로 설정하는 방식은 신중해야 한다.
실무 환경에서는 위험도가 높은 명확한 공격 패턴은 차단 대상으로 관리하고, 정상 서비스와 충돌 가능성이 높은 규칙은 우선 탐지 모드에서 확인한 뒤 차단 여부를 결정하는 방식이 현실적일 수 있다.
차단 정책에서는 세 가지를 함께 봐야 한다
- 탐지 정확도: 해당 규칙이 실제 공격을 얼마나 정확하게 구분하는지 확인한다.
- 서비스 영향도: 오탐이 발생했을 때 어떤 업무나 서비스가 중단될 수 있는지 확인한다.
- 대응 가능성: 잘못 차단됐을 때 정책을 얼마나 빨리 되돌릴 수 있는지도 확인한다.
IPS 운영의 목표는 가능한 많은 트래픽을 차단하는 것이 아니다. 실제 위험을 줄이면서 정상 서비스에 미치는 영향을 통제하는 것이 더 중요하다.
6. 방화벽·IDS·IPS·SIEM의 역할 차이
IDS와 IPS를 처음 접하면 방화벽이나 SIEM과 역할이 겹친다고 생각하기 쉽다. 하지만 기본적인 역할에는 차이가 있다.
| 보안 기술 | 주요 역할 |
|---|---|
| Firewall | IP·Port·Protocol·정책 등을 기준으로 통신 허용 또는 차단 |
| IDS | 네트워크·시스템 활동 분석 및 침입 징후 탐지 |
| IPS | 침입 징후 탐지 및 트래픽 차단 |
| SIEM | 여러 보안·IT 시스템의 로그 수집, 분석, 상관분석 |
현대 보안제품에서는 이 경계가 명확하게 제품 단위로 나뉘지 않을 수 있다. 차세대 방화벽에 IPS 기능이 포함되기도 하고 하나의 IDPS가 IDS와 IPS 모드를 모두 지원하기도 한다. IBM 역시 오늘날 IDS 기능이 IPS에 통합되어 제공되는 경우가 많다고 설명한다.
따라서 “방화벽이 있으니 IPS는 필요 없다”거나 “IPS가 있으니 IDS 경보는 필요 없다”처럼 기능을 단순 대체 관계로 이해하는 것은 적절하지 않다. 방화벽은 통신 정책을 집행하고, IDS·IPS는 그 트래픽의 내용과 행위를 더 깊게 분석하며, SIEM은 IDS·IPS를 포함한 여러 시스템의 이벤트를 결합해 전체 상황을 판단하는 구조로 보는 편이 이해하기 쉽다.
7. 기업 환경에서 IDS와 IPS를 운영할 때 확인할 사항
IDS와 IPS를 구축하는 것보다 어려운 부분은 운영 과정이다.
탐지 규칙을 많이 켜는 것이 좋은 운영은 아니다
공격 시그니처가 많다고 탐지 품질이 자동으로 높아지는 것은 아니다. 조직에서 사용하지 않는 서비스나 운영체제를 대상으로 하는 규칙까지 무조건 활성화하면 분석해야 할 이벤트와 장비 처리 부담만 늘어날 수 있다. 보호 대상 자산과 실제 서비스 환경을 기준으로 필요한 규칙을 선택하고 튜닝할 필요가 있다.
IDS·IPS 로그만으로 사고를 판단하지 않는다
IDS나 IPS 이벤트에는 공격으로 보이는 패킷이 있었다는 정보는 들어 있지만 해당 공격이 실제로 성공했는지는 별도의 확인이 필요한 경우가 많다. 보안관제에서는 서버 로그, WAF, EDR, 인증 로그, 방화벽 로그 등과 함께 분석해야 공격 성공 가능성과 실제 피해 여부를 더 정확하게 판단할 수 있다.
암호화된 트래픽에서는 가시성을 확인해야 한다
네트워크 기반 IDS·IPS가 볼 수 있는 정보는 센서가 실제로 관찰할 수 있는 트래픽 범위에 따라 달라진다. TLS 등으로 페이로드가 암호화되어 있고 복호화 전 트래픽만 관찰한다면 내부 애플리케이션 데이터까지 동일한 수준으로 분석할 수 없다. 따라서 단순히 “IPS를 설치했다”는 사실보다 트래픽이 어디에서 암호화되고, 센서가 어느 지점의 데이터를 확인할 수 있는지를 함께 살펴야 한다.
IPS 장애 시 트래픽 처리 방식도 설계 대상이다
IPS는 Inline 장비이기 때문에 장비 자체에 문제가 발생했을 때 트래픽을 어떻게 처리할지도 중요하다. 보안을 우선해 통신을 차단할 것인지, 서비스 가용성을 우선해 우회시킬 것인지는 시스템 중요도와 조직의 위험 허용 수준에 따라 달라질 수 있다.
이 문제에는 하나의 정답이 없다. 인터넷 서비스처럼 가용성이 중요한 환경과 안전성이 중요한 시스템에서 같은 장애 정책을 적용할 필요는 없다. 구축 전에 장애 상황과 우회 구조를 포함한 운영 시나리오를 검토해야 한다.
결론: IDS와 IPS의 차이는 차단 기능보다 운영 구조에 있다
IDS와 IPS의 가장 단순한 차이는 탐지와 차단이다. 하지만 실제 기업 환경에서는 IDS는 트래픽을 어떻게 관찰하고, IPS는 어떤 위치에서 어떤 기준으로 차단하며, 잘못된 판단이 서비스에 어떤 영향을 주는가가 더 중요하다.
IDS는 공격 징후에 대한 가시성을 제공하고, IPS는 위험한 트래픽에 즉시 개입할 수 있다는 장점이 있다. 반대로 IPS의 자동 차단 기능은 잘못 운영하면 정상 서비스에도 직접 영향을 미칠 수 있다.
따라서 IDS·IPS 운영에서 확인해야 할 것은 장비의 탐지율만이 아니다. 어떤 자산을 보호하는지, 어떤 규칙을 경고로 운영할지, 어떤 규칙까지 자동 차단할지, 오탐 발생 시 누가 판단할지, 로그를 SIEM과 어떻게 연계할지까지 정해져 있어야 한다.
결국 IDS와 IPS의 성능은 탐지 엔진만으로 결정되지 않는다. 정확한 탐지 규칙과 지속적인 튜닝, 로그 분석, 서비스 영향도를 고려한 차단 정책이 함께 운영될 때 실제 보안 통제로 기능할 수 있다.