같은 생성형 AI를 사용해도 회의록 초안을 만드는 업무와 고객에게 계약 조건을 안내하는 업무는 책임의 무게가 다르다. 도구 사용을 허용했다는 이유만으로 모든 업무에 같은 방식으로 적용하면, 오류가 발생했을 때 누가 검토하고 사용을 중단할지 불분명해진다.
기업 AI 거버넌스는 AI를 어떤 목적으로 사용하고, 누가 위험을 판단하며, 어떤 조건에서 승인·변경·중단할지를 정하는 의사결정과 관리 체계다. 사용 지침뿐 아니라 책임자, 평가 근거, 운영 기록이 연결되어야 실제로 작동한다. 관리 범위에는 자체 개발 모델, 외부 AI 서비스, 기존 업무 소프트웨어에 포함된 AI 기능도 들어간다.
AI 거버넌스는 보안 통제보다 넓은 범위를 다룬다
정보보호가 데이터 유출과 접근권한을 점검한다면, AI 거버넌스는 결과가 업무에 미치는 영향까지 살핀다. 내부 자료가 유출되지 않아도 잘못된 답변을 고객에게 전달하거나 특정 집단에 불리한 판단을 반복하면 관리 문제가 발생한다. 보안 검토만 통과했다고 AI 사용 목적까지 적절하다고 볼 수는 없다.
NIST의 AI RMF Core는 GOVERN·MAP·MEASURE·MANAGE를 제시한다. 각각 책임과 정책, 사용 맥락과 위험 파악, 평가, 위험 대응에 해당한다. 네 기능은 고정된 순서의 체크리스트가 아니며, GOVERN은 다른 기능 전반에 적용된다. 기업에서는 이를 역할과 검토 절차를 설계하는 기준으로 활용할 수 있다.
ISO는 ISO/IEC 42001:2023을 AI 경영시스템의 수립·실행·유지·지속적 개선을 위한 표준으로 설명한다. 여기서 얻을 실무적 시사점은 정책 제정 후에도 운영 결과를 점검하고 개선하는 구조가 필요하다는 것이다. 경영시스템의 정비와 개별 AI 답변의 정확성 검증은 각각 확인해야 한다.
자료 확인 기준: 2026년 10월 14일. NIST는 AI RMF 1.0이 개정 중이라고 안내하고 있다. 아래 구성은 기업 내부 운영을 위한 설계 예시이며 법정 위험등급이나 특정 인증의 필수 항목을 뜻하지 않는다.
관리 체계는 여섯 가지 요소를 연결해 설계한다
다음은 실무 적용을 위한 구성안이다. 별도 문서를 많이 만드는 것보다 각 항목의 담당자와 갱신 시점을 정하는 것이 중요하다.
| 구성 요소 | 정해야 할 내용 | 남길 관리 근거 |
|---|---|---|
| AI 사용 목록 | 사용 업무, 서비스·모델, 데이터 범위, 사용자, 외부 연결 | 사용 등록부와 변경 이력 |
| 책임과 의사결정 | 업무 책임자, 검토자, 승인권자, 중단 권한 | 역할표와 승인 기록 |
| 위험·영향 평가 | 오류 피해, 정보 노출, 불공정한 결과, 자동 실행 범위 | 위험 평가서와 보완 조치 |
| 사용 정책 | 허용 데이터, 금지 용도, 결과 검토, 예외 처리 | 업무별 사용 기준 |
| 검증과 도입 승인 | 시험 사례, 합격 기준, 제한 조건, 남은 위험 | 평가 결과와 조건부 승인 |
| 운영·변경·종료 | 모니터링, 재평가, 사고 대응, 계약·데이터 정리 | 운영 기록과 종료 확인 |
NIST Playbook의 GOVERN 1.6은 AI 시스템 목록과 이를 유지할 책임을 다룬다. 기업의 등록부는 서비스 이름만 적는 목록보다 업무 단위로 관리하는 편이 유용하다. 같은 AI 제품이라도 문서 초안 작성과 채용 지원에서는 입력 데이터와 영향받는 사람이 다르기 때문이다.
업무 책임자는 기대 효과와 결과 활용 방식을 정하고, IT·AI 담당자는 평가와 기술 운영을 맡는다. 보안·개인정보 담당자는 데이터와 권한을 검토하고, 법무·준법 담당자는 적용 법령과 계약 조건을 확인한다. 승인권자는 보완 조치 이후에도 남는 위험을 받아들일지 결정한다. 문제 발생 시 즉시 사용을 제한할 담당자도 별도로 명시한다.
모든 결정을 위원회로 올릴 필요는 없다. 반복되는 제한적 사용은 위임된 기준으로 처리하고, 영향이 크거나 부서 간 판단이 충돌하는 사안은 상위 의사결정으로 올리는 구조가 현실적이다.
위험 분류는 제품 이름보다 사용 맥락을 기준으로 한다
내부 분류에는 데이터의 민감도, 결과 오류의 피해, 영향받는 사람, 자동 실행 권한, 되돌릴 수 있는 정도를 함께 반영한다. 평균 점수만 계산하면 한 가지 중대한 위험이 가려질 수 있으므로, 민감정보 처리나 권리에 큰 영향을 주는 판단에는 별도 검토 조건을 두는 편이 좋다.
예를 들어 공개 자료로 내부 발표 초안을 만들고 사람이 사실을 확인하는 경우에는 승인된 도구와 기본 검토 기준으로 시작할 수 있다. 그러나 고객별 계약 자료를 읽고 답변을 자동 발송한다면 데이터 처리 조건, 답변 오류, 발송 권한과 사후 정정 가능성을 추가로 검토해야 한다. 이는 가상의 비교 예시이며 특정 서비스의 안전성을 평가한 결과는 아니다.
NIST의 생성형 AI 위험관리 프로파일은 그럴듯한 오류, 개인정보 위험, 유해한 편향, 과도한 의존, 외부 구성 요소의 위험 등을 다룬다. 따라서 사용 정책에는 입력 제한뿐 아니라 결과를 확인할 사람과 확인 방법도 포함해야 한다.
사람이 검토한다는 문구만으로 충분하지는 않다. 검토자에게 원문과 판단 근거를 제공하고, 수정·거부 권한과 검토 시간을 확보해야 한다. 사람에게 영향을 주는 결과라면 문제 제기와 재검토를 요청할 경로도 마련한다. 검토자가 AI의 설명을 그대로 승인하는 구조인지 시험 단계에서 확인할 필요가 있다.
도입 승인은 사용 범위와 근거를 함께 남긴다
새 AI 업무는 다음과 같은 내부 절차로 검토할 수 있다. 이는 기업용 설계 예시이며 NIST의 네 기능을 순서대로 옮긴 절차가 아니다.
- 사용 신청: 목적, 기대 효과, 입력 데이터, 결과 사용 방식, 책임자를 등록한다.
- 위험 검토: 외부 전송, 개인정보, 오류 피해, 자동 실행과 공급자 조건을 확인한다.
- 제한된 시험: 실제 업무를 대표하는 사례와 실패 사례로 품질·통제를 검증한다.
- 운영 승인: 허용 범위, 보완 조치, 미해결 위험, 승인권자와 재검토 조건을 기록한다.
- 운영·재평가: 사용자 피드백과 변경 사항을 반영해 유지·확대·제한·중단을 결정한다.
합격 기준은 시험 전에 정한다. 고객 응대라면 중요한 조건을 잘못 안내하는지, 사내 규정 검색이라면 근거 없는 답변을 내놓는지 확인한다. 접근권한, 장애 시 처리, 사람이 개입할 수 있는지도 별도로 시험한다. 한 가지 정확도 수치로 모든 위험을 대신해서는 안 된다.
외부 서비스는 계약상 데이터 보존·학습 이용 조건, 처리 위치, 재위탁, 변경 통지, 종료 시 삭제·반환 가능성을 확인한다. 확인하지 못한 항목은 승인 기록에 남기고 사용 범위를 제한할지 판단한다. ‘기업용’이라는 명칭만으로 검토를 완료하지 않는다.
승인 이후에는 변경과 사고를 관리한다
승인은 당시의 모델·데이터·권한·사용 목적을 전제로 한다. 모델 교체, 검색 자료 확대, 외부 연결 추가, 자동 실행 기능 도입은 재검토 사유가 될 수 있다. 작은 표현 수정까지 같은 강도로 검토하면 운영 부담이 커지므로, 영향에 따라 간소 검토와 전체 재평가를 구분한다.
가상의 예로, 사람이 확인하던 고객 답변 초안 서비스에 자동 발송을 추가하면 결과를 되돌리기 어려워진다. 이때는 기존 승인서를 유지하기보다 발송 범위, 승인 단계, 오류 정정 절차를 다시 판단해야 한다. 기능 추가가 업무 책임과 피해 범위를 바꾸기 때문이다.
운영 지표에는 처리 시간과 비용 외에 검토 후 수정 비율, 중대한 오류, 권한 위반, 불만·재검토 요청, 평가하지 못한 영역을 포함할 수 있다. 표본과 판정 기준을 함께 기록해야 결과를 비교할 수 있다. 사고가 없다는 사실만으로 위험이 낮다고 결론 내리지 않는다.
문제 발생 시에는 기능 제한, 영향 범위 확인, 관련 버전과 기록 확보, 업무 담당자 통보, 재개 조건을 정한다. 조사용 로그를 이유로 질문과 개인정보를 무제한 보관하지 않도록 접근권한과 보존 기준도 적용한다. 서비스 종료 때는 계정·연결 권한 회수와 데이터 정리까지 확인한다.
작은 조직은 기존 절차에 연결해 시작한다
NIST AI RMF Playbook은 모든 항목을 그대로 수행하는 체크리스트가 아니라 상황에 맞게 선택하는 자발적 참고자료다. 인력이 적은 조직이라면 구매 검토, 개인정보 검토, 시스템 변경관리, 사고 대응 절차에 AI 관련 질문을 추가하는 방식으로 시작할 수 있다.
초기에는 AI 사용 등록부, 업무별 허용 기준, 책임·승인 기록, 평가 결과, 변경·사고 기록부터 연결하는 구성이 실용적이다. 승인 대기와 현업의 검토 부담도 확인하고, 승인된 도구와 쉬운 신청 경로를 함께 제공한다. 사용 사실을 숨기는 편이 편리해지는 절차라면 실제 관리 범위를 확보하기 어렵다.
거버넌스 도구를 구매해도 누가 사용을 중단할지 결정하지 못하면 문제는 남는다. 우선 한 가지 업무를 골라 신청부터 승인, 변경, 종료까지 기록이 이어지는지 확인하는 편이 좋다. 담당자가 바뀌어도 허용 범위와 판단 근거를 설명하고, 위험이 커졌을 때 사용을 제한할 수 있는 상태를 첫 운영 목표로 삼을 수 있다.