생성형 AI를 사용할 때 사용자는 질문을 입력하고 몇 초 안에 답변을 받습니다. 이 과정만 보면 AI가 질문을 받을 때마다 새로운 지식을 학습하는 것처럼 보일 수 있습니다. 하지만 실제 AI 시스템에서는 학습(Training)과 추론(Inference)이 명확히 구분됩니다.
학습은 모델의 파라미터를 조정하는 과정이고, 추론은 이미 학습된 모델을 이용해 새로운 입력에 대한 결과를 생성하는 과정입니다. 일반적인 생성형 AI 서비스에서 사용자가 프롬프트를 입력해 답변을 받는 순간에는 대부분 모델 자체를 다시 학습시키는 것이 아니라 추론이 수행됩니다.
AI 학습과 추론은 무엇이 다른가
AI 학습은 모델의 파라미터를 만드는 과정이다
AI 학습은 대량의 데이터를 모델에 입력하고, 모델이 원하는 결과를 더 잘 생성하도록 내부 파라미터를 반복적으로 조정하는 과정입니다.
학습 데이터 입력 → 모델 계산 → 결과와 정답 비교 → 오차 계산 → 파라미터 수정 → 반복
신경망에서는 모델이 예측한 결과와 실제 목표값의 차이를 손실 함수로 계산하고, 역전파와 최적화 알고리즘을 이용해 모델의 가중치를 수정합니다. 이 과정을 충분히 반복하면서 모델은 데이터에서 패턴을 학습합니다.
대규모 언어 모델은 사전 학습 단계에서 방대한 텍스트를 이용해 다음 토큰을 예측하는 능력을 학습합니다. 이후 서비스 목적에 따라 미세 조정이나 다른 정렬 과정을 추가할 수 있습니다. 미세 조정은 기존 모델의 파라미터를 특정 업무나 데이터에 맞게 추가로 조정하는 방식입니다.
AI 추론은 학습된 모델을 실제로 사용하는 과정이다
추론은 학습이 완료된 모델에 새로운 데이터를 입력하고 결과를 얻는 과정입니다.
예를 들어 사용자가 생성형 AI 서비스에 “기업에서 생성형 AI를 도입할 때 필요한 보안 통제를 정리해줘.”라고 입력했다고 가정해 보겠습니다.
서비스는 이 입력을 모델이 처리할 수 있는 형태로 변환한 뒤 학습된 모델에 전달합니다. 모델은 이미 학습된 파라미터를 이용해 다음에 올 가능성이 높은 토큰을 계산하고, 이 과정을 반복하면서 문장을 생성합니다.
중요한 점은 일반적인 추론 과정에서는 모델의 파라미터가 변경되지 않는다는 것입니다. 사용자의 질문이 현재 대화의 컨텍스트에 영향을 줄 수는 있지만, 그것이 곧 모델 자체의 즉시 재학습을 의미하지는 않습니다.
학습과 추론을 비교하면
| 구분 | 학습 | 추론 |
|---|---|---|
| 목적 | 모델이 데이터 패턴을 학습 | 학습된 모델로 결과 생성 |
| 주요 입력 | 학습 데이터 | 실제 사용자 입력 |
| 파라미터 변경 | 발생 | 일반적으로 발생하지 않음 |
| 주요 처리 | 순전파, 손실 계산, 역전파, 최적화 | 주로 순전파와 결과 생성 |
| 중요 지표 | 정확도, 손실, 학습 안정성 | 응답 지연, 처리량, 비용, 품질 |
생성형 AI 서비스는 어떻게 답변을 만드는가
1. 사용자가 프롬프트를 입력한다
생성형 AI 서비스의 시작점은 사용자 입력입니다. 기업용 환경에서는 이 단계에서 사용자 인증, 권한 확인, 입력 데이터 정책, 민감정보 통제 등이 함께 적용될 수 있습니다.
2. 입력을 모델이 처리할 수 있는 토큰으로 변환한다
언어 모델은 문장을 그대로 처리하는 것이 아니라 텍스트를 토큰 단위로 나눠 처리합니다. 사용자의 입력과 시스템 지침, 대화 기록 등은 모델이 처리할 수 있는 컨텍스트로 구성됩니다.
3. 모델이 다음 토큰의 확률을 계산한다
모델은 입력된 토큰을 바탕으로 다음에 올 수 있는 토큰들의 확률을 계산합니다. 선택된 토큰을 다시 컨텍스트에 포함하고 다음 토큰을 계산하는 과정이 반복되면서 하나의 답변이 만들어집니다.
4. 생성된 결과가 사용자에게 전달된다
실제 서비스에서는 모델이 생성한 결과에 안전성 검사, 출력 필터링, 정책 검증, 포맷 변환 등이 추가될 수 있으며, 결과는 스트리밍 형태로 사용자에게 전달될 수 있습니다.
실제 생성형 AI 서비스에는 모델 외에도 많은 시스템이 필요하다
사용자 → API·인증 → 입력 처리 → 컨텍스트 구성 → AI 모델 추론 → 출력 처리 → 응답
기업 내부 문서를 활용하는 RAG 구조라면 검색 시스템과 벡터 데이터베이스가 추가될 수 있고, AI 에이전트를 사용하는 경우에는 외부 시스템이나 업무 도구를 호출하는 기능까지 포함될 수 있습니다.
따라서 기업에서 생성형 AI를 도입할 때는 모델 성능만 볼 것이 아니라 인증, 권한관리, 데이터 저장, 로그, 네트워크, API, 모니터링, 비용 관리까지 전체 서비스 구조를 함께 살펴봐야 합니다.
학습과 추론의 구분이 기업 보안에서 중요한 이유
학습 단계에서는 어떤 데이터를 학습에 사용하는지, 데이터에 개인정보나 기업 기밀이 포함되어 있는지, 누가 학습 데이터와 모델에 접근할 수 있는지가 중요합니다.
추론 단계에서는 사용자가 어떤 정보를 입력하는지, 입력과 출력이 어디에 저장되는지, 로그가 얼마나 보관되는지, 외부 AI 서비스로 전송되는 데이터가 무엇인지가 중요합니다.
- 입력 데이터가 모델 학습에 사용되는지
- 프롬프트와 결과가 어느 기간 동안 저장되는지
- 관리자 또는 서비스 제공자가 해당 데이터를 열람할 수 있는지
- 기업 계정과 개인 계정의 데이터 처리 조건이 다른지
- 내부 문서나 개인정보 입력을 기술적으로 제한할 수 있는지
실무에서는 모델보다 서비스 구조를 함께 봐야 한다
생성형 AI 도입을 검토할 때 모델 이름이나 파라미터 수에만 관심이 집중되기 쉽습니다. 하지만 실제 운영에서 발생하는 문제는 모델 외부에서 발생하는 경우도 많습니다.
사용자 인증이 제대로 적용되지 않거나, RAG 검색 권한이 원본 시스템의 접근권한과 일치하지 않거나, 프롬프트 로그에 민감정보가 남는다면 모델 자체가 안전하더라도 전체 서비스는 안전하다고 보기 어렵습니다.
추론은 서비스 이용 시마다 발생하기 때문에 사용자가 증가하면 GPU 사용량, 응답 지연, 처리량과 비용이 함께 증가합니다. 따라서 생성형 AI 서비스 운영에서는 보안뿐 아니라 Latency, Throughput, Cost, Availability를 함께 관리해야 합니다.
정리
AI 학습은 데이터를 이용해 모델의 파라미터를 조정하는 과정이고, AI 추론은 학습된 모델을 이용해 새로운 입력에 대한 결과를 생성하는 과정입니다.
데이터 → 학습 → 학습된 모델 → 사용자 입력 → 추론 → 생성 결과
이 기본 구조를 이해하면 이후에 살펴볼 토큰, 컨텍스트 윈도우, 프롬프트, RAG, AI 에이전트 같은 기술도 훨씬 쉽게 이해할 수 있습니다.