지식 컷오프 (knowledge cutoff)

무엇인가

지식 컷오프(knowledge cutoff)는 AI 모델이 학습한 데이터의 시간적 경계선이다. 모델은 이 시점까지 수집된 텍스트·코드·이미지를 보고 세상의 패턴을 익혔기 때문에, 그 이후에 일어난 사건은 마치 처음 듣는 이야기처럼 반응한다.

왜 생기는가

대형 모델을 한 번 학습시키는 데에는 수개월과 막대한 컴퓨팅 비용이 든다. 그래서 개발사는 어느 시점까지의 데이터를 모아 "여기서 끊자"라고 정한 뒤 학습을 시작한다. 끊은 그 시점이 바로 컷오프다. 학습이 끝나고 검증과 안전성 점검을 거쳐 출시되기까지도 다시 몇 개월이 흐르므로, 우리가 만나는 모델은 보통 출시 시점보다 6~12개월 전의 세계를 알고 있다.

무엇이 영향을 받는가

컷오프는 단순히 뉴스를 모르는 정도의 문제가 아니다.

• 새 라이브러리의 API 변경
• 최근 출시된 제품 이름과 기능
• 작년에 떠오른 인물이나 밈
• 새로 발표된 논문의 결론

이런 것들은 컷오프 이전 시점의 모델에게는 존재하지 않는 정보다. 모델은 모르는 영역에서도 그럴듯한 답을 내려는 경향이 있어서, 사실인 것처럼 들리는 잘못된 답(환각)을 만들기 쉽다.

어떻게 보완하는가

요즘 모델은 컷오프를 보완하려는 장치를 함께 갖고 있다.

• 웹 검색 도구: 모델이 답변 전에 직접 검색해 최신 정보를 가져온다. 대부분의 챗봇이 지원한다.
• 문서 첨부: 사용자가 PDF·링크·스크린샷을 같이 넣으면 모델은 그 내용을 읽고 답한다.
• 사용자 메모: 자주 쓰는 정보를 모델 메모에 저장해두면 컷오프와 무관하게 항상 참조한다.

이미지 모델의 컷오프

[[chatgpt-images-2]] 같은 이미지 생성 모델도 컷오프가 있다. 텍스트 모델이 단어와 사실을 모른다면, 이미지 모델은 "시각적 사실"을 모른다. 작년에 바뀐 기업 로고, 최근 유행한 패션, 새로 데뷔한 가수의 얼굴은 컷오프 이전 자료가 없어서 정확히 그려지지 않는다.

컷오프를 확인하는 방법

모델에게 "너의 지식 컷오프는 언제야?"라고 직접 물어보면 알려주는 경우가 많다. 다만 모델이 자기 컷오프를 정확히 모를 수도 있으니, 공식 모델 카드를 함께 확인하는 편이 안전하다.

정의와 의미

지식 컷오프(knowledge cutoff)는 모델 사전학습 코퍼스 수집이 끝난 시점이다. 모델 카드에 보통 명시되어 있고(예: ChatGPT Images 2.0은 2025년 12월), 이 시점 이후의 정보는 [[prompt-engineering]]만으로는 채울 수 없다.

운영상 함의

실무에서 컷오프는 다음과 같은 위험으로 나타난다.

• API 시그니처 환각: 작년에 deprecate된 함수를 모델이 여전히 권장한다.
• 버전 혼동: 라이브러리의 최신 메이저 릴리스를 모르고 구버전 패턴을 답한다.
• 제품 정보 누락: 컷오프 이후 발표된 기능이 "존재하지 않음"으로 답해진다.
• 시각적 어긋남: [[text-to-image]] 모델이 신제품의 외형을 정확히 못 그린다.

컷오프를 우회하는 패턴

1) 검색 도구 연결

대부분의 호스팅 모델은 web_search 류 도구를 제공한다. 시스템 프롬프트에서 "최신 정보가 필요한 질문이면 먼저 검색하라"고 명시하면 컷오프 이후 정보도 답할 수 있다.

2) RAG (검색 증강 생성)

사내 문서, 최신 매뉴얼, 변경 로그를 벡터 DB에 넣고 질문 시 관련 청크를 컨텍스트에 주입한다. 컷오프 이후 자료를 모델의 단기 기억으로 끌어오는 표준 방식이다.

3) 컨텍스트에 직접 첨부

일회성 질문이라면 PDF·마크다운·링크 본문을 그대로 컨텍스트에 붙여 넣는다. 200K~1M 토큰 컨텍스트 윈도우 모델이 늘면서 이 방식이 단순하고 강력해졌다.

4) 시스템 프롬프트에 날짜 주입

"오늘 날짜는 2026-04-27이다" 같은 한 줄을 시스템 프롬프트에 추가하면 모델이 자신의 컷오프와 현재 시점의 차이를 의식하고 답한다. 시간 의존적 답변(예: "최근 일주일")의 정확도가 올라간다.

모델별 컷오프 빠르게 확인

• 공식 모델 카드 / system card
• API 응답 metadata (일부 제공자)
• 모델에게 직접 묻기 ("What is your knowledge cutoff?")
• 문서화되지 않은 경우, 시간 민감 사실을 몇 개 던져 추정

자주 하는 실수

• 컷오프를 무시하고 "최신 모범 사례"를 그냥 묻는다.
• RAG로 보완했다고 안심하지만, 모델이 검색 결과보다 자신의 사전학습을 더 신뢰하는 경우(특히 [[reasoning-model]]이 아닌 경량 모델)에는 여전히 환각이 발생한다.
• 검색 결과의 출처를 사용자에게 노출하지 않아 신뢰성 검증이 어려워진다.

짧은 체크리스트

• [ ] 사용 중인 모델의 컷오프 날짜를 안다
• [ ] 시간 의존적 작업에는 검색 도구나 RAG가 켜져 있다
• [ ] 시스템 프롬프트에 "오늘 날짜"가 들어 있다
• [ ] 검색이 실패했을 때의 fallback 동작이 정의되어 있다

정의

지식 컷오프(knowledge cutoff)는 모델 사전학습에 사용된 코퍼스의 수집 종료 시점이다. 엄밀히 말하면 단일 시점이라기보다 다수 데이터 소스가 갖는 시간 분포의 상한선에 가깝고, 소스마다 컷오프가 다른 경우도 있어 모델 카드에 표기되는 단일 "knowledge cutoff date"는 운영상의 근사값으로 봐야 한다.

형성 메커니즘

사전학습 파이프라인은 대체로 다음 순서를 따른다.

1. 웹 크롤링·라이선스 데이터·합성 데이터 수집
2. 중복 제거, 필터링, 안전성·저작권 점검
3. 토크나이즈와 셔플
4. 학습 시작

학습이 시작되는 순간 코퍼스는 동결되고, 이후 들어오는 신규 데이터는 다음 라운드의 사전학습이나 supervised fine-tuning, RLHF, 도구 통합 단계까지 가야 반영된다. 따라서 컷오프 이후 사건은 모델 가중치에 표상되지 않는다.

시각 모달리티에서의 컷오프

[[diffusion-model]] 기반 [[text-to-image]] 시스템은 텍스트 모델보다 컷오프의 영향이 더 가시적이다. 시각 표상은 토큰 빈도가 아닌 픽셀 수준의 시각 prior로 인코딩되기 때문에, 컷오프 이후에 등장한 인물의 얼굴, 기업 로고 리뉴얼, 신제품의 산업 디자인은 학습된 분포 어디에도 존재하지 않는다. 검색 보강은 텍스트 정보를 가져올 수 있으나, 픽셀 prior 자체를 갱신하지는 못한다. 결과적으로 [[gpt-image-2]] 같은 최신 이미지 모델도 컷오프 이후 시각 사실은 흐릿하거나 합성적으로 그린다.

측정과 평가

컷오프의 영향을 정량화하는 연구 흐름:

• TempLAMA, RealtimeQA: 시간 종속적 사실 질의로 모델의 시점 정확도를 측정.
• FreshQA / FreshLLMs: 컷오프 이후 정보를 검색 보강으로 얼마나 회복할 수 있는지 평가.
• Knowledge probing: 동일 사실에 시간 라벨을 바꿔가며 confidence calibration을 본다.

결과는 대체로 컷오프에 가까운 시점일수록 모델의 confidence와 정확도 사이의 캘리브레이션이 무너지고, 모델이 "자신이 모른다는 것조차 모르는" 영역(unknown unknowns)이 가장 위험하다는 점을 일관되게 보고한다.

도구 사용으로의 이전

[[reasoning-model]] 패러다임 이후 컷오프의 의미는 "내재 지식의 시간적 한계"에서 "도구 호출 정책의 트리거"로 옮겨가고 있다. 즉 모델이 자신의 컷오프를 의식하고, 시간 민감 질의에 대해 자율적으로 검색을 호출하도록 학습된다. 이 경우 평가 지표는 단순한 사실 정확도가 아니라 "언제 검색을 호출하는가"의 policy quality가 된다.

한계와 열린 문제

• 컷오프의 비균질성: 동일 모델 안에서도 도메인별·언어별 컷오프가 다르다. 한국어 자료가 영어보다 늦게·적게 들어오는 경우가 흔하다.
• 합성 데이터의 시간 표상: 대규모 합성 코퍼스가 들어오면서, 컷오프가 "원본 데이터 수집 시점"인지 "합성 데이터 생성 시점"인지 모호해진다.
• 모델의 자기 인식: 모델이 자신의 컷오프를 정확히 보고하지 못하는 사례가 종종 보고된다. 파인튜닝 단계에서 학습된 표면적 응답일 뿐인 경우가 많다.
• 시각 prior의 갱신 불가능성: 검색 보강으로 텍스트 사실은 갱신 가능하지만, 시각·음성 prior는 사실상 새 학습 없이는 갱신 불가능하다.

참고

• Kasai et al., "RealtimeQA: What's the Answer Right Now?" (NeurIPS 2023)
• Vu et al., "FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation" (2023)
• Anthropic / OpenAI 모델 카드의 컷오프 표기 비교

이 용어를 언급한 기사

• ChatGPT Images 2.0 — '생각하는' 이미지 모델이 도착했다