컨텍스트 윈도우

Context Window

AI가 한 번에 「기억하며 읽을 수 있는」 분량. 이게 크면 책 한 권을 통째로 넣을 수 있다.

쉽게 말하면

컨텍스트 윈도우는 AI가 한 번의 대화에서 「기억하며 읽을 수 있는」 최대 분량입니다. 책상 크기에 비유하면 정확합니다 — 책상이 크면 책 여러 권을 펼쳐 놓고 비교하며 일할 수 있고, 작으면 한 장 볼 때마다 앞 장을 치워야 합니다.

단위는 토큰입니다. 「컨텍스트 100만 토큰」이라는 발표는 「책 여러 권 분량을 통째로 넣고 질문할 수 있다」는 뜻입니다. 긴 계약서, 두꺼운 보고서, 소설 전체를 넣고 「요약해 줘」「모순되는 부분 찾아 줘」가 가능해지는 거죠.

챗봇이 긴 대화 끝에 앞부분을 「까먹는」 것도 이 창의 크기 때문입니다. 창을 넘어간 내용은 밀려나서 AI에게는 없는 것과 같습니다. 그래서 새 모델 발표 때마다 「컨텍스트가 몇 배로 늘었다」가 자랑거리로 나옵니다.

기사에서 이렇게 나와요

「컨텍스트 윈도우를 200만 토큰으로 확장했다」 — 한 번에 읽힐 수 있는 자료의 양이 그만큼 늘었다는 뜻으로, 장문 문서 분석·코드베이스 전체 이해 같은 용도가 함께 언급됩니다.

직접 해보기

갖고 있는 긴 문서(PDF·워드)를 하나 골라 챗GPT나 클로드 채팅창에 첨부합니다.
「이 문서를 5줄로 요약하고, 숫자가 나오는 부분만 따로 정리해 줘」라고 입력합니다.
문서 전체를 읽고 답하는 게 바로 컨텍스트 윈도우의 힘입니다. 아주 긴 문서에서 앞부분 질문을 다시 해 보면 한계도 체감할 수 있습니다.

깊이 알아보기

컨텍스트 창은 AI가 지금 이 답을 만들면서 펼쳐 볼 수 있는 작업대입니다. 넓어 보여도 모든 자료를 끝없이 올려둘 수는 없습니다.

컨텍스트 창은 모델이 한 번의 요청에서 처리할 수 있는 토큰 범위입니다. 사용자 입력, 시스템 지시, 대화 기록, 검색 문서, 도구 결과와 생성할 출력이 이 제한된 예산을 함께 사용하며, 무엇을 넣고 줄일지에 따라 답의 정확도와 비용이 달라집니다.

3분 요약

컨텍스트 창은 모델이 현재 요청을 처리할 때 참고할 수 있는 제한된 토큰 공간입니다. 질문만 들어가는 것이 아니라 시스템 지시, 이전 대화, 검색으로 가져온 글, 도구 호출과 결과, 모델이 생성할 답변까지 같은 예산 안에서 고려해야 합니다.
컨텍스트 창은 장기 기억이나 학습 데이터가 아닙니다. 창 안의 정보는 이번 추론에 제공된 작업 재료이고, 기억은 대화 밖에 저장했다가 다시 불러오는 정보이며, 학습은 모델의 가중치를 만드는 별도의 과정입니다.
창이 길다고 모든 내용을 똑같이 잘 쓰는 것은 아닙니다. 관련 없는 자료가 핵심을 가리고, 긴 문서 중간의 근거를 놓치는 현상도 있어 검색, 배치, 압축과 실제 과업 평가가 함께 필요합니다.

왜 지금 알아야 하나

AI가 긴 문서와 복합 작업을 다루기 시작했다

언어 모델은 이제 보고서 한 편을 요약하는 데서 그치지 않고 여러 문서, 코드, 대화 기록을 오가며 작업합니다. 한 요청에 넣을 수 있는 양이 늘었지만 자료가 많아질수록 무엇이 현재 판단에 필요한지 선별하는 일이 더 중요해졌습니다.

에이전트의 도구 사용도 공간을 차지한다

에이전트는 지시문과 사용자 메시지뿐 아니라 검색 결과, 데이터베이스 조회값, 코드 실행 로그와 도구 응답을 계속 받아 봅니다. 이런 중간 결과가 누적되면 최종 답변을 위한 공간이 줄고, 오래된 결과가 최신 사실과 충돌할 수도 있습니다.

긴 입력의 비용과 품질을 함께 관리해야 한다

컨텍스트를 늘리면 더 많은 근거를 제공할 수 있지만 입력 토큰, 처리 시간과 비용도 커집니다. 자료를 한도 안에 넣는 것만으로 성공을 보장할 수 없으므로, 필요한 근거가 실제 답변에 쓰였는지 평가하는 운영 기준이 필요합니다.

어떻게 작동하나

1. 요청의 모든 구성 요소를 토큰으로 합친다
모델은 시스템과 개발자 지시, 사용자 질문, 이전 대화, 검색된 문서, 도구 정의와 결과를 하나의 입력 문맥으로 받습니다. 화면에서 짧아 보이는 요청도 숨은 지시와 도구 정보가 포함되면 실제 입력은 더 커질 수 있습니다.
2. 입력과 생성할 출력을 제한된 범위에 배치한다
모델마다 입력과 출력에 적용되는 규칙은 다르지만, 요청을 설계할 때는 제공할 문맥과 생성할 답변이 허용 범위에 들어가도록 예산을 잡아야 합니다. 입력이 지나치게 길면 일부를 줄여야 하거나 원하는 길이의 출력을 만들 여유가 부족해질 수 있습니다.
3. 모델이 창 안의 관계를 계산한다
모델은 현재 창에 들어온 토큰 사이의 관계를 이용해 다음 토큰을 예측합니다. 다만 모든 위치의 정보를 같은 정확도로 회수하지는 않습니다. Lost in the Middle 연구는 관련 정보가 긴 입력의 처음이나 끝보다 중간에 있을 때 성능이 낮아질 수 있음을 보여줬습니다.
4. 다음 요청을 위해 문맥을 다시 구성한다
대화가 길어지면 완료된 단계의 세부 기록은 핵심 결정으로 압축하고, 오래된 도구 결과는 최신 값으로 교체하며, 필요한 원문은 검색으로 다시 가져옵니다. 압축 전후에 중요한 제약과 근거가 보존됐는지 평가해야 단순한 길이 절감이 정보 손실로 바뀌지 않습니다.

흐름 한눈에 보기

사용자 목표와 지시 → 관련 대화·문서 검색 → 입력·도구 결과 선별 → 토큰 예산 배분 → 모델 추론과 출력 생성 → 근거 사용 여부 평가 → 완료 기록 압축·불필요한 정보 제거 → 다음 요청의 컨텍스트 재구성

흩어진 여러 입력(지시·대화·문서·도구)이 점선 화살표로 제한된 창에 선택적으로 들어간다. 이 창은 절반만 채워진 원으로 표현되어 예산이 한정되어 있고 중간 정보는 놓치기 쉬움을 나타낸다. 처리가 끝나면 점선 화살표로 압축 기록(쌓인 타원)으로 이어져 다음 요청의 문맥으로 재구성된다.

도입 전과 후

이전: 창이 크면 전부 넣는다

사용자는 관련 가능성이 있는 문서와 대화 전체를 한꺼번에 붙입니다. 요청이 허용 범위 안에 들어가더라도 중복 설명과 오래된 결정이 핵심 근거를 가리고, 모델은 긴 입력의 중간에 있는 중요한 조건을 놓칠 수 있습니다.

이후: 질문에 필요한 근거를 우선한다

현재 과업을 먼저 정의하고 검색 결과 중 직접 관련된 구절만 출처와 함께 넣습니다. 변하지 않는 지시, 최신 사실, 참고 배경을 구분하고 중요한 조건을 질문과 가까운 위치에서 명확히 제시합니다.

운영: 압축 결과를 평가하며 갱신한다

긴 대화는 결정, 근거, 미해결 항목으로 압축하되 원문과 비교해 누락을 검사합니다. 대표 질문 세트로 정답률과 근거 인용, 비용을 반복 측정해 더 짧은 컨텍스트가 실제로 같은 품질을 유지하는지 확인합니다.

왼쪽은 빈틈없이 채워진 격자로, 관련 가능성이 있는 문서와 대화 전체를 한꺼번에 넣던 이전 방식을 보여준다. 가운데는 아홉 칸 중 한 칸만 채운 모양으로, 질문에 직접 관련된 근거만 골라 넣는 이후 방식을 나타낸다. 오른쪽은 궤도를 도는 위성으로, 압축한 결과를 원문과 비교해 누락을 검사하고 정답률과 비용을 반복 측정하는 운영 단계를 표현한다.

예시로 이해하기

사내 규정 질문에 답하는 검색 시스템

직원이 휴가 이월 기준을 묻자 시스템이 인사 문서 전체를 넣는 대신 최신 규정의 해당 조항과 시행일을 검색해 제공합니다. 모델의 사전 학습 지식이 아니라 현재 창에 들어온 사내 원문이 답의 근거가 되며, 폐기된 구규정은 제외해야 충돌을 줄일 수 있습니다.

오래 일하는 코딩 에이전트

에이전트가 여러 파일을 읽고 테스트를 반복하면 명령 출력과 실패 로그가 계속 쌓입니다. 완료된 조사 과정은 최종 결정으로 압축하고, 현재 오류와 관련 파일만 다시 넣으면 출력 공간을 확보할 수 있습니다. 다만 압축 과정에서 사용자 요구나 금지 조건이 사라지지 않았는지 회귀 과제로 확인해야 합니다.

직접 해보기

1. 한 과업의 실제 입력을 목록으로 만든다
사용자 질문뿐 아니라 시스템 지시, 이전 메시지, 검색 문서, 도구 설명과 결과를 적습니다. 각 항목이 현재 답에 꼭 필요한지, 최신인지, 다른 항목과 중복되는지 표시합니다.
2. 관련 근거의 위치를 바꿔 비교한다
긴 자료의 처음, 중간, 끝에 같은 핵심 사실을 배치한 세 입력을 만들고 동일한 질문을 합니다. 모델이 사실을 정확히 회수하고 근거를 인용하는지 비교해 위치에 따른 성능 차이를 확인합니다.
3. 대화 기록을 압축한다
완료된 단계의 전문을 목표, 확정 결정, 근거, 미해결 질문으로 줄입니다. 압축본만 제공한 결과가 원본 대화 결과와 같은 필수 조건을 지키는지 검사합니다.
4. 대표 과제로 품질과 비용을 평가한다
실제 사용 질문에서 짧은 문맥과 긴 문맥을 각각 시험합니다. 정답률, 필수 근거 사용, 잘못된 인용, 입력 토큰과 응답 시간을 함께 기록해 가장 긴 구성이 아니라 목적에 맞는 구성을 고릅니다.

한계와 주의점

긴 창은 완전한 회상을 보장하지 않는다

정보가 창 안에 존재해도 모델이 질문과의 관계를 놓치거나 중간에 묻힌 근거를 제대로 사용하지 못할 수 있습니다. 중요한 작업은 단순 포함 여부가 아니라 회수와 적용 결과를 평가해야 합니다.

압축은 중요한 예외를 지울 수 있다

대화를 요약하면 공간을 절약하지만 조건, 반대 의견, 출처와 같은 세부가 사라질 수 있습니다. 중요한 결정은 원문 포인터를 남기고 압축 전후의 필수 사실을 자동 또는 사람 검토로 비교해야 합니다.

한도와 동작은 모델마다 다르다

지원하는 컨텍스트 범위, 최대 출력, 과금 방식과 긴 입력 성능은 모델과 버전에 따라 달라집니다. 빠르게 바뀌는 숫자를 고정 규칙으로 삼지 말고 실제 사용하는 모델의 공식 문서와 API 응답을 확인해야 합니다.

자주 묻는 질문

컨텍스트 창은 AI의 기억인가요?

아닙니다. 컨텍스트 창은 현재 요청에서 모델이 볼 수 있는 작업 공간입니다. 장기 기억은 정보를 외부 저장소 등에 보관했다가 필요할 때 다시 창으로 불러오는 기능이며, 대화가 끝난 뒤 무엇이 보존되는지는 서비스 설계에 달려 있습니다.

컨텍스트에 넣은 내용으로 모델이 다시 학습하나요?

현재 요청에서 내용을 참고하는 추론과 모델 가중치를 바꾸는 학습은 다른 과정입니다. 입력이 서비스 개선이나 학습에 사용되는지는 제공자의 데이터 정책과 계약 설정에 관한 문제이며, 컨텍스트 창의 정의만으로 결정되지 않습니다.

컨텍스트 창이 크면 검색이나 요약이 필요 없나요?

필요합니다. 관련 없는 정보가 늘면 비용이 커지고 핵심 근거가 묻힐 수 있습니다. 검색으로 관련 구절을 고르고 오래된 기록을 압축한 뒤, 대표 과제로 누락과 회수 성능을 평가하는 편이 안정적입니다.

출처

Models — OpenAI
Context windows — Anthropic
Long context — Google
Lost in the Middle: How Language Models Use Long Contexts — Stanford University, UC Berkeley, and Samaya AI