컨텍스트 이해하기

컨텍스트(Context)는 이제 인공지능 시대가 되면서 기본으로 알아야 할 지식이 되었습니다. 컨텍스트란 챗GPT와 같은 에이전트의 맥락을 이야기합니다. 우리 대화에도 맥락이 있듯이 챗GPT와의 채팅에도 맥락, 즉 컨텍스트가 있습니다. 다음 그림을 봅시다.

그림에서 보듯 컨텍스트란 챗GPT와 나눈 채팅과 챗GPT에 건넨 다양한 자료를 의미합니다. 여러분이 챗GPT와 대화하며 업로드한 문서, 엑셀 파일, 이미지, 코드 모든 것이 컨텍스트입니다. 그래서 이 컨텍스트가 있고, 무엇인지 아는 건 정말 중요한 일입니다. 왜 그럴까요?

컨텍스트가 답변의 품질을 정하기 때문입니다

컨텍스트가 답변의 품질을 정하기 때문입니다. 우리가 대화를 할 때 아무 대화나 하지 않습니다. 주제와 관련이 있는 대화를 이어 하는 것을 좋아하죠. 대화와 상관없는 이야기가 갑자기 튀어 나오면 “이상하다”고 느낍니다. 그리고 대화의 맥이 확 끊겨버리기도 하죠. 챗GPT도 마찬가지입니다. 컨텍스트를 일관성 있게 유지하면 답변이 더 좋아집니다.

컨텍스트는 컨텍스트 윈도우 안에 있습니다

컨텍스트는 또다른 특징이 있습니다. 바로 컨텍스트 윈도우(Context Window) 안에만 있다는 겁니다. 컨텍스트 윈도우란 여러분이 사용하는 채팅방 안에 있는 챗GPT의 기억 공간입니다. 챗GPT와 사람의 유일한 차이점이 있다면 컨텍스트 윈도우가 허용하는 공간 안에서만 나눈 대화를 기억한다는 겁니다. 여러분이 한 채팅방에서 오랫동안 대화를 하면 컨텍스트 윈도우는 점점 가득 차게 됩니다. 그럼 어떻게 될까요? 다음 그림을 봅시다.

그림을 보면 대화가 쌓이며 컨텍스트 윈도우가 가득 차게 됩니다. 그럼 챗GPT는 오래된 대화부터 자르기 시작합니다. 이를 통해 컨텍스트 윈도우를 확보하려는 거죠. 이 덕분에 대화는 계속 이어갈 수 있겠지만 앞에서 했던 이야기는 없는 것이 되었기 때문에 오래된 이야기는 기억할 수 없습니다.

챗GPT가 여러분의 대화를 학습한 게 아닙니다

이것이 챗GPT를 한참 사용한 뒤의 여러분을 헷갈리게 만드는 주범입니다. 가끔 “챗GPT에게 내가 다 학습을 시켰는데…”라고 이야기하는 사람들이 있습니다. 하지만 그건 여러분이 학습시킨 걸 기억하지 못한 것이 아니라 컨텍스트 윈도우 바깥으로 날아갔기 때문입니다. 컨텍스트 윈도우와 학습을 혼동해서는 안 됩니다.

그래서 챗GPT와 대화를 할 때는 컨텍스트의 다음 특성을 꼭 기억하기 바랍니다.

1 연관성이 있는 컨텍스트를 유지하면 답변이 좋아집니다. 2 컨텍스트가 충분할수록 원하는 답변이 더 잘 나옵니다. 3 컨텍스트 윈도우를 초과한 대화를 하면 오래된 컨텍스트는 잊혀집니다.

좀 무거운 이야기가 끝났습니다. 이제 본격적으로 오픈AI의 제품군에는 무엇이 있는지 여러분이 집중해서 사용할 도구 중심으로 알아보겠습니다.