토큰 이해하기

챗GPT를 사용하면서 꼭 알아야 할 또 다른 개념은 바로 토큰(Token)입니다. 이름만 보면 난해하게 느껴질 수 있지만, 실제로는 아주 단순한 개념입니다. 토큰이란 챗GPT가 글을 이해하고 처리할 때 사용하는 단위입니다. 우리가 입력하는 문장은 하나의 덩어리로 처리되는 것이 아니라, 여러 개의 작은 조각으로 나뉘어 처리됩니다.

이 조각 하나하나를 토큰이라고 부릅니다. 예를 들어 짧은 문장 하나라도 내부에서는 여러 개의 토큰으로 나뉘어 분석됩니다. 영어는 단어 단위에 가깝고, 한국어는 글자나 형태 단위로 나뉘는 경우가 많습니다. 즉, 토큰은 챗GPT가 문장을 이해하기 위한 기본 재료라고 보면 됩니다.

토큰은 입력과 출력에 모두 사용됩니다

토큰은 우리가 질문을 입력할 때만 사용하는 개념이 아닙니다. 챗GPT가 답변을 생성할 때도 동일하게 사용됩니다. 질문을 토큰으로 나누어 이해하고, 답변 역시 토큰 단위로 하나씩 만들어냅니다. 그리고 입력 토큰과 출력 토큰의 가격은 다릅니다. 이 가격은 오픈AI 공식 문서에서 확인할 수 있는데, 단편적인 예로 GPT-5.5의 입력 토큰과 출력 토큰 가격의 차이는 6배나 납니다.

자료를 보면 GPT-5.5의 입력 토큰은 100만 토큰 당 5달러, 출력 토큰은 100만 토큰 당 30달러입니다. 가격 차이가 엄청나죠? 그래서 어떤 사람들은 출력 토큰을 덜 쓰게 하기 위해 ‘원시인처럼 답할 것’이라는 방식을 사용하기도 합니다. 문자의 수를 최대한 줄여서 아껴 사용하기 위함이죠.

이처럼 토큰은 챗GPT를 쓰기 위한 에너지처럼 이해하면 됩니다. 물론 덕테이프나 코덱스에서도 이 개념은 동일하게 적용됩니다. 꼭 기억해두고 넘어가기 바랍니다.