토큰의 크기

1토큰의 크기(길이)

토큰의 크기는 일반적으로 4~5글자(영문 기준) 정도입니다.
하지만 한글, 영어, 숫자, 특수문자 등 언어와 문장 구조에 따라 달라집니다.

✅ 영어 기준

"Hello" → 1토큰

"Artificial Intelligence" → 2~3토큰

"I am a student." → 6토큰 (공백도 일부 포함됨)


✅ 한글 기준

한글은 한 글자씩 토큰화되지 않고, 단어 단위로 묶이기도 합니다.

"안녕하세요" → 1토큰

"오피스텔 분양 문의드립니다." → 약 4~6토큰

"네이버 블로그 키워드 전략" → 약 5~7토큰


🔹 대략적인 기준

영어 단어 1~1.5개 = 1토큰

한글 단어 1개 = 1~2토큰

1문장(1530토큰


👉 한글 100자 ≈ 50~70토큰
👉 영어 100자 ≈ 20~30토큰


---

📌 토큰 크기 예제

즉, 토큰 수는 언어, 공백, 문장 구조에 따라 다르며,
한글은 영어보다 상대적으로 더 많은 토큰을 차지하는 경우가 많습니다.