반응형
1토큰의 크기(길이)
토큰의 크기는 일반적으로 4~5글자(영문 기준) 정도입니다.
하지만 한글, 영어, 숫자, 특수문자 등 언어와 문장 구조에 따라 달라집니다.
✅ 영어 기준
"Hello" → 1토큰
"Artificial Intelligence" → 2~3토큰
"I am a student." → 6토큰 (공백도 일부 포함됨)
✅ 한글 기준
한글은 한 글자씩 토큰화되지 않고, 단어 단위로 묶이기도 합니다.
"안녕하세요" → 1토큰
"오피스텔 분양 문의드립니다." → 약 4~6토큰
"네이버 블로그 키워드 전략" → 약 5~7토큰
🔹 대략적인 기준
영어 단어 1~1.5개 = 1토큰
한글 단어 1개 = 1~2토큰
1문장(1530토큰
👉 한글 100자 ≈ 50~70토큰
👉 영어 100자 ≈ 20~30토큰
---
📌 토큰 크기 예제
즉, 토큰 수는 언어, 공백, 문장 구조에 따라 다르며,
한글은 영어보다 상대적으로 더 많은 토큰을 차지하는 경우가 많습니다.
반응형