토큰화의 본질: 텍스트 압축 평가와 모델 성능과의 상관관계 분석

토큰화의 압축 능력은 모델 성능과 밀접한 관련이 있음을 보여줌