语言模型令牌

语言模型令牌指AI模型处理文本的最小单位，此类工具用于将文本拆分为令牌并统计数量。