Simon Willison·· 7 小时前AI 评分28
ttok 1.0 发布:默认切换至 GPT-5/GPT-6 分词器
ttok 1.0
AI 摘要
ttok 1.0 正式发布,将默认分词器从 GPT-4 切换为 GPT-5 或 GPT-6。依据实验数据,GPT-5 与 GPT-6 系列模型(含 5.5、5.6 Sol/Terra/Luna 及 6 Astra/Sol/Luna)均使用相同的 44,794 token 分词器且匹配所有测试用例。该更新解决了旧版本默认值错误的问题,确保工具能正确适配最新模型。
来源:Simon Willison · simonwillison.net