热点事件持续更新
GPT-4o分词器将strawberry处理为8个token
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年11月2日，Reddit社区发布视频演示了GPT-4o（GPT-5 tokenizer）的o200k_base分词器对单词"strawberry"的处理过程。演示显示该词被解析为8个token，其中包含一个ID为101830的单个token，该token代表"strawberry"且内部包含三个r。此内容基于BPE机制的实际运行结果展示。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 02:01
2026年11月2日视频证实GPT-4o将strawberry分为8个token，含一个完整单词token。报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- Reddit · MachineLearningGPT-4o 分词器如何解析"strawberry"：真实 Token ID 与 BPE 机制演示
视频演示了 GPT-4o（GPT-5 tokenizer）的 o200k_base 分词器将"strawberry"处理为 8 个 token 的过程，其中" strawberry"作为单个 token（id 101830）包含三个 r。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。