Reddit · MachineLearning· /u/Rajucg·2026-11-02 02:01· 4 小时前AI 评分28

GPT-4o 分词器如何解析"strawberry"：真实 Token ID 与 BPE 机制演示

I animated what GPT-4o's tokenizer does to "strawberry": real token ids, a tiny BPE run, and why the space belongs to the word (6 min video) [D]

AI 摘要

视频演示了 GPT-4o（GPT-5 tokenizer）的 o200k_base 分词器将"strawberry"处理为 8 个 token 的过程，其中" strawberry"作为单个 token（id 101830）包含三个 r。