tiktoken

OpenAIモデル向けの高速BPEトークナイザー「tiktoken」について、パフォーマンスやBPEの仕組み、カスタムエンコーディングの拡張方法を解説します。