Stable DiffusionプロンプトのためのOpenAI Tokenizer
Table of Contents
OpenAIのTokenizerでStable Diffusionプロンプトを解析する
OpenAIのtokenizerを使用して、Stable Diffusionのプロンプトがどのようにトークン化されるかを分析できます。
LoRAのトリガーワードを見つけたり、特定のトリガーワードに使用されるトークン数を確認するのに便利です。
例えば、プロンプトは以下のようにトークン化されます：
xyz：1トークン：xyz1girl：2トークン：1、girljGlt：3トークン：j、G、lt[xyz]：3トークン：[、xyz、]