Zurück zum Glossar
Token (NLP)
NLP & Sprachmodelle
Kleinste Verarbeitungseinheit für Sprachmodelle.
Ein Token ist die kleinste Verarbeitungseinheit, die ein Sprachmodell versteht – meist ein Wortteil oder Symbol.
- Arten: Wörter, Subwörter, Satzzeichen.
- Einfluss: Tokenisierung bestimmt Kontextlänge und Genauigkeit.
- Beispiel: „ChatGPT“ kann in die Tokens „Chat“ und „GPT“ zerlegt werden.