Aus dem Kurs: Datenanalyse mit KI

Erhalten Sie Zugriff auf diesen Kurs – mit einer kostenlosen Probeversion

Werden Sie noch heute Mitglied und erhalten Sie Zugriff auf mehr als 25.300 Kurse von Branchenfachleuten.

OpenAI Tokenizer verwenden

OpenAI Tokenizer verwenden

Aus dem Kurs: Datenanalyse mit KI

Gratismonat starten Für Ihr Team erwerben

OpenAI Tokenizer verwenden

“

Das Unternehmen hinter ChatGPT OpenAI hat mit dem OpenAI Tokenizer ein Tool veröffentlicht, um zu analysieren, wie Texte in Tokens umgewandelt werden. Gehen Sie also gemeinsam mit mir auf die Webseite von platform.openai.com/ tokenizer. Hier können Sie also genau analysieren, wie Modelle arbeiten und Texte in Tokens umwandeln. Ein Token kann wie gesagt also ein Wort sein, ein Teil eines Wortes oder sogar nur ein einzelnes Zeichen. Und das hängt natürlich von der Tokenisierungsstrategie ab. Sie sehen auch, dass Sie hier verschiedene Modelle vergleichen können. Das GPT-3 Legacy Modell von OpenAI, GPT-3.5 und GPT-4 sowie auch GPT-4o und 4o mini. Sie sehen also, diese Modelle verwenden offensichtlich andere Tokenisierungsstrategien. Sie können übrigens jetzt hier direkt einen Text mal eingeben, und zwar: Ich lerne mit einem Videokurs für Datenanalyse mit KI. Und Sie sehen auch hier, wie dieser Text also zerlegt wird. Sie können auch einfach mal vergleichen und sehen dann hier je Modell…

Inhalt