KI-Token-Zähler & LLM-Kostenrechner.
Der kostenlose, offene Token-Rechner für GPT, Claude, Gemini, Grok, DeepSeek & LLaMA. Text einfügen, Dateien hochladen, Preise vergleichen — alles in Ihrem Browser.
Token Rechner.
Fügen Sie Text ein oder laden Sie eine Datei hoch, um Tokens zu zählen, Kosten zu schätzen und den Kontextfenster-Verbrauch zu sehen.
Dateien hier ablegen oder klicken zum Durchsuchen
Unterstützt PDF, TXT, MD, JSON, CSV, XML — max 10MB
Als API-Anfrage zählen
Anbieter berechnen auch die Rollen- und Begrenzungstokens, die Ihren Text umschließen. Anthropics eigenes Beispiel — ein kurzer System-Prompt plus eine Nachricht — kostet 14 Input-Tokens für 7 Tokens sichtbaren Text.
LLM API-Preise.
Vergleichen Sie Input- und Output-Token-Kosten bei allen großen KI-Anbietern. Preise pro 1M Tokens.
| Modell | Input / 1Mpro 1M Tokens | Gecachedpro 1M Tokens | Output / 1Mpro 1M Tokens | Kontext | Ihre Kostengeschätzt |
|---|---|---|---|---|---|
GPT-5.6 Sol OpenAI | $4.00 | $0.400 | $20.00 | 1M | — |
GPT-5.6 Terra | $2.00 | $0.200 | $12.00 | 1M | — |
GPT-5.6 Luna | $0.20 | $0.020 | $1.20 | 1M | — |
GPT-5.5 | $5.00 | $0.500 | $30.00 | 1M | — |
GPT-5.4 | $2.50 | $0.250 | $15.00 | 1M | — |
GPT-5.4 mini | $0.75 | $0.075 | $4.50 | 400K | — |
GPT-5.4 nano | $0.20 | $0.020 | $1.25 | 400K | — |
GPT-5.1 | $1.25 | $0.125 | $10.00 | 400K | — |
GPT-4.1 | $2.00 | $0.500 | $8.00 | 1M | — |
GPT-4o | $2.50 | $1.250 | $10.00 | 128K | — |
GPT-4o Mini | $0.15 | $0.075 | $0.60 | 128K | — |
Claude Fable 5 Anthropic | $10.00 | $1.000 | $50.00 | 1M | — |
Claude Opus 5 | $5.00 | $0.500 | $25.00 | 1M | — |
Claude Opus 4.8 | $5.00 | $0.500 | $25.00 | 1M | — |
Claude Opus 4.7 | $5.00 | $0.500 | $25.00 | 1M | — |
Claude Opus 4.6 | $5.00 | $0.500 | $25.00 | 1M | — |
Claude Opus 4.5 | $5.00 | $0.500 | $25.00 | 200K | — |
Claude Sonnet 5 | $2.00 | $0.200 | $10.00 | 1M | — |
Claude Sonnet 4.6 | $3.00 | $0.300 | $15.00 | 1M | — |
Claude Sonnet 4.5 | $3.00 | $0.300 | $15.00 | 200K | — |
Claude Haiku 4.5 | $1.00 | $0.100 | $5.00 | 200K | — |
Gemini 3.1 Pro Google | $2.00 | $0.200 | $12.00 | 1M | — |
Gemini 3.7 Flash | $0.75 | $0.075 | $3.75 | 1M | — |
Gemini 3.5 Flash | $1.50 | $0.150 | $9.00 | 1M | — |
Gemini 3.5 Flash-Lite | $0.30 | $0.030 | $2.50 | 1M | — |
Gemini 2.5 Pro | $1.25 | $0.125 | $10.00 | 1M | — |
Grok 4.6 xAI | $2.00 | $0.500 | $6.00 | 500K | — |
Grok 4.5 | $2.00 | $0.300 | $6.00 | 500K | — |
Grok 4.3 | $1.25 | $0.200 | $2.50 | 1M | — |
Grok Build 0.1 | $1.00 | $0.200 | $2.00 | 256K | — |
DeepSeek V4 Pro DeepSeek | $1.32 | $0.044 | $3.96 | 1M | — |
DeepSeek V4 Flash | $0.44 | $0.014 | $1.32 | 1M | — |
LLaMA 3.3 70B Meta (via API) | $1.04 | — | $1.04 | 128K | — |
Qwen3.7 Max Alibaba | $2.50 | $0.250 | $7.50 | 1M | — |
Preise gelten für Standard-Text-API-Tarife. Ohne Batch-, Media-, Tool- und Speichergebühren.
Alles was Sie brauchen.
Ein komplettes Toolkit zum Verstehen und Optimieren Ihres LLM-Token-Verbrauchs.
Echtzeit-Zählung
Tokens werden sofort beim Tippen gezählt — kein Button, kein Warten.
Datei-Upload
Laden Sie PDF, TXT, Markdown, JSON, CSV oder XML hoch. Token-Zählung in Sekunden.
Token-Visualisierer
Sehen Sie genau, wie Ihr Text in Tokens aufgeteilt wird — mit farbcodierten Chips.
Kostenvergleich
Vergleichen Sie Kosten für GPT, Claude, Gemini, Grok, DeepSeek und LLaMA Modelle.
Kontextfenster
Verfolgen Sie, wie viel vom Kontextfenster des Modells Ihr Prompt belegt.
100% Kostenlos
Keine Anmeldung, keine Limits, keine API-Schlüssel. Alles läuft in Ihrem Browser.
Drei einfache Schritte.
Einfügen oder Hochladen
Geben Sie Ihren Text ein oder laden Sie ein Dokument hoch.
Modell auswählen
Wählen Sie Ihr Ziel-LLM-Modell für genaue Preisberechnung.
Ergebnisse erhalten
Sehen Sie Token-Anzahl, Kostenschätzung und Kontextfenster-Nutzung sofort.
Ein Token-Zähler für jedes Modell, das Sie wirklich nutzen
Token Counter AI ist ein kostenloser Token-Zähler und Token-Rechner für große Sprachmodelle. Fügen Sie Text ein oder ziehen Sie eine Datei hinein, und Sie sehen, wie viele Token der Text ergibt, was das Senden kosten würde und wie viel des Kontextfensters dabei belegt wäre — für 34 Modelle von 7 Anbietern, ohne Konto, ohne API-Schlüssel und ohne dass ein einziges Byte Ihren Browser verlässt.
Was ein Token tatsächlich ist
Sprachmodelle lesen keine Zeichen und keine Wörter. Sie lesen Token: Textfragmente aus einem festen Vokabular, mit dem das Modell trainiert wurde. Häufige englische Wörter sind meist ein einzelnes Token. Längere oder seltenere Wörter zerfallen in Teile, weshalb „Tokenisierung" beim Modell als mehrere Bruchstücke ankommt. Deutsche Komposita treffen es besonders: „Kontextfenster" oder „Zeichenkodierung" kosten regelmäßig drei bis vier Token. Satzzeichen zählen. Zeilenumbrüche zählen. Das Leerzeichen vor einem Wort gehört zum folgenden Token — deshalb sind „Haus" und „ Haus" zwei verschiedene Token mit zwei verschiedenen IDs.
Das ist die Einheit, in der alles andere angegeben wird. Kontextfenster werden in Token gemessen, API-Preise pro Million Token berechnet und Ratenlimits in Token pro Minute gezählt. Für gewöhnlichen englischen Text liegt das Verhältnis bei etwa 4 Zeichen beziehungsweise 0.75 eines Wortes pro Token — 1.000 Token sind also rund 750 Wörter, und 1.000.000 Token etwa 750.000 Wörter oder 1.500 gedruckte Seiten. Deutsch, Code, JSON, Tabellen und nicht-lateinische Schriften liegen deutlich darüber — und genau dort hören Schätzungen auf, brauchbar zu sein.
Warum exakte Zahlen besser sind als Zeichenschätzungen
Die Zeichenzahl durch vier zu teilen ist für einen englischen Absatz eine vernünftige Annahme und für alles andere eine schlechte. Ein minifiziertes JSON kann doppelt so viel kosten, wie das Verhältnis vorhersagt. Ein Hindi- oder japanischer Abschnitt kann die Hälfte mehr kosten, als seine Länge vermuten lässt. Quellcode mit tiefer Einrückung verbraucht Token für Leerzeichen. Wenn Sie einen Prompt gegen ein Kontextlimit auslegen oder eine Monatsrechnung hochrechnen, ist eine Schätzung mit 40 % Abweichung keine Prognose.
Dieses Tool schätzt daher nicht, wo es nicht muss. Für OpenAI-Modelle lädt es das echte Byte-Pair-Encoding-Vokabular — o200k_base, dieselben Ranks, die die API verwendet — und führt es in Ihrem Browser-Tab aus. Die angezeigte Zahl ist die Zahl, die Ihnen berechnet wird, keine Annäherung daran. Damit ist es ein echter OpenAI Tokenizer und keine Zeichenzählung, die sich nur so nennt.
11 Modelle im Vergleich werden auf diese Weise gezählt, mit dem Tokenizer des Anbieters selbst. Die übrigen gehören Anbietern, die ihren nie veröffentlicht haben — Anthropic, Google und xAI halten ihre Vokabulare geschlossen — und dort ist die Zahl eine kalibrierte Schätzung, überall auch als solche gekennzeichnet. Wo ein Anbieter stattdessen einen Zähl-Endpunkt anbietet, wie Anthropic, steht das auf der Seite und ist verlinkt. Nirgends wird eine Schätzung als Gewissheit ausgegeben.
Alle Modelle, eine Zahl
Die Auswahl umfasst 34 Modelle von 7 Anbietern, der vollständige Vergleich auf der Preisseite 56 Modelle von 11 — die GPT-Reihe von OpenAI, die Claude-Familie von Anthropic, Googles Gemini, Grok von xAI sowie DeepSeek, Qwen und Llama. Ein Modellwechsel berechnet denselben Text sofort neu. Innerhalb einer Generation eines Anbieters ändert sich die Token-Zahl meist überhaupt nicht, weil diese Modelle ein Vokabular teilen; was sich ändert, ist der Preis.
Die Spanne zwischen diesen Preisen ist der Grund, warum das zählt. GPT-5.6 Terra kostet $2.00 pro Million Eingabe-Token gegenüber $12.00 pro Million Ausgabe-Token. Claude Sonnet 5 liegt bei $2.00 und $10.00, Gemini 3.1 Pro bei $2.00 und $12.00, Grok 4.6 bei $2.00 und $6.00. Am unteren Ende nimmt GPT-4o Mini Eingaben zu $0.150 pro Million. Die Ausgabe ist immer die teure Richtung — und die, die beim Budgetieren regelmäßig vergessen wird.
Von Token zum Budget
Token zu zählen ist Mittel zum Zweck: Sie wollen wissen, was etwas kostet, bevor Sie es hunderttausendmal ausführen. Das Ergebnisfeld rechnet beim Tippen mit, sodass ein Prompt, der in den Produktivbetrieb gehen soll, seine Eingabekosten pro Aufruf sofort zeigt. Ein Dollar Eingabe kauft bei GPT-5.6 Terra etwa 500.000 Token und bei GPT-4o Mini rund 6.666.667 — ein Unterschied, der in einem einzelnen Test unsichtbar und im großen Maßstab entscheidend ist.
Zwei Dinge biegen die Kurve zu Ihren Gunsten, und beide sind hier sichtbar. Gecachte Eingaben sind deutlich billiger als frische, wenn Anfragen ein gemeinsames Prompt-Präfix haben: bei GPT-5.6 Terra kostet die gecachte Rate $0.200 pro Million gegenüber $2.00 regulär. Und ein kürzerer System-Prompt spart bei jedem einzelnen Aufruf Geld, dauerhaft — 500 Token aus einem Prompt zu streichen, der eine Million Mal pro Monat läuft, spart allein bei diesem Modell $1000.00 im Monat. Keine der beiden Optimierungen ist offensichtlich, solange Sie die Token-Zahl nicht sehen können.
Ganze Dateien, nicht nur eingefügter Text
Die meisten echten Fragen betreffen Dokumente, nicht Absätze. Wechseln Sie auf den Datei-Tab und ziehen Sie ein PDF, ein Word-Dokument, eine Text- oder Markdown-Datei, JSON oder CSV hinein — der Text wird direkt extrahiert und gezählt. Mehrere Dateien gleichzeitig sind kein Problem: jede erhält ihre eigene Zeile, und die Summen addieren sich. Das ist der schnellste Weg herauszufinden, ob ein Ordner voller Verträge, Transkripte oder gescrapter Seiten in ein Kontextfenster passt, bevor Sie eine Zeile Code dagegen schreiben.
Weil der Kontextbalken gegen das ausgewählte Modell rechnet und nicht gegen eine feste Zahl, beantwortet er die Frage, auf die es ankommt — nicht „wie groß ist diese Datei", sondern „passt sie, und wie viel Platz bleibt für die Antwort". Ein Fenster von 1.050.000 Token klingt unbegrenzt, bis ein Dokument, ein System-Prompt und ein Gesprächsverlauf gleichzeitig darum konkurrieren.
Nichts verlässt Ihren Browser
Der Tokenizer, das Auslesen der Dateien und die Rechnung laufen vollständig clientseitig, auf der Seite, die Sie ohnehin schon geöffnet haben. Es gibt keinen Upload, keinen Server-Roundtrip, kein Anfrageprotokoll und kein Konto. Schließen Sie den Tab, bleibt nichts zurück. Das ist keine Zusage in einer Richtlinie, sondern eine Eigenschaft der Konstruktion: der Code hätte gar keinen Ort, an den er Ihren Text senden könnte. Genau deshalb lässt er sich auf einen Vertragsentwurf, eine unveröffentlichte Spezifikation oder ein Kundengespräch anwenden, das in ein gehostetes Tool überhaupt nicht eingefügt werden dürfte.
Für wen das gedacht ist
Für Entwicklerinnen und Entwickler, die Prompts gegen ein Kontextlimit auslegen und API-Kosten vor dem Start hochrechnen. Für Autoren und Forschende, die prüfen, ob ein Manuskript in einem Durchgang hineinpasst. Für Produkt- und Finanzteams, die eine Nutzungsschätzung in eine Budgetposition übersetzen. Für Studierende und für alle, die in einen Truncation-Fehler gelaufen sind und wissen wollen, wie weit über dem Limit sie lagen — und für alle, die „wie viele Token sind 1.000 Wörter" in ein Suchfeld getippt haben und eine klare Antwort wollten statt eines Anmeldeformulars. Die Antwort lautet: etwa 1.333 Token englischer Prosa, und Sie können das im Zähler oben in rund fünf Sekunden nachprüfen.
Häufige Fragen zum Token-Zähler.
Klare Antworten auf die Fragen, die zu Token wirklich gestellt werden — was eines ist, wie viele Wörter 1.000 Token ergeben, was eine Million kostet und wie dieser Token-Zähler zu seinen Zahlen kommt. Jede Angabe unten wird aus denselben Preisdaten gelesen wie der Rechner am Kopf dieser Seite.
Grundlagen zu Token
Was ist ein Token-Zähler?
Ein Token-Zähler ist ein Werkzeug, das Ihnen sagt, wie viele Token ein Text ergibt, sobald ein Sprachmodell ihn liest. Modelle werden in Token abgerechnet, begrenzt und ratenlimitiert, nicht in Wörtern — diese Zahl entscheidet also, ob ein Prompt hineinpasst und was er kostet. Dieser Token-Zähler führt den echten Tokenizer in Ihrem Browser über 34 Modelle von 7 Anbietern aus und zeigt Zahl, Kosten und belegten Anteil des Kontextfensters gemeinsam an.
Was ist ein Token?
Ein Token ist die grundlegende Texteinheit, die ein KI-Modell verarbeitet. Es kann ein ganzes Wort, ein Wortfragment, ein Satzzeichen oder ein einzelnes Zeichen sein. Häufige englische Wörter sind meist ein Token, längere oder seltenere Wörter zerfallen dagegen in Teile — „tokenization" kommt beim Modell als „token" plus „ization" an. Für gewöhnliches Englisch entspricht ein Token im Durchschnitt etwa 4 Zeichen oder 0.75 eines Wortes.
Wie lang ist ein Token?
Etwa 4 Zeichen englischer Prosa, also ungefähr 0.75 eines Wortes. Das ist ein Durchschnitt, keine Regel: „the" ist ein Token aus drei Zeichen, während eine lange URL oder ein base64-Block ein Token pro Zeichen kosten kann. In Geld ist ein Eingabe-Token bei GPT-5.6 Terra $0.000002 wert — weshalb Tarife immer pro Million und nicht pro Token angegeben werden.
Was bedeutet „tokenisieren"?
Einen Text zu tokenisieren heißt, ihn in die Vokabulareinheiten zu zerlegen, die das Modell tatsächlich liest, und jeder Einheit eine ganzzahlige ID zuzuordnen. Das Modell sieht Ihre Zeichen nie; es sieht diese Liste von IDs. Tokenisieren ist deterministisch — derselbe Text ergibt immer dieselben Token — und umkehrbar: Die IDs zurückzudecodieren liefert den ursprünglichen Text Byte für Byte. Token zu zählen heißt, den Text zu tokenisieren und zu melden, wie viele Teile dabei herausgekommen sind.
Was sind die fünf Arten von Token?
Die Einteilung in fünf Arten kommt aus der Compilertheorie und nicht aus der KI: Ein Lexer sortiert Quellcode in Schlüsselwörter, Bezeichner, Operatoren, Trennzeichen und Literale. Sprachmodelle verwenden diese Kategorien nicht. Für die LLM-Tokenisierung ist die nützliche Aufteilung eine andere — ganze Wörter, Subwort-Fragmente, einzelne Zeichen oder rohe Bytes, Satzzeichen und Leerraum sowie spezielle Steuer-Token wie Ende-des-Textes-Marker. Nur die letzte Art wird von der API hinzugefügt und nicht von Ihrem Text.
Token-Zahlen und ihre Wort-Entsprechungen
Wie viele Wörter sind 1000 Token?
Etwa 750 Wörter englischer Prosa, gerechnet mit dem Arbeitsverhältnis von 0.75 Wörtern pro Token. Umgekehrt sind 1.000 Wörter grob 1.333 Token. Beide Richtungen sind Schätzungen und gelten nur für Prosa: 1.000 Token minifiziertes JSON, Quellcode oder Hindi- und japanischer Text tragen deutlich weniger Wörter als das. Genau deshalb ist Zählen besser als Teilen.
Wie viel sind 200.000 Token?
Rund 150.000 Wörter oder etwa 300 gedruckte Seiten bei 500 Wörtern pro Seite — ein Roman in voller Länge. Es ist außerdem eine verbreitete Kontextfenstergröße, weshalb die eigentliche Frage meist „passt das in 200K" lautet. In Geld kosten 200.000 Eingabe-Token $0.400 bei GPT-5.6 Terra und $0.030 bei GPT-4o Mini.
Wie lang ist 1 Million Token?
Etwa 750.000 Wörter oder rund 1.500 gedruckte Seiten — nennen wir es acht durchschnittliche Romane. Mehrere Modelle nehmen inzwischen so viel in einer einzigen Anfrage: GPT-5.6 Sol hat ein Fenster von 1M Token und Claude Sonnet 5 eines von 1M. Eine Million Token laut vorzulesen würde an die neunzig Stunden dauern.
Wie viel sind 2 Millionen Token?
Grob 1.500.000 Wörter oder etwa 3.000 gedruckte Seiten. Kein Modell in der Auswahl nimmt das in einer einzigen Anfrage — das größte Fenster hier fasst 1M Token — zwei Millionen beschreiben also üblicherweise ein Monatsbudget oder einen Dokumentbestand, den Sie aufteilen müssen. In Geld sind das $4.00 Eingabe bei GPT-5.6 Terra oder $0.300 bei GPT-4o Mini.
Was ist ein 1M-Token?
„1M Token" ist die Kurzform für eine Million Token, und der Ausdruck tritt an zwei Stellen auf. Als Kontextfenster heißt er, dass das Modell etwa 750.000 Wörter Prompt, Dokumente und Verlauf gleichzeitig halten kann. Als Preiseinheit ist er die Art, in der jeder Anbieter seine Tarife angibt — $2.00 pro 1M Eingabe-Token bei GPT-5.6 Terra ergibt $0.000002 pro Token. Mit Krypto-Token hat das nichts zu tun.
Was Token kosten
Wie viel sind 1000 Token wert?
Bei GPT-5.6 Terra, zu $2.00 pro Million, kosten 1.000 Eingabe-Token $0.00200 und 1.000 Ausgabe-Token $0.012 — die Ausgabe ist immer die teure Richtung. Über die gesamte Auswahl reichen dieselben 1.000 Eingabe-Token von $0.00015 bei GPT-4o Mini bis $0.010 bei Claude Fable 5, eine Spanne von 67×. Der Text ändert sich nicht; nur die Rechnung.
Wie viel sind 1.000.000 Token?
Eine Million Token ist genau eine Abrechnungseinheit — alle Anbieter geben ihre Tarife pro Million an, das ist also die Zahl, die auf der Preisseite steht. Bei GPT-5.6 Terra kostet eine Million Eingabe-Token $2.00, ein Dollar kauft demnach 500.000 Token oder etwa 375.000 Wörter. Die Ausgabe ist teurer, mit $12.00 pro Million. Am günstigen Ende nimmt GPT-4o Mini $0.150, derselbe Dollar reicht dort also 13-mal weiter.
Wie werden die Kosten berechnet?
Token-Zahl multipliziert mit dem veröffentlichten Tarif des ausgewählten Modells, wobei Eingabe und Ausgabe getrennt bepreist werden. Text, den Sie hier einfügen oder ablegen, wird als Eingabe gezählt, und die Kosten pro Aufruf erscheinen sofort. Gecachte Eingabe — wenn aufeinanderfolgende Anfragen ein Prompt-Präfix teilen — ist noch billiger: $0.200 pro Million bei GPT-5.6 Terra gegenüber $2.00 regulär. Die Tarife stammen von der Preisseite jedes Anbieters und werden regelmäßig nachgeprüft.
Token zählen
Wie kann ich Token berechnen?
Drei Wege, in absteigender Reihenfolge des Aufwands. Fügen Sie den Text in den Zähler am Kopf dieser Seite ein und lesen Sie die Zahl ab — exakt für OpenAI-Modelle, weil das echte o200k_base-Vokabular in Ihrem Browser läuft. Rufen Sie selbst eine Tokenizer-Bibliothek auf: tiktoken für OpenAI, SentencePiece für Google, die tokenizers-Bibliothek von Hugging Face für offene Modelle. Oder teilen Sie Ihre Zeichenzahl durch 4 für eine grobe Schätzung, die bei Code, JSON und nicht-lateinischen Schriften stark abweicht.
Wie erhalte ich die Token-Zahl?
Für eine schnelle Antwort: Text einfügen oder eine Datei in den Zähler oben ziehen —
die Zahl erscheint beim Tippen, ohne Konto, ohne API-Schlüssel, ohne Upload. Im Code
nehmen Sie den Tokenizer des Anbieters selbst:
len(enc.encode(text)) mit tiktoken in Python oder js-tiktoken in
JavaScript. Wo ein Vokabular nicht veröffentlicht ist, nutzen Sie stattdessen den
Zähl-Endpunkt des Anbieters — der count-tokens-Endpunkt von Anthropic ist der einzige
exakte Weg zu einer Claude-Zahl.
Wie wird ein KI-Token berechnet?
Durch einen Byte-Pair-Encoding-Durchlauf, nicht durch das Zählen von Zeichen oder Wörtern. Der Tokenizer zerlegt Ihren Text mit einem festen regulären Ausdruck und verschmilzt dann wiederholt das häufigste benachbarte Byte-Paar nach einer beim Training gelernten Merge-Tabelle, bis keine Verschmelzung mehr greift. Die übrig gebliebenen Teile sind die Token, jedes einer ganzzahligen ID zugeordnet. o200k_base, das Encoding aktueller OpenAI-Modelle, enthält etwa 200.000 solcher Teile; das ältere cl100k_base etwa 100.000.
Ist dieser Token-Rechner genau?
Für OpenAI-Modelle exakt — das quelloffene BPE-Vokabular von OpenAI läuft in Ihrem Browser, die angezeigte Zahl ist also die, die Ihnen berechnet wird. 11 der 56 Modelle im Vergleich werden so gezählt. Anthropic, Google, xAI, DeepSeek und Meta veröffentlichen ihre Tokenizer nicht, jene Werte sind daher kalibrierte Schätzungen und werden neben der Summe als solche gekennzeichnet. Betrachten Sie sie als guten Richtwert, nicht als Abrechnungsgrundlage.
Kann ich PDF-Dateien hochladen?
Ja. PDF, DOCX, TXT, Markdown, JSON, CSV und XML werden unterstützt, bis 10 MB, und mehrere Dateien gleichzeitig sind kein Problem — jede erhält ihre eigene Zeile, und die Summen addieren sich. PDFs werden vollständig in Ihrem Browser mit PDF.js verarbeitet; es wird nichts hochgeladen. Ein gescanntes PDF ohne eingebetteten Text kann nicht gelesen werden, und das Tool sagt das, anstatt eine irreführende Zahl zu liefern.
Tokenizer
Was macht ein Tokenizer?
Er wandelt Text in die ganzzahligen IDs um, die ein Modell verarbeiten kann, und wieder zurück. Konkret: Er zerlegt den Text mit einem regulären Ausdruck in Kandidatenstücke, führt über jedes Stück Byte-Paar-Verschmelzungen gegen ein festes Vokabular aus und gibt eine ID pro übrig gebliebenem Teil aus. Er übernimmt auch die unangenehmen Teile — das führende Leerzeichen, das „hello" und „ hello" zu zwei verschiedenen Token macht, Bytes, die kein gültiges UTF-8 sind, und die Steuer-Token, die Anfang und Ende einer Nachricht markieren.
Wofür wird ein Tokenizer verwendet?
Jede Textoperation eines Modells beginnt und endet mit einem, der Tokenizer ist also überhaupt erst das, was Ihre Eingabe für das Modell lesbar macht. Außerhalb des Modells verwenden Sie einen, um Token vor dem Senden einer Anfrage zu zählen, einen Prompt zu bepreisen, ein Dokument gegen ein Kontextfenster zu prüfen, Text für eine Vektordatenbank an Token- statt an Zeichengrenzen zu zerteilen und einen Gesprächsverlauf so zu kürzen, dass er weiterhin hineinpasst.
Was ist Tokenisierung, an einem Beispiel?
Tokenisierung ist das Zerlegen von Text in die Einheiten, die ein Modell liest. „Token counter" sind zwei Token, weil beide Wörter häufig genug sind, um einen eigenen Vokabulareintrag zu haben — und das Leerzeichen gehört zum zweiten, „ counter" und „counter" sind also verschiedene Token. Das Wort „tokenization" ist seltener und zerfällt daher in „token" plus „ization": ein Wort, zwei Token. Noch seltener zerfällt weiter — „unbelievably" kostet drei, als „un" plus „bel" plus „ievably". Der Visualisierer oben zeigt die genaue Zerlegung für jeden Text, den Sie einfügen.
Wer stellt Tokenisierung bereit?
In der KI der Hersteller des Modells selbst. OpenAI veröffentlicht tiktoken, Google hat SentencePiece quelloffen gemacht, Meta liefert seinen Tokenizer mit den Llama-Gewichten aus, und die tokenizers-Bibliothek von Hugging Face implementiert BPE, WordPiece und Unigram für offene Modelle. Anthropic, Googles Gemini und xAI halten ihre Produktionsvokabulare geschlossen und bieten stattdessen Zähl-Endpunkte an. Wenn Sie nach Zahlungstokenisierung gesucht haben: Das ist ein davon unabhängiger Dienst von Kartennetzwerken und Zahlungsdienstleistern.
Wie trainiere ich einen Tokenizer?
Wählen Sie einen Algorithmus — BPE, WordPiece oder Unigram — stellen Sie einen Korpus zusammen, der dem Text ähnelt, den Sie tatsächlich verarbeiten werden, legen Sie eine Vokabulargröße fest und lassen Sie einen Trainer wie tokenizers von Hugging Face oder SentencePiece laufen; er gibt ein Vokabular und eine Merge-Tabelle aus. Ein größeres Vokabular bedeutet weniger Token pro Dokument, aber eine größere Embedding-Matrix. Eine Einschränkung zählt mehr als alle anderen: Für ein bestehendes Modell können Sie den Tokenizer nicht neu trainieren, weil sein Vokabular mit den Embedding-Gewichten verschweißt ist.
Datenschutz und Preis
Ist es wirklich kostenlos?
Ja, komplett kostenlos und ohne Einschränkungen — keine Anmeldung, kein API-Schlüssel, keine Testphase, keine Bezahlstufe, die den nützlichen Teil zurückhält. Alles läuft in Ihrem Browser, es gibt also keinen Server zu messen und für uns nichts abzurechnen: Sie können 1.000.000 Token so leicht zählen wie zehn. Die 34 Modelle in der Auswahl stehen allen zur Verfügung, und der Datei-Upload ebenso.
Speichern Sie meine Daten?
Nein. Der Tokenizer, das Auslesen der Dateien und die Rechnung laufen alle lokal in der Seite, die Sie ohnehin schon vor sich haben. Es wird nie etwas an einen Server gesendet, weil es keinen Server gibt, an den man es senden könnte — genau das macht das Tool auf einem Vertragsentwurf, einer unveröffentlichten Spezifikation oder einem Kundengespräch verwendbar. Schließen Sie den Tab, bleibt nichts zurück.