Waarom kost Nederlands meer tokens?

Tokenizers leren hun woordenlijst vooral van Engelse tekst. Nederlandse woorden worden daardoor vaker in stukjes geknipt, en elk stukje is een token.

Zijn Claude en Gemini gemeten?

Nog niet. Hun tokenizers zijn niet openbaar; tellen kan alleen via hun API. Die meting voegen we toe.

Mag ik deze cijfers gebruiken?

Ja, met bronvermelding (guide.wyst.nl). De data staat in data/tokenindex.yaml en het meetscript in scripts/tokenindex.py.

Tokenindex: hoeveel extra kost Nederlands?

Eigen meting: dezelfde tekst kost in het Nederlands 24% tot 60% meer tokens dan in het Engels, afhankelijk van de tokenizer. Met open methode en data.

In het kort

Dezelfde tekst kost in het Nederlands 24% meer tokens dan in het Engels bij de tokenizer van huidige OpenAI-modellen, en tot 58-60% meer bij Qwen3 en de oude GPT-4-tokenizer. Reken met ongeveer 1,45 token per Nederlands woord bij OpenAI. Gemeten op 2.009 parallelle zinnen (FLORES-200), november 2026.

Feiten gecheckt op 2 november 2026

Nederlands vs. Engels: extra tokens voor dezelfde tekst

OpenAI o200k_baseGPT-4o tot en met GPT-6
+24%
Mistral TekkenMistral Small 3.1 en verwante Mistral-modellen
+41%
DeepSeek-V3DeepSeek-V3 en R1
+49%
Qwen3Qwen3-modellen (Alibaba, open gewichten)
+58%
OpenAI cl100k_baseGPT-4 en GPT-3.5 (2023)
+60%

Tokenizer	Tokens per NL-woord	Nederlands	Duits	Frans	Spaans
OpenAI o200k_base	1,45	1,24×	1,31×	1,36×	1,32×
Mistral Tekken	1,70	1,41×	1,30×	1,31×	1,32×
DeepSeek-V3	1,74	1,49×	1,51×	1,54×	1,50×
Qwen3	1,89	1,58×	1,55×	1,57×	1,52×
OpenAI cl100k_base	1,88	1,60×	1,58×	1,60×	1,55×

Corpus: FLORES-200 (dev + devtest) (2.009 zinnen, CC BY-SA 4.0). Gemeten op 2026-11-02.

Wat dit voor je betekent

Kostenschatting: reken bij OpenAI met 1,45 token per Nederlands woord. Op formele tekst (wetteksten) loopt het verschil op tot 37%.
Open modellen: Mistral (+41%) en DeepSeek (+49%) zijn voor Nederlands minder zuinig dan OpenAI. Mistral is Europees, maar niet zuiniger met Nederlands.
Contextvenster: meer tokens betekent ook dat er minder Nederlandse tekst in hetzelfde venster past.

Methode

Tekst: FLORES-200, 2.009 zinnen uit Wikipedia-artikelen, door professionele vertalers vertaald naar elke taal. Dezelfde inhoud, dus eerlijk te vergelijken.
Tellen: elke zin los getokeniseerd zonder speciale tokens, opgeteld per taal. OpenAI via tiktoken, de open modellen via hun officiële tokenizer.json.
Controle: op de Universele Verklaring van de Rechten van de Mens (formele tekst) kwam o200k uit op +37% en 1,46 token per woord.
Beperking: encyclopedische tekst. Chatberichten en code kunnen anders uitvallen. Claude en Gemini ontbreken nog.