Token et tokenizer

IA / LLM 🟢 Junior

Définition

Un token est l'unité que manipule le modèle : un mot, un sous-mot, un caractère ou un octet. Le tokenizer découpe le texte (algorithmes BPE, WordPiece, Unigram) puis convertit chaque token en identifiant numérique. Pour Claude, un token vaut environ 3,5 caractères anglais ; la facturation, la fenêtre de contexte et les limites de débit se comptent en tokens.

Analogie

Découper une phrase en pièces de Lego de tailles variables : « anti » + « constitution » + « nel » + « lement ».

Exemple de code

// Compter les tokens AVANT d'envoyer (endpoint count_tokens Anthropic)
const res = await fetch('https://api.anthropic.com/v1/messages/count_tokens', {
  method: 'POST',
  headers: {
    'x-api-key': process.env.ANTHROPIC_API_KEY!,
    'anthropic-version': '2023-06-01',
    'content-type': 'application/json',
  },
  body: JSON.stringify({
    model: 'claude-sonnet-5',
    messages: [{ role: 'user', content: longDocument }],
  }),
});
const { input_tokens } = await res.json();
if (input_tokens > 900_000) throw new Error('Trop long pour 1M de contexte');

Cas d'usage

Estimer un coût, découper un document avant embedding, éviter un dépassement de contexte.

Anti-pattern

Approximer 1 token = 1 mot : le français et le code coûtent nettement plus de tokens que l'anglais.

Termes liés

#ia#fondamentaux#tokens#interview

En entretien

C'est quoi un token ?
C'est l'unité que manipule le modèle : un mot, un sous-mot, un caractère ou un octet, découpé par un tokenizer via des algorithmes comme BPE. Pour Claude, un token vaut environ 3,5 caractères anglais.
À quoi sert de bien comprendre le découpage en tokens ?
Pour estimer un coût, découper un document avant de l'embedder, ou éviter un dépassement de la fenêtre de contexte. La facturation, la fenêtre de contexte et les limites de débit se comptent toutes en tokens.
Quel est le piège classique en estimant un nombre de tokens ?
Approximer 1 token = 1 mot, alors que le français et le code coûtent nettement plus de tokens que l'anglais. Il faut utiliser un vrai tokenizer pour estimer correctement.

Sources

Fiche mise à jour le 2026-09-27