Compteur de tokens IA

Qu'est-ce qu'un token IA ?

Les grands modèles de langage ne lisent pas directement des caractères ou des mots — ils lisent des tokens. Un token est un fragment de texte que le modèle a appris à traiter comme une unité. En anglais, un token représente en moyenne environ quatre caractères : un mot court comme « the » correspond à un seul token, tandis que « tokenization » peut en représenter deux ou trois.

Les tokens comptent pour trois raisons pratiques. D'abord, chaque modèle a un nombre maximum de tokens qu'il peut traiter à la fois — sa fenêtre de contexte. Ensuite, les fournisseurs d'API facturent au token, séparément pour l'entrée et la sortie. Enfin, la vitesse de réponse dépend du nombre de tokens : plus il y en a, plus le calcul est lourd et plus l'attente est longue.

Connaître votre nombre de tokens avant d'envoyer un prompt vous permet de rester dans la fenêtre de contexte, d'anticiper le coût, et de couper le texte qui n'apporte rien.

Quelle est la précision de ce compteur ?

Pour les modèles de chat OpenAI qui utilisent ce tokenizer, cet outil utilise tiktoken avec l'encodage cl100k_base — identique au tokenizer utilisé côté serveur par l'API. Le décompte est exact au byte près.

Claude, Gemini et Grok utilisent des tokenizers propriétaires qui ne sont pas entièrement publics. Nous les estimons à partir de statistiques textuelles : Claude tokenise l'anglais à environ 0,95× le taux de GPT, Gemini à 0,90×, et Grok à peu près à parité avec GPT. Attendez-vous à un écart de 5 à 10 % par rapport au chiffre réel — suffisamment précis pour planifier une fenêtre de contexte ou estimer un coût.

FAQ