« Token », vecteur, réseaux de neurones, température. Que désignent exactement ces termes?

Token 

Un « token » est une petite unité de texte (un jeton) utilisée par les modèles d’IA pour comprendre et générer du langage.

Comme une image est découpée en pixels, le texte est découpé en tokens, qui correspondent généralement à des fragments de mots (proches des syllabes).

Lorsqu’un modèle génère du texte, il prédit à chaque étape le token le plus plausible parmi des milliards de possibilités. Il construit ainsi la phrase, token par token, ce qui explique que le texte apparaisse progressivement à l’écran.

Ce découpage en tokens réduit considérablement la quantité d’unités à traiter, puisqu’ils sont bien moins nombreux que l’ensemble des mots de toutes les langues. Il offre également au modèle davantage de flexibilité et d’efficacité que s’il travaillait directement avec des mots entiers.

Vecteur

Un « vecteur » est une liste de nombres qui permet à un algorithme d’intelligence artificielle de représenter et de comprendre une information.

Comme l’IA ne peut pas lire le texte directement, elle transforme les phrases en vecteurs. Cette représentation numérique lui permet de traiter, comparer et manipuler les données.

Une fois la phrase convertie en vecteur, le modèle peut calculer la probabilité du prochain token . À chaque nouvelle étape, la phrase mise à jour est à nouveau transformée en vecteur pour poursuivre la génération du texte.

En résumé : un vecteur est la version numérique d’une information permettant à l’IA de la traiter.

Couche dans un réseau de neurones artificiels

Un réseau de neurones artificiels est composé de couches, qui sont des ensembles de neurones artificiels.

On distingue généralement : une couche d’entrée, une ou plusieurs couches intermédiaires, et une couche de sortie. Chaque neurone reçoit des informations de la couche précédente et les transmet (ou pas) à la couche suivante. Les couches collaborent ainsi pour transformer progressivement les données et permettre au réseau de neurones de générer une réponse ou une prédiction.

Exemple : Reconnaissance d’images d’animaux

Imaginons un réseau de neurones conçu pour reconnaître des animaux sur des photos :

1. Couche d’entrée : Chaque neurone reçoit un pixel ou un petit groupe de pixels de l’image.
2. Couches cachées : Les neurones combinent les informations des pixels pour détecter des motifs, tels que des formes d’oreilles, des yeux ou des pattes.
3. Couche de sortie : Les neurones décident quelle catégorie correspond le mieux à l’image — par exemple, chat, chien ou lapin.

Chaque couche transforme progressivement les informations reçues pour que la couche finale puisse fournir une prédiction correcte.

Température

La « température » est un paramètre qui contrôle le niveau de créativité d’un modèle d’IA lorsqu’il génère du texte.

• Température basse (ex. 0) : le modèle choisit les options les plus probables ; les réponses sont prévisibles et cohérentes.
• Température moyenne à élevée (ex. 1–1,5) : le modèle prend davantage de risques ; les réponses deviennent plus variées et originales.
• Température très élevée (ex. 2) : les choix deviennent parfois trop improbables, ce qui peut rendre les phrases incohérentes.

En résumé, la température règle le degré de « fantaisie » ou de créativité dans les réponses d’un chatbot.