• Du texte :

• Un dictionnaire :

Soient :

• une liste de mots \(W = \{w_i\} : i \in \mathbb{N}\)
• une fenêtre glissante \(F(n, i) = \{w_{i-n}, ..., w_{i-2}, w_{i-1}\} \cup \{w_{i+1}, w_{i+2}, ..., w_{i+n}\} : n \in \mathbb{N}\)
• le jeu de données \(D = \{(w_i, F(n,i))\}\)

Exemple :

• \(n = 2\), \(i = 3\)
• le mot : “mange”.
• la fenêtre : “Le”, “chat”, “la”, “souris”

Inconvénients des mots sous la forme de chaines de caractères

• taille variable (entre les mots et entre les fenêtres)
• pas de relation sémantique entre les lettres qui forment les mots
• grande complexité computationnelle

Solution : le one hot encoding

Représentation des mots sous la forme de vecteurs à \(n\) dimensions, \(n\) étant la taille du dictionnaire.

Avantages :

• absence de biais dans la représentation des mots
• simplicité de représentation et de calcul
• possibilité d’aplatir les vecteurs de différents mots pour créer un contexte (fenêtre)

Exemple

7 mots différents : vecteurs de taille 7

Couple mot-fenêtre : \(([0,0,1,0,0,0,0], [1,1,0,1,1,0,0])\)

Forme du modèle

Fonctionnement

1. Réduction de dimension des données d’entrée (plongement)
2. Prédiction de la sortie à partir de la représentation latente des données d’entrée
3. Rétropropagation et correction de l’erreur

Effets de l’apprentissage du modèle

• Apprentissage des relations sémantiques entre les mots
• Représentation des mots porteuse de sens (représentation latente)
• Possibilité de manipuler ces représentations (opérations mathématiques)

Variantes

• CBOW : Prédire un mot à partir de la fenêtre.
• Skip gram : Prédire la fenêtre à partir d’un mot.