Pourquoi les vecteurs d'embedding ne suffisent pas
Réarranger les vecteurs d'embedding casse le modèle. Éviter la casse revient à reconstruire le modèle de zéro. Ce qu'il faut, ce n'est pas de la transparence à l'intérieur de la boîte noire, mais une couche transparente à l'extérieur.