Mémoire d’un LLM
en , avec tokens de contexte pour 4 utilisateurs, demande 25 Go : il tient sur une RTX 5090.
Le nombre d’utilisateurs se règle : faites-le glisser, utilisez les flèches, ou touchez-le pour saisir une valeur.
- Poids
- Cache de contexte
- Total
1 024 tokens262 144 tokens
Parcourez la courbe au pointeur ou avec les flèches pour lire chaque contexte. Un clic ou la touche Entrée le choisit.
- Poids
- 14 Go
- Cache de contexte
- 8,6 Go
- Marge
- 2,2 Go
Estimation de la mémoire, pas de la vitesse. Configurations relevées sur Hugging Face le 4 novembre 2026.
Méthode
- 01
Les poids
Le nombre de paramètres, multiplié par les bits de chaque paramètre, divisé par 8.
- 02
Le cache
Pour chaque utilisateur, ce que le modèle garde de chaque token, d’après sa configuration publiée, en 16 bits.
- 03
La marge
Une hypothèse de 10 % pour les calculs en cours et le logiciel. La mémoire réelle dépend du serveur utilisé.
Questions
Pourquoi le contexte prend-il autant de place ?
Le modèle garde en mémoire une trace de chaque token lu, pour chaque utilisateur. Cette trace grandit avec la longueur de la conversation. Certains modèles récents la réduisent fortement : comparez un Llama 3.3 et un DeepSeek V4.
Le passage à 4 bits abîme-t-il le modèle ?
Un peu, et cela dépend du modèle et de la méthode. Certains sont publiés directement en 4 ou 8 bits, comme gpt-oss. Testez sur vos propres tâches avant de décider.
Un modèle à experts prend-il moins de place ?
Non. Tous ses experts restent en mémoire, même si quelques-uns seulement travaillent à chaque token. Il répond plus vite, mais il occupe autant.
Peut-on additionner plusieurs cartes ?
Oui, dans un même serveur, jusqu’à huit dans ce calcul. Un Mac Studio ou un DGX Spark comptent ici pour une seule machine.
Ces chiffres sont-ils exacts ?
Ce sont des ordres de grandeur. Le cache de DeepSeek V4, compressé, est une estimation. Le logiciel de service et le cache en 8 bits changent aussi le résultat.
Mis à jour le 4 novembre 2026