La taille impressionnante de DeepSeek R1 : nombre de paramètres et exigences matérielles

DeepSeek R1 : La taille de ce monstre d’IA

Ah, DeepSeek R1. Ce nom cache un mystère complexe, rempli de codes. La véritable question est : « Quelle taille fait DeepSeek R1 ? ». Accrochez-vous, car on va explorer ces entrailles numériques. C’est plus grand qu’un éléphant dans un ascenseur.

Le nombre de paramètres : une galaxie de connexions

Pour évoquer la taille d’un modèle comme DeepSeek R1, on pense aux paramètres. Considérez les paramètres comme de petites synapses. DeepSeek R1, dans sa version la plus grande, a… roulement de tambour… 671 milliards de paramètres ! Oui, milliards. Comme compter des étoiles, mais ce sont des connexions neuronales. Gigantesque, colossal, pharaonique !

C’est plus que certains pays ont d’habitants. D’accord, c’est une comparaison un peu tirée par les cheveux, mais cela donne une idée. Si 671 milliards vous font tourner la tête, ne vous inquiétez pas. DeepSeek propose des versions « distillées ». Elles sont plus légères. Commencent à 1,5 milliard de paramètres pour la version DeepSeek-R1-Distill-Qwen-1.5B. Puis montent à 7 milliards (DeepSeek-R1-Distill-Qwen-7B), puis 14 milliards (DeepSeek-R1-Distill-Qwen-14B) et enfin 32 milliards (DeepSeek-R1-Distill-Qwen-32B). C’est comme choisir un café : du ristretto au grand latte, il y en a pour tous les goûts.

Pour les amateurs de chiffres, sachez que DeepSeek prépare déjà le modèle V3. Il conservera ces mêmes 671 milliards de paramètres. La course à la taille continue. On se demande jusqu’où ils iront. Peut-être jusqu’à la taille de l’univers observable ? L’avenir nous le dira.

La taille du fichier : un modèle avec embonpoint

Parlons maintenant de la taille numérique du modèle. Tous ces paramètres prennent de la place. Le modèle DeepSeek R1 complet dans sa version fp8 pèse un peu plus de 600 Go. Oui, Go, pour Gigaoctets. C’est comme plusieurs disques durs remplis de photos de chat ou de données. Inutile d’espérer le mettre sur une clé USB. Pour le télécharger, il faut une connexion internet très rapide, sinon on attend longtemps.

Heureusement, DeepSeek propose des versions quantisées dynamiquement. Qu’est-ce que c’est ? Ils compressent le modèle pour le rendre plus léger. Ces versions GGUF oscillent entre 130 et 212 Go. C’est plus raisonnable que les 600 Go initiaux. Comme passer d’un 4×4 à une berline hybride : on gagne en maniabilité.

Pour les puristes, il existe une version DeepSeek-R1-Q4_K_M (671B) en 4-bit standard disponible sur HuggingFace, qui pèse 404 Go. Oui, 404 Go est encore lourd, mais c’est mieux que 600. On progresse lentement mais sûrement.

Longueur de contexte : une mémoire pas comme les autres

La longueur de contexte est semblable à la mémoire à court terme d’un modèle de langage. Plus elle est longue, mieux c’est pour comprendre des textes longs et générer des réponses pertinentes. Là encore, DeepSeek R1 a frappé fort avec 128 000 tokens. Les tokens représentent des unités de texte, comme des mots ou des morceaux de mots. 128 000 tokens, c’est énorme ! D’autres modèles plafonnent à quelques milliers.

Avec DeepSeek R1, c’est comme donner à un élève très intelligent la possibilité de lire « Guerre et Paix ». Il peut alors répondre à une question sur le résumé du chapitre 3. Il a ainsi tout pour contextualiser ses réponses.

Cette longueur de contexte combinée aux 671 milliards de paramètres fait de DeepSeek R1 un modèle performant pour les tâches complexes. Fini les réponses hors sujet ou les oublis, ici la mémoire est très longue.

Configuration matérielle requise : préparez-vous à débourser

Pensez-vous faire tourner DeepSeek R1 sur votre ordinateur portable ? Doucement. Un tel monstre numérique a besoin de puissance. Pour faire fonctionner DeepSeek R1 correctement, il faut une carte graphique avec une bonne mémoire vive. Par exemple, une Nvidia RTX 3090 minimum. Oubliez votre vieille carte graphique.

Pour la version DeepSeek-R1-Distill-Llama-70B, environ 32,7 Go de VRAM sont nécessaires. Autant dire qu’il faut déjà un GPU robuste pour cette version « allégée ». Si votre objectif est la version 32B de DeepSeek R1, une RTX 4090 est requise. Si vous visez le modèle complet avec 671 milliards de paramètres, préparez-vous à débourser beaucoup.

Même un monstre à 200 000 dollars comme le NVIDIA DGX H100 peine à le contenir ! Oui, ceci coûte cher. La version maximale de DeepSeek R1 n’est pas à la portée du premier venu. Un peu comme tenter de garer un porte-avions dans un petit parking sous-terrain.

Pour ceux qui veulent comparer DeepSeek aux autres géants comme OpenAI, cet article de DataCamp est utile. Si vous êtes curieux des risques liés à la génération de contenu dangereux par DeepSeek R1, cet article de ComputerWeekly explore cet aspect moins reluisant.

Pour les amateurs de technique et performance, cet article sur Medium détaille l’entraînement de DeepSeek R1 en termes d’efficacité et coûts. Même les monstres numériques ont besoin de surveiller leur budget.

Alors, quelle est la taille de DeepSeek R1 ? La réponse est : « ça dépend ». Cela dépend de la version et de l’usage. Une chose est claire : en termes de paramètres, taille ou longueur de contexte, DeepSeek R1 est un poids lourd et un géant numérique. Préparez-vous à sortir les muscles… et le portefeuille.