InferIndex
Langue, Français, FR
Compte

Calculateur

Auto-hébergement ou API ?

Pour un modèle open weights, comparez la location de GPU pour le faire tourner vous-même à l'offre d'API la moins chère. La réponse est une estimation, construite à partir de prix publiés et de débits publiés.

Location du matériel seulement : le prix horaire que le loueur publie pour la machine. Ne sont pas comptés l'ingénierie pour déployer et faire tourner le modèle, la supervision, la redondance, le temps de mise en route, ni le stockage et le réseau facturés à part.

Mode de calcul

Nous refusons de donner un chiffre

Plutôt qu'un chiffre peu fiable, voici ce qui manque.

Les poids (2 446,2 Go en fp8) ne tiennent pas dans 70 % de la mémoire de la configuration demandée.

Mémoire de la configuration demandée : 2 048 GoMémoire nécessaire : 3 494,5 Go
  • Poids : 2 446,2 Go
  • Mémoire nécessaire : 3 494,5 Go
  • Mémoire disponible : 2 048 Go

Votre cas

Plus de réglages
Ou décrivez vos requêtes

À la place des tokens par jour : les trois champs vont ensemble, et votre propre mélange input:output est utilisé.