Calculateur
Llama 3.3 70B Instruct : auto-hébergement ou API ?
Auto-hébergement
Minimum publiéL'API est moins chère sous 654 millions de tokens par jour. Au-dessus, l'auto-hébergement ne gagne que si toute la configuration (tous GPU confondus) délivre au moins 15 147 tokens par seconde, input et output confondus, en servant à 50 % d'utilisation (7 574 si elle était occupée en permanence). Un benchmark publié (InferenceX, SemiAnalysis) donne un plancher de 2 442 tokens par seconde, input et output confondus, pour un mélange input:output de 3:1 ; la capacité réelle peut être plus élevée, donc cela ne tranche pas.
À 50 % d'utilisation · Offre d'API la moins chère : 0,095 $ / M tokens chez NanoGPT (mélange input:output de 3:1)
Location du matériel seulement : le prix horaire que le loueur publie pour la machine. Ne sont pas comptés l'ingénierie pour déployer et faire tourner le modèle, la supervision, la redondance, le temps de mise en route, ni le stockage et le réseau facturés à part.
- Seuil de rentabilité
- 654,32 M tokens / jour
- Débit nécessaire à l'auto-hébergement
- 15 147 tokens par seconde
- À 50 % d'utilisation
- Débit nécessaire à l'auto-hébergement
- 7 574 tokens par seconde
- Si occupée en permanence
Au moins ce nombre de tokens input et output par seconde, tous GPU confondus, pendant qu'ils servent.
Ce que montrent les chiffres publiés
- Au moins 1 221 tokens output par seconde, d'après InferenceX (SemiAnalysis)
- Nous le convertissons en au moins 2 442 tokens par seconde, input et output confondus
- Moteur d'inférence du benchmark : vLLM
- Benchmark public d'où vient le chiffre (s'ouvre dans un nouvel onglet)
Configuration louée
1 × MI300X 192GB chez DigitalOcean
62,16 $ par jour · 2,59 $ l'heure · Garantie · 192 Go de mémoire GPU · fp8
Vérifié le 31 oct. 2026 Page de prix du loueur (s'ouvre dans un nouvel onglet)
Détail du calcul, en anglais
La moins chère de 26 offres standard actuelles, hors promotions, prix instables, prix en heures creuses sans créneaux publiés et prix non vérifiés très inférieurs à ceux des autres fournisseurs Vérifié le 31 oct. 2026
Hypothèses
- The InferenceX benchmark (SemiAnalysis) served this many output tokens per second, and as many input tokens (1,024 in / 1,024 out). For a mix with at least as much input, we assume reading a prompt token costs no more than generating one, and count it as equal (the least favourable case): at least twice the output figure in input plus output tokens.
- Hardware rental only: the hourly price the provider publishes for the machine. It does not count the engineering to deploy and run the model, monitoring, redundancy, start-up time, or storage and network costs billed separately.
- Configuration: we pick the cheapest one whose weights fit. If a configuration costing up to 25% more has a measured throughput, we pick it instead; failing that, one with a derived throughput; failing that, one with a published lower bound that settles the verdict; among equals, the cheaper. A configuration whose throughput is only a wide estimate is never preferred over the cheapest. This is our rule, not a technical requirement.
- Quantization fp8; guaranteed tier prices as published by the provider; utilization 50%.
- Lower bound: the benchmark's series (InferenceX, SemiAnalysis) stopped while throughput was still rising, so its output figure is a floor of the real capacity. It can decide that self-hosting wins, never that the API is cheaper. It was measured with 1,024-token prompts and 1,024-token answers: longer requests are slower.
- Throughput is aggregate (input and output tokens, 3:1). Published figures in generated tokens are converted with a prefill/generation speed ratio of 3 (prudent), 5 (median) and 8 (optimistic).
- Break-even = daily GPU cost / API price per million tokens (654 million tokens a day). Self-hosting is cheaper only if the average utilization you can sustain exceeds break-even / raw capacity (the break-even utilization of each scenario), whatever the number of GPUs.