Google rendent explicite la séparation formation-inférence

Une génération, deux priorités

Lors de Cloud Next en avril 2026, Google a présenté TPU 8t pour la formation et TPU 8i pour l'inférence. Cette scission rend visible un développement industriel plus large : construire un modèle et le servir sont des problèmes d’infrastructure différents, même lorsqu’ils appartiennent au même produit. L'annonce est une introduction à la plate-forme et non une preuve que chaque configuration est aujourd'hui généralement disponible pour chaque client. Google : TPU 8t et TPU 8i ↗

La formation demande généralement à quelle vitesse une exécution définie peut se terminer dans le cadre d'un budget de ressources. Un service d'inférence en direct doit également se soucier des temps de réponse, de la demande imprévisible et du coût de la fourniture d'une réponse acceptable. Il existe des exceptions et des chevauchements, mais les questions d'achat sont suffisamment différentes pour mériter une évaluation distincte.

Le débit ne représente pas l'ensemble du service

Imaginez deux déploiements d'inférence avec une sortie maximale similaire. On n’atteint ce résultat qu’en permettant aux requêtes d’attendre dans un grand lot. L'autre gère moins de requêtes simultanées mais répond dans les limites de latence cible de l'application. Ce qui est préférable dépend s'il s'agit d'un travail de nuit ou d'un service interactif.

Cet exemple explique pourquoi une référence impressionnante en matière d'accélérateur n'est pas une comparaison complète de services. Les longueurs d’entrée et de sortie, la simultanéité, la précision du modèle et le temps de réponse acceptable doivent tous correspondre. Sinon, l’avantage apparent en termes de prix peut dépendre de la fourniture d’une expérience différente.

Une architecture cloud change la décision d'achat

Les TPU rappellent également que certaines alternatives importantes à GPUs sont obtenues sous forme de services cloud. Les comparer avec un serveur détenu nécessite plus que la simple conversion d’un taux horaire en prix d’achat de matériel.

Incluez les travaux d'ingénierie, les conditions d'engagement d'utilisation, le stockage, le mouvement des données et le coût du maintien d'une option de sortie. Déterminez si les cadres et les implémentations de modèles prévus sont pris en charge. Vérifiez ce qui se passe lorsque la demande dépasse la capacité que vous avez réservée ou tombe en dessous.

Un système détenu a ses propres contraintes : du capital immobilisé dans l'équipement, des travaux d'installation et une quantité finie de capacité. Une comparaison équitable indique explicitement ces différences au lieu de supposer que la propriété ou la location sont automatiquement économiques.

Répartissez la charge de travail avant de choisir la plateforme

Une entreprise n'est pas obligée de se former et de servir sur une infrastructure identique. Il nécessite un processus fiable pour déplacer les modèles entre les environnements et vérifier que la qualité et les performances restent acceptables.

La réponse pratique à l'approche à deux plates-formes de Google consiste à écrire deux ensembles d'exigences. Il faut décrire le développement et la formation ; l'autre doit décrire le service de production. Si ces exigences conduisent à des matériels ou à des fournisseurs différents, cela peut être un choix d'architecture délibéré. La question utile est de savoir combien coûte le flux de travail complet et quelle est sa fiabilité. Les deux TPU de