AT&T hat beim Entwickeln des eigenen Telekommunikations-KI-Modells OTel2.0 rund eine Billion (Trillion) Tokens über Microsoft Foundry Managed Compute verarbeitet – unter Einsatz offener KI-Modelle sowie AMD- und NVIDIA-GPU-Infrastruktur. Das zeigt, wohin die Reise bei produktionsreifen KI-Workloads auf Azure geht: weg von Einzellösungen, hin zu flexiblen, skalierbaren Modell- und Hardware-Kombinationen.
Was ist neu?
Microsoft und AT&T haben gemeinsam demonstriert, dass sogenannte Trillion-Token-Workloads – also die Verarbeitung von einer Billion Sprachmodell-Tokens in einem Projekt – auf Azure produktionsreif sind. Möglich macht das Microsoft Foundry Managed Compute, ein verwalteter Dienst innerhalb von Azure AI Foundry, der Rechenkapazitäten für das Training und die Inferenz großer KI-Modelle bereitstellt.
Bemerkenswert ist dabei die Kombination: AT&T setzte nicht auf einen einzigen Modell-Anbieter oder eine einzige GPU-Plattform, sondern kombinierte offene KI-Modelle (Open AI Models im Sinne von Modellen ohne proprietäre Bindung) mit AMD-Instanzen und NVIDIA-GPU-Infrastruktur auf Azure. Diese Flexibilität bei der Modell- und Hardware-Wahl ist kein Zufall – sie ist zentrales Versprechen von Azure AI Foundry.
Das Ergebnis ist OTel2.0, ein KI-Modell, das spezifisch auf den Telekommunikationsbereich zugeschnitten ist und für AT&T in der Produktion läuft. Eine Billion Tokens entspricht dabei einer enormen Datenmenge an Text, Code und strukturierten Inhalten – ein Maßstab, der bisher eher Hyperscalern vorbehalten schien.
Merksatz: Microsoft Foundry Managed Compute abstrahiert die GPU-Infrastruktur und erlaubt den Wechsel zwischen AMD- und NVIDIA-Instanzen, ohne die Modell-Pipeline umzubauen.
Was bedeutet das für Azure-Admins und Architekten?
In meinen Azure-Kursen erlebe ich regelmäßig, dass KI-Projekte oft an zwei Punkten scheitern: zu frühe Festlegung auf einen GPU-Typ und unterschätzte Infrastrukturkosten bei Token-intensiven Workloads. Die AT&T-Fallstudie liefert hier konkrete Anhaltspunkte.
Erstens: Wer Azure AI Foundry heute evaluiert, sollte die Managed-Compute-Option explizit in den Architektur-Vergleich aufnehmen. Der Dienst nimmt dem Team die Kapazitätsplanung ab und skaliert GPU-Ressourcen nach Bedarf – was bei schwankenden Token-Durchsätzen entscheidend ist.
Zweitens: Die Kombination aus AMD- und NVIDIA-GPU-Instanzen ist kein Detail am Rande. AMD-basierte Instanzen auf Azure (etwa die ND MI300X-Serie) sind in bestimmten Trainings-Szenarien kostengünstiger. Wer sich jetzt auf nur einen GPU-Typ festlegt, verschenkt möglicherweise Optimierungspotenzial beim Billing (Abrechnung).
Drittens: Offene Modelle – also Modelle ohne kommerzielle API-Abhängigkeit – senken das Vendor-Lock-in-Risiko und erlauben Fine-Tuning auf unternehmensspezifische Domänen, wie AT&T es für den Telekommunikationsbereich getan hat.
Praxistipp: Wenn Sie KI-Workloads auf Azure planen, definieren Sie früh Ihren Token-Durchsatz pro Monat als Planungsgröße – analog zu vCPU-Stunden oder Storage-GiB. Das erleichtert die Kostenschätzung im Cost Management (Azure-Kostenmanagement) erheblich.
Alle Details zur Zusammenarbeit von AT&T und Microsoft finden Sie in der Originalankündigung bei Azure Blog.