Wer sich mit KI in Microsoft-Umgebungen beschäftigt, stolpert früher oder später über drei Begriffe: Azure OpenAI, Microsoft Copilot und Azure AI Foundry. Die meisten IT-Entscheider wissen, dass es irgendwie zusammenhängt – aber was genau was kann, bleibt unklar.
Dieser Artikel gibt die Antwort. Ohne Vendor-PR, dafür mit Kosten-Realismus.
1) Was ist Azure AI Foundry? (Die kurze Antwort)
Azure AI Foundry (bis 2024 noch „Azure AI Studio”) ist Microsofts zentrale Plattform für Enterprise-KI-Entwicklung. Sie bündelt alles, was Unternehmen brauchen, um KI-Anwendungen sicher, skalierbar und governancekonform zu bauen und zu betreiben:
- Model Catalog – über 1.700 Modelle: GPT-4o, Phi-4, Llama, Mistral und mehr
- AI Foundry Agent Service – verwaltetes Framework für autonome KI-Agenten (GA seit November 2024)
- Prompt Flow – visuelle und Code-basierte Orchestrierung von KI-Workflows
- Content Safety – Filter gegen Jailbreaks, Prompt Injection, problematische Ausgaben
- Evaluierungs-Tools – automatisches Testen auf Qualität, Sicherheit und Fairness
Kurz: AI Foundry ist die Enterprise-Steuerzentrale für alles, was über einen einfachen OpenAI-API-Aufruf hinausgeht.
2) Der Unterschied zu Azure OpenAI und Microsoft Copilot
Das verwirrt oft – dabei ist die Logik klar:
| Azure OpenAI Service | Azure AI Foundry | Microsoft Copilot | |
|---|---|---|---|
| Was | Direkter API-Zugriff auf OpenAI-Modelle | Multi-Modell-Plattform + Tooling | Fertige KI-Assistenten (Word, Teams, etc.) |
| Für wen | Entwickler, schneller Einstieg | Entwickler + IT-Architekten, komplexe Szenarien | Endnutzer, keine Entwicklung nötig |
| Governance | Basis | Vollständig konfigurierbar | Durch M365-Tenant geregelt |
| Modelle | Nur OpenAI (GPT-4o, o1, etc.) | 1.700+ (OpenAI, Meta, Mistral, Microsoft…) | Hauptsächlich GPT-4o im Hintergrund |
Faustregel: Azure OpenAI für einfache API-Integration. Azure AI Foundry, sobald ihr mehrere Modelle, Agenten, Governance oder eigene Workflows braucht.
3) Was die Plattform konkret kann
3.1 Modell-Deployment: Flexibel statt Lock-in
Statt sich auf ein Modell festzulegen, könnt ihr Modelle je nach Use Case wählen:
- GPT-4o für höchste Qualität (z.B. Dokument-Analyse, Rechtsauswertung)
- Phi-4 (Microsofts eigenes Small Language Model) für interne Aufgaben mit weniger Budget
- Llama oder Mistral für Open-Source-nahe Deployments
Deployment-Optionen:
- Serverless (Pay-per-Token): Kein Cluster-Management, gut für Einstieg und variable Lasten
- Managed Endpoint: Dedizierte GPU-Instanz, sinnvoll bei konstantem Hochvolumen (ab ~1.500 €/Monat)
3.2 AI Foundry Agent Service: Autonome Agenten im Unternehmen
Seit November 2024 ist der AI Foundry Agent Service General Availability. Das bedeutet: Ihr könnt persistente KI-Agenten bauen, die eigenständig Aufgaben erledigen:
- Zugriff auf Dateien, Wissensdatenbanken, eigene APIs
- Tool-Calling: Bing Search, Azure Functions, externe Systeme
- Integrierter Vector Store für RAG-Muster (eigenes Wissen für Agenten)
Praktisches Beispiel: Ein Agent, der täglich Projektberichte aus SharePoint liest, Abweichungen erkennt und automatisch eine Zusammenfassung in Teams postet.
3.3 Prompt Flow: Qualität messbar machen
Prompt Flow ermöglicht nicht nur die Orchestrierung komplexer KI-Pipelines, sondern auch automatisierte Evaluierung: Wie konsistent ist die Qualität? Wo gibt es Sicherheitsrisiken? Diese Fragen lassen sich systematisch beantworten – nicht nur gefühlt.
3.4 Content Safety & Governance
Das ist oft der entscheidende Unterschied zu SaaS-KI-Tools:
- Private Networking: Daten verlassen nie die Azure-Tenant (DSGVO-relevant)
- RBAC via Azure IAM: Wer darf was mit welchem Modell?
- Audit Logs via Azure Monitor: Vollständige Nachverfolgbarkeit aller Modell-Aufrufe
- Zero Data Retention Agreement: Microsoft nutzt eure Daten nicht fürs Modelltraining
4) Typische Use Cases für KMU
Wo lohnt sich Azure AI Foundry konkret?
Internes Wissenssystem (RAG auf SharePoint) Mitarbeitende fragen auf natürliche Sprache – das System durchsucht SharePoint, Confluence oder eigene Datenbanken. Ergebnis: Antworten mit Quellenangabe statt Halluzination.
Copilot-Erweiterung mit eigenem Wissen Microsoft Copilot ist gut – kennt aber nicht eure internen Prozesse. AI Foundry ermöglicht eigene Agents, die über die Graph API auf M365-Daten zugreifen und Copilot erweitern.
Automatisierte Dokument-Analyse Rechnungen, Verträge, Protokolle: AI Foundry kombiniert Document Intelligence mit LLM-basierter Extraktion. Skalierbar, auditierbar.
Interner Coding Agent (governance-sicher) Coding-Assistenz ohne Code an externe Anbieter zu schicken – mehr dazu im nächsten Artikel dieser Reihe.
5) Was kostet das realistisch?
Hier wird oft geschönt. Die ehrliche Antwort:
Serverless (Pay-per-Token):
- GPT-4o: ca. 2,50 $ / 1 Mio. Input-Token, 10 $ / 1 Mio. Output-Token (Stand: 03/2026, Preise prüfen)
- Phi-4: deutlich günstiger, für viele interne Aufgaben ausreichend
- AI Foundry Workspace selbst: kostenlos – Kosten entstehen nur durch Modell-Calls, Storage und Compute
Für einen internen Chatbot (ca. 50 Nutzer, moderates Volumen): Realistisch 100–400 €/Monat, je nach Modell und Nutzungsintensität.
Managed Endpoint: Ab ca. 1.500 €/Monat für dedizierte GPU-Instanz – nur bei konstantem Hochvolumen sinnvoll.
6) Wann lohnt sich AI Foundry – und wann nicht?
AI Foundry lohnt sich wenn:
- Ihr mehrere KI-Anwendungen zentralisiert verwalten wollt
- Governance und Auditierbarkeit nicht optional sind (regulierte Branchen, öffentlicher Sektor)
- Ihr flexibel zwischen Modellen wechseln oder eigene Fine-Tunes einsetzen wollt
- Ihr komplexere Agenten-Szenarien mit Tool-Calling baut
Einfachere Alternative (Azure OpenAI direkt) reicht wenn:
- Ein Use Case, ein Modell, einfache API-Integration
- Kein großes Governance-Bedürfnis
- Kleines Entwicklerteam, schneller Einstieg gewünscht
Klarer Fehlkauf wenn:
- Endnutzer-Tools (Word, Teams, Outlook) reichen – dann ist Copilot for M365 die richtige Wahl
- Ihr kein Azure-Know-how habt und keine Ressourcen für den Setup-Aufwand
7) Nächster Schritt
Azure AI Foundry ist kein Produkt, das man einschaltet und dann läuft. Es ist eine Plattform, die richtig konfiguriert sein will – mit Governance, Modellauswahl und einem klaren Use Case.
Wenn ihr wissen wollt, ob und wie AI Foundry zu eurer Microsoft-Infrastruktur passt: Ich schaue mir das gerne gemeinsam mit euch an.
Erstgespräch buchen — 30 Minuten, keine Agenda außer euren Fragen.
Dieser Artikel ist Teil der WITC-Beitragsreihe zu Azure AI in der Praxis. Teil 2 erscheint KW 14: Wie Unternehmen Coding Agents governance-sicher einsetzen — ohne Code an externe KI-Anbieter zu schicken.