Kostenstruktur der OpenAI Fine-Tuning Sunset
Veröffentlicht 19. Juli 2026
OpenAI beendet das Self-Service Fine-Tuning. Ab dem 7. Mai 2026 können neue Organisationen keine Fine-Tuning-Jobs mehr erstellen. Bis zum 6. Januar 2027 verlieren alle Organisationen diese Funktion. Falls Sie auf Fine-Tuning GPT-Modelle angewiesen sind, müssen Sie jetzt einen Migrationspfad wählen: Prompt Engineering auf GPT-5.5 mit Prompt Caching, Open-Source LoRA-Adapter auf Llama oder Qwen, oder verwaltetes Fine-Tuning über Vertex AI, AWS Bedrock oder Mistral. Jeder Pfad hat unterschiedliche Kosten- und Operational-Tradeoffs.
- Self-Service Fine-Tuning endet 6. Januar 2027 für alle Organisationen
- Inferenz für bestehende Fine-Tuning-Modelle dauert bis zur Basismodel-Deprecation an
- Prompt Caching auf GPT-5.5 kann Fine-Tuning ROI bei 10–30 Treffern erreichen oder übertreffen
- Open-Source LoRA kostet 30–50% weniger als verwaltete Services bei hohem Volumen
- Versteckte Migrationskosten: Neubewertungen, Regressionstests, Dual-Running, Umschulung
Zeitplan und Expositionsmatrix
Wer ist betroffen und wann:
| Datum | Phase | Betroffene Organisationen | Erforderliche Maßnahme |
|---|---|---|---|
| 7. Mai 2026 | Phase 1 | Neue Organisationen, nie zuvor Fine-Tuned | Können keine neuen Jobs starten |
| 2. Juli 2026 | Phase 2 | Bestehende Organisationen ohne Fine-Tuning-Modell-Inferenz in den letzten 60 Tagen | Können keine neuen Jobs starten |
| 6. Januar 2027 | Phase 3 (endgültig) | Alle Organisationen, auch aktive Nutzer | Keine neuen Trainingsjobs |
| Nach 2027 | Nur Inferenz | Alle Organisationen mit bereitgestellten Fine-Tuning-Modellen | Inferenz läuft bis zum Basismodel-Sunset weiter |
Warum OpenAI Fine-Tuning beendet: GPT-5.5–Klasse Basismodelle kombiniert mit Prompt Caching eliminieren die Notwendigkeit von Fine-Tuning in den meisten Use Cases. Längere Prompts mit Few-Shot-Beispielen und System-Anweisungen entsprechen nun der Fine-Tuning-Performance oder übertreffen sie, während sie weniger Gesamttoken verbrauchen, wenn gecacht. Der verwaltete Fine-Tuning-Overhead übersteigt seinen Wert für die meisten Workloads.
Entscheidungsbaum: Drei Migrationspfade
Pfad 1: Prompt Engineering + GPT-5.5 + Caching
Schreiben Sie Fine-Tuning-Logik als Systemprompt + Few-Shot-Beispiele um, gecacht. Tauschen Sie längere Prompts gegen null Trainings-Overhead ein.
- Trainingskosten: $0 (keine Umschulung)
- Token-Kosten pro Call: Längerer Prompt, aber gecacht zu 50% der frischen Rate
- Setup-Zeit: 1–4 Wochen (Prompt Engineering + Benchmarking)
- Laufende Ops: Prompt-Iteration, keine MLOps notwendig
Pfad 2: LoRA auf Open-Source (Together, Fireworks, Groq)
Fine-Tune Llama 4 oder Qwen 3.5 mit LoRA-Adaptern, hosten Sie auf verwalteter Inferenz. Vollständige Fine-Tuning-Kontrolle, Open-Source-Reproduzierbarkeit.
- Trainingskosten: $200–$500 pro Job
- Inferenzkosten: $0,10–$0,30/M Tokens (wettbewerbsfähig)
- Setup-Zeit: 2–6 Wochen (Datenvorbereitung, Adapter-Training, Tests)
- Laufende Ops: Adapter-Performance überwachen, nach Bedarf umschulen
Pfad 3: Verwaltetes Fine-Tuning (Vertex, Bedrock, Mistral)
Nutzen Sie Google Vertex AI, AWS Bedrock oder Mistrals Fine-Tuning. Vertrauter Workflow, Vendor-Support, aber höhere Pro-Token-Kosten.
- Trainingskosten: $500–$2.000 pro Job
- Inferenzkosten: $0,20–$1,00/M Tokens (Premium)
- Setup-Zeit: 1–3 Wochen (weniger Integrationen erforderlich)
- Laufende Ops: Vendor handhabt Ops, Sie verwalten Trainings-Kadenz
Pfad 1: Prompt Engineering + GPT-5.5 Caching — durchgerechnete Mathematik
Angenommen Sie hatten ein Fine-Tuning GPT-4-Modell für Kundenservice-Ticketklassifizierung. Das Fine-Tuning-Modell wurde auf 10K gekennzeichnete Tickets trainiert. Jede Anfrage sendet ~500 Input-Tokens, erhält ~50 Output-Tokens zurück.
Alte Kosten (Fine-Tuning): Fine-Tuning-Job: ~$50. Inferenz bei 100K Calls/Monat: (500 Input × $3/M + 50 Output × $15/M) × 100K = $150/Monat + Training = ~$200/Monat Gesamtkosten.
Neue Kosten (Prompt Caching auf GPT-5.5): Erstellen Sie einen Systemprompt mit 40 Few-Shot-Beispielen (je ~200 Tokens) = 8K Tokens. Dies ist der Cache-Fill. Erster Call: 8K × (1,25× $3/M) + 500 × $3/M + 50 × $15/M ≈ $0,045. Nachfolgende Calls (Cache Hit): 500 × (0,5× $3/M) + 50 × $15/M ≈ $0,0015. Bei 100K Calls/Monat, angenommen 90% Hit (90K Cache Hits). Kosten: 10K Calls × $0,045 + 90K Calls × $0,0015 = $450 + $135 = $585/Monat.
Moment — das ist teurer! Wahr, wenn Sie den Prompt nicht abstimmen. Aber reduzieren Sie die Few-Shot-Beispiele auf 10 (2K Tokens), und die Kosten sinken auf ~$280/Monat. Darüber hinaus: wenn Sie Anfragen batchen können (verarbeiten Sie 10 verwandte Tickets in einem Call), sinken die Kosten pro Ticket um weitere 30%. Fazit: Prompt Caching auf GPT-5.5 wird günstiger als Fine-Tuning bei 15–30 Cache Hits pro einzigartigen Kontext. Die meisten Teams erreichen dies innerhalb von Stunden nach dem Deployment.
Qualitätsrisiko: Few-Shot-Prompts können bei Grenzfällen und ungewöhnlichen Formaten schlechter abschneiden als Fine-Tuning. Budgetieren Sie 2–4 Wochen für Regressionstests.
Pfad 2: LoRA auf Open-Source — Kosten und Logistik
Open-Source Fine-Tuning via LoRA (Low-Rank Adaptation) hält das Basismodell eingefroren und trainiert nur kleine Adapter-Matrizen (~1–5% der Parameter). Kostenstruktur:
| Komponente | Anbieter-Beispiel | Kosten | Notizen |
|---|---|---|---|
| Training (Llama 3.3 70B auf 10K Samples) | Together AI | $300 | LoRA auf einzelner H100 GPU (~4 Stunden) |
| Inferenz (pro 1M Tokens) | Groq (Llama 3.3 70B) | $0,27 | Schnell (keine Tuning-Latenz vs Fine-Tuned GPT-4) |
| Inferenz (pro 1M Tokens) | Together AI (Llama 3.3 70B) | $0,18 | Langsamere Response, niedrigere Kosten |
| Modell-Hosting (monatlich, Always-On) | Selbstgehostet auf runpod | $300–$600 | A100 GPU-Verleih + Ops-Overhead |
| Gesamtkosten für 1M Calls/Monat | — | $318–$600 | Groq API (verwaltete), keine Hosting-Kosten |
Warum Open-Source günstiger ist: Keine Pro-Token-Premium für "Fine-Tuning"-Status. Der Adapter gehört Ihnen zum Verteilen und Verbessern. Modellqualität (Llama 4 Maverick) entspricht GPT-4o für die meisten Aufgaben bei 30–50% niedrigeren Kosten. Der Tradeoff: Sie besitzen die MLOps — Trainings-Kadenz, Drift-Erkennung, A/B-Tests zwischen Adapter-Versionen.
Integrationsrisiko: Der Wechsel von OpenAIs API zu Groq, Together oder selbstgehostet ändert Ihre Inferenz-Latenz, Fehlerbehandlung und Skalierung. Erwarten Sie 1–2 Wochen Integrationsarbeit.
Pfad 3: Verwaltetes Fine-Tuning (Vertex, Bedrock, Mistral)
| Anbieter | Trainingskosten (10K Samples) | Inferenzkosten (pro 1M Output-Tokens) | Basismodell | Zeit bis Production |
|---|---|---|---|---|
| Google Vertex AI | $500–$800 | $0,40–$1,50 | Gemini 1.5 Flash, andere OS-Modelle | 1–2 Wochen |
| AWS Bedrock (Claude Sonnet Fine-Tuned) | $600–$1.200 | $0,80–$2,00 | Claude Sonnet, Llama 4, Mistral | 1–2 Wochen |
| Mistral Fine-Tuning | $400–$700 | $0,25–$0,60 | Mistral 3.5 Moe, andere Mistral-Modelle | 1 Woche |
| Typische monatliche Kosten (100K Calls, 500 Tokens durchschnittlich) | $600–$1.200 (einmaliges Training) | $200–$1.000 (wiederkehrende Inferenz) | — | — |
Verwaltete Services sind die einfachste Rampe: Ihr Team kennt API-Authentifizierung bereits, Vendor-Support ist verfügbar, und Sie vermeiden MLOps-Overhead. Aber Inferenzkosten laufen 2–5× höher als Open-Source LoRA. Dieser Pfad macht Sinn wenn: (1) Sie <100M Output-Tokens/Monat haben, (2) Ihrem Team MLOps-Expertise fehlt, oder (3) Sie Enterprise-SLAs benötigen.
Kostenvergleich Drei Pfade (konkreter Workload)
Workload: Kundenservice AI für ein SaaS. 1M Inferenz-Calls/Monat, durchschnittlich 500 Input + 150 Output Tokens pro Call. Das Team hat ein Fine-Tuning-Modell auf 5K gekennzeichnete Konversationen trainiert.
| Kostenkomponente | Pfad 1: Prompt Caching + GPT-5.5 | Pfad 2: LoRA auf Groq (Llama 3.3) | Pfad 3: Bedrock (Claude Sonnet FT) |
|---|---|---|---|
| Initiales Setup / Training | $0 (nur Prompt Eng) | $300 | $1.000 |
| Monatliche Inferenzkosten (1M Calls) | $450–$600 | $270 | $900–$1.200 |
| Monatliche Gesamtkosten (Jahr 1) | $450–$600 | $600 (inklusive Training amortisiert) | $1.900–$2.200 |
| Gesamtkosten Jahr 1 | $5.400–$7.200 | $3.600–$4.800 | $12.000–$15.000 |
Pfad 2 (LoRA) gewinnt bei reinen Kosten, erfordert aber MLOps-Zeit zum Setup und zur Wartung.** Pfad 1 (Prompt Caching) hat niedrigere Reibung, wenn Sie leicht höhere laufende Kosten akzeptieren. Pfad 3 (verwaltete) wird nur gewählt, wenn Enterprise-SLAs oder Hands-Off-Operationen obligatorisch sind.
Versteckte Migrationskosten — Übersehen Sie diese nicht
Die obige Tabelle lässt operational Friction aus. Planen Sie ein:
1. Neubewertung und Benchmarking
Messen Sie die Genauigkeit, Latenz und Kosten des neuen Modells auf Ihrem Holdout-Testset. Budget: 2–3 Wochen, $1.000–$3.000 an Engineerzeit.
2. Regressionstests
Führen Sie das alte Fine-Tuning-Modell und den neuen Pfad auf denselben 100–1K Production-Queries aus. Messen Sie Qualitätslücken. Für kundenbezogene Systeme, erwägen Sie A/B-Tests (Dual-Running) für 2–4 Wochen. Ops-Kosten: $2.000–$5.000.
3. Dual-Running-Periode
Führen Sie alte und neue Pfade parallel aus, um Regressions in Production zu erfassen. Dies verdoppelt die Inferenzkosten für 2–4 Wochen. Fügt $500–$2.000 zu Ihrer Migrationsrechnung hinzu.
4. Änderungen im Trainings-Workflow
Falls Sie regelmäßig umschulen (monatlich, vierteljährlich), berechnen Sie Scripting-Änderungen ein. LoRA-Retraining-Scripts unterscheiden sich von OpenAIs API. Mistral, Vertex und Bedrock haben jeweils unterschiedliche Training-APIs. Budget: 1–2 Wochen, $500–$1.500.
5. Adapter-Drift und Monitoring
Open-Source-Adapter können abdriften, wenn sich Training-Daten ändern. Richten Sie Performance-Monitoring und Retraining-Trigger ein. Bei verwalteten Services handhabt der Provider dies, verrechnet aber Monitoring-Overhead. Budget: laufend +$200–$500/Monat.
Gesamte versteckte Kosten: $4.000–$12.000 an Engineerzeit + $500–$2.000 an Dual-Running Ops. Die meisten Teams unterschätzen dies um 50%. Backen Sie es in Ihren Projektplan ein.
Entscheidungsrahmen
Wählen Sie Pfad 1 (Prompt Caching + GPT-5.5) wenn:
- Monatliches Inferenzvolumen liegt unter 100M Tokens
- Ihre aktuelle Workload hat wiederholte Kontexte (RAG, Multi-Turn) — hohes Cache-Hit-Potenzial
- Ihr Team hat keine MLOps-Erfahrung und möchte minimalen Ops-Overhead
- Sie können einen Qualitäts-Tradeoff für Einfachheit akzeptieren (die meisten Aufgaben sehen ≤5% Regression)
- Latenz-Anforderungen sind flexibel (>500ms TTFT akzeptabel)
Wählen Sie Pfad 2 (LoRA auf Open-Source) wenn:
- Monatliches Inferenzvolumen überschreitet 200M Tokens — Kostenvorteil 30–50%
- Ihr Team hat MLOps-Kapazität für Training, Monitoring und Umschulung
- Sie benötigen Reproduzierbarkeit und möchten vollständige Kontrolle über den Adapter (Open-Source-Vorteil)
- Datenschutz erfordert keine Calls zu OpenAIs, Googles oder AWS proprietären APIs
- Latenz ist kritisch (<200ms) — Groq bietet Sub-100ms Responses
Wählen Sie Pfad 3 (Verwaltetes Fine-Tuning) wenn:
- Sie benötigen Enterprise-SLAs, Vendor-Support oder HIPAA/SOC 2-Compliance
- Ihrem Team fehlt Infrastruktur-Expertise und möchte null MLOps
- Monatliches Volumen liegt unter 50M Tokens (Kosten-Premium ist akzeptabel bei niedriger Skalierung)
- Sie sind bereits in Vendors Ökosystem investiert (AWS, Google Cloud, Mistral)
- Trainings-Häufigkeit ist monatlich oder seltener (Ops-Kosten werden besser amortisiert bei niedriger Churn)
Verwandte Lektüre
Für mehr Kontext über die breitere Kostenlandschaft, siehe Vergleich Open-Source vs Closed-Source LLM-Kosten, der Break-Even-Volumen zwischen selbstgehosteten und API-Optionen vergleicht.
Verfolgen Sie bereits Ihre Fine-Tuning-Migrationskosten? FinOps LLM auditet Ihre LLM-Ausgaben und identifiziert, welcher Migrationspfad Sie am meisten spart. Buchen Sie ein kostenloses Audit.