(Von Visual Capitalist veröffentlicht am 4. Juni 2024)
Das Training fortschrittlicher KI-Modelle wie ChatGPT von OpenAI und Gemini Ultra von Google erfordert Millionen von Dollar, wobei die Kosten schnell eskalieren.
Mit den steigenden Anforderungen an die Rechenleistung steigen auch die Kosten für die zum Trainieren der Modelle erforderliche Rechenleistung rapide an. Als Reaktion darauf überdenken die KI-Unternehmen die Art und Weise, wie sie generative KI-Systeme trainieren. Dazu gehören in vielen Fällen Strategien zur Senkung der Rechenkosten angesichts des derzeitigen Wachstumstrends.
Die obige Grafik zeigt den Anstieg der Trainingskosten für fortgeschrittene KI-Modelle, basierend auf einer Analyse des 2024 Artificial Intelligence Index Report der Stanford University.
Wie die Trainingskosten bestimmt werden
Der AI Index hat mit dem Forschungsunternehmen Epoch AI zusammengearbeitet, um die Kosten für das Training von KI-Modellen zu schätzen, die auf den Mietpreisen für Cloud-Computing basieren. Zu den wichtigsten Faktoren, die analysiert wurden, gehören die Trainingsdauer des Modells, die Nutzungsrate der Hardware und der Wert der Trainingshardware.
Während viel darüber spekuliert wird, dass das Training von KI-Modellen immer kostspieliger geworden ist, fehlt es an umfassenden Daten, die diese Behauptungen stützen. Der KI-Index ist eine der wenigen Quellen für diese Schätzungen.
Ausufernde Trainingskosten
Letztes Jahr kostete das Training von OpenAIs GPT-4 schätzungsweise 78,4 Millionen Dollar – ein steiler Anstieg gegenüber Googles PaLM-Modell (540B), das nur ein Jahr zuvor 12,4 Millionen Dollar kostete.
Zum Vergleich: Die Trainingskosten für Transformer, ein frühes KI-Modell, das 2017 entwickelt wurde, betrugen 930 US-Dollar. Dieses Modell spielt eine grundlegende Rolle bei der Gestaltung der Architektur vieler großer Sprachmodelle, die heute verwendet werden.
Googles KI-Modell Gemini Ultra kostet sogar noch mehr, nämlich unglaubliche 191 Millionen Dollar. Ab Anfang 2024 übertrifft das Modell GPT-4 in mehreren Bereichen, vor allem beim Massive Multitask Language Understanding (MMLU) Benchmark. Dieser Benchmark dient als wichtiger Maßstab für die Bewertung der Fähigkeiten großer Sprachmodelle. Er ist zum Beispiel dafür bekannt, dass er Wissen und Problemlösungsfähigkeiten in 57 Fachgebieten bewertet.
Training zukünftiger KI-Modelle
Angesichts dieser Herausforderungen suchen KI-Unternehmen nach neuen Lösungen für das Training von Sprachmodellen, um den steigenden Kosten zu begegnen.
Dazu gehören eine Reihe von Ansätzen, wie z. B. die Entwicklung kleinerer Modelle, die für bestimmte Aufgaben ausgelegt sind. Andere Unternehmen experimentieren mit der Erstellung eigener, synthetischer Daten, die sie in KI-Systeme einspeisen. Ein klarer Durchbruch ist jedoch noch nicht zu erkennen.
Heute hat sich gezeigt, dass KI-Modelle, die synthetische Daten verwenden, bei bestimmten Aufforderungen Unsinn produzieren, was als „Modellkollaps“ bezeichnet wird.
☞ Aufgezeichnet: Das exponentielle Wachstum der KI-Berechnungen
☞ Rangliste: Die beliebtesten KI-Anwendungen
☞ 3 Gründe, warum sich KI-Begeisterung von der Dot-Com-Blase unterscheidet