Große KI-Modelle selbst betreiben | Was läuft wirklich auf eigener Hardware?

Volles Modell → 2,8 Billionen Werte → Serverschrank
Verkleinerte Fassung → 101 Milliarden → läuft auf guter Hardware

Wenn ein großes KI-Modell veröffentlicht wird, geht regelmäßig dieselbe Erzählung um. Man kann es jetzt herunterladen, also kann man es auch zu Hause laufen lassen. Das klingt einleuchtend, und für die größten Modelle ist es schlicht falsch.

Es lohnt sich, das einmal mit Zahlen durchzurechnen, statt es zu glauben oder zu bestreiten.

Die Größenordnung

Nehmen wir das derzeit größte frei herunterladbare Modell als Beispiel. Es besteht aus rund 2,8 Billionen einzelnen Zahlenwerten. Nicht Milliarden, Billionen. Diese Werte sind das eigentliche Modell, alles andere ist nur das Programm, das sie benutzt.

Selbst wenn jeder dieser Werte nur ein Byte belegt, was schon eine sparsame Speicherung wäre, landen Sie bei knapp drei Terabyte. Das ist mehr als die Festplatte in den meisten Rechnern, und es müsste nicht auf die Platte, sondern in den Arbeits- oder Grafikspeicher.

Zum Vergleich: Ein sehr gut ausgestatteter Arbeitsplatzrechner mit gemeinsamem Speicher kommt heute auf einen halben Terabyte. Das reicht nicht annähernd. Wer sagt, er lasse dieses Modell zu Hause laufen, hat entweder einen Serverschrank im Keller oder redet von etwas anderem.

Wo die verbreitete Erzählung falsch abbiegt

Und hier wird es interessant, denn die meisten Beiträge zu diesem Thema hören an dieser Stelle auf. Entweder heißt es dann, lokal ginge alles, oder es heißt, lokal ginge gar nichts. Beides stimmt nicht.

Von großen Modellen gibt es abgeleitete Fassungen. Zwei Verfahren spielen dabei die Hauptrolle.

Gröber speichern. Jeder der Zahlenwerte wird weniger genau abgelegt, statt mit vier Byte vielleicht mit einem halben. Man kann sich das vorstellen wie ein Foto, das mit weniger Farbabstufungen gespeichert wird. Es sieht fast gleich aus und braucht einen Bruchteil des Platzes. Das Modell wird dabei etwas ungenauer, aber längst nicht in dem Maß, wie die Zahlen vermuten lassen. Im Fachjargon heißt das Quantisierung.

Teile weglassen. Hier werden ganze Bereiche des Modells entfernt, die selten gebraucht werden. Große Modelle sind oft aus vielen Fachbereichen zusammengesetzt, ähnlich einem Nachschlagewerk mit vielen Bänden. Nimmt man die Bände heraus, die man nie aufschlägt, bleibt das Wesentliche stehen. Im Fachjargon heißt das Beschneiden.

Von dem genannten Modell gibt es eine Fassung, bei der beides angewendet wurde. Übrig sind gut 101 Milliarden Werte, also etwa vier Prozent des Ausgangsmodells. Und diese Fassung passt auf eine gut ausgestattete Maschine.

Was das praktisch bedeutet

Sie bekommen nicht dasselbe Modell. Sie bekommen ein kleineres, das aus demselben Training stammt. Wie viel dabei verloren geht, hängt an der Aufgabe und lässt sich nicht allgemein beantworten.

Für schematische Arbeit, bei der es auf Wiedererkennung von Mustern ankommt, merkt man den Unterschied kaum. Bei kniffligen Aufgaben, die mehrere Schritte weit gedacht werden müssen, merkt man ihn deutlich.

Die ehrliche Antwort auf die Frage, ob man das große Modell zu Hause laufen lassen kann, lautet also weder ja noch nein. Sie lautet: das Modell selbst nicht, eine abgeleitete Fassung schon, und ob die für Sie reicht, findet nur heraus, wer es mit den eigenen Aufgaben ausprobiert.

Wann sich der Aufwand überhaupt lohnt

Das ist die Frage, die zuerst kommen sollte und meistens zuletzt gestellt wird.

Lokal zu arbeiten lohnt sich, wenn Inhalte das Haus nicht verlassen dürfen. Bei Kundendaten mit Verschwiegenheitspflicht, bei eigenem Quelltext, bei allem, wo die Frage nach dem Vertrag zur Auftragsverarbeitung gar nicht erst aufkommen soll.

Es lohnt sich nicht, wenn der Antrieb ist, Geld zu sparen. Rechnen Sie einmal die Hardware, den Strom und die Zeit gegen die Gebühren eines Dienstes. Für die meisten fällt diese Rechnung nicht so aus, wie sie hoffen.

Und es lohnt sich nicht, wenn Sie unter Zeitdruck arbeiten. Ein Modell auf eigener Hardware antwortet langsamer, und dieser Unterschied summiert sich über einen Arbeitstag.

Der Weg, den ich empfehlen würde

1. Zuerst klären, warum es lokal sein soll. Wenn die Antwort nicht mit Vertraulichkeit zu tun hat, prüfen Sie sie noch einmal.
2. Ein mittelgroßes Modell nehmen, nicht das größte. Der Sprung von brauchbar zu etwas besser kostet unverhältnismäßig viel Hardware.
3. Mit den eigenen Aufgaben testen, nicht mit Beispielen aus dem Netz.
4. Erst danach entscheiden, ob mehr Hardware nötig ist.

Was Sie bei fremden Empfehlungen beachten sollten

Zu diesem Thema wird viel geschrieben, und ein Teil davon führt zu einem kostenpflichtigen Angebot. Das ist nicht ehrenrührig, färbt aber die Aussage. Wer ein Programm verkauft, hat kein Interesse daran, dass Sie es allein hinbekommen.

Ein Anhaltspunkt: Sobald Zahlen zu Vergleichstests genannt werden, ohne dass steht, wer gemessen hat und wie, sind es Verkaufsargumente. Die tatsächlichen Angaben zu Modellgröße und abgeleiteten Fassungen stehen frei zugänglich in den Modellverzeichnissen, und dort können Sie sie auch nachrechnen.

Selbstprüfung

1. Warum sagt die Größe eines Modells allein noch nichts darüber, ob es auf Ihre Hardware passt?
2. Worin unterscheiden sich gröber speichern und Teile weglassen?
3. Welcher Grund für lokalen Betrieb trägt, und welcher trägt meistens nicht?