Lokale KI zum Programmieren einrichten | Was leistet der eigene Rechner?

Modell in LM Studio laden → lokalen Server starten → Erweiterung im Editor → als eigenen Endpunkt eintragen

Wer Code schreiben lässt, schickt dabei üblicherweise Quelltext an einen Anbieter. Es geht auch anders: Das Modell läuft auf dem eigenen Rechner, der Editor spricht mit ihm über eine lokale Schnittstelle. Nichts verlässt das Haus.

Was gebraucht wird

• Ein Rechner mit ordentlicher Grafikkarte und reichlich Arbeitsspeicher. Ohne das wird es zäh.
• Eine Anwendung, die Modelle lädt und als lokalen Dienst bereitstellt.
• Eine Erweiterung im Editor, die statt eines Anbieters einen eigenen Endpunkt ansprechen kann.

Modell auswählen und laden

In der Modellübersicht lässt sich suchen und herunterladen. Für das Programmieren haben sich Modelle mittlerer Größe bewährt. Achten Sie auf die Bauart: Manche Modelle lassen sich in Teilen laden und müssen nicht vollständig in den Grafikspeicher passen. Das entscheidet darüber, ob ein Modell auf Ihrer Karte überhaupt läuft.

Beim Laden gibt es zwei Stellschrauben, die den Unterschied machen. Die eine bestimmt, wie viel auf die Grafikkarte geht, die andere, wie viel auf den Hauptprozessor ausgelagert wird. Die richtigen Werte hängen an Ihrer Hardware und finden sich nur durch Ausprobieren.

Lokalen Dienst starten

Im Entwicklerbereich der Anwendung wird der Dienst eingeschaltet. Danach steht eine Adresse bereit, unter der das Modell im eigenen Netz erreichbar ist. Diese Adresse und der Modellname werden gleich gebraucht.

Editor anbinden

1. Im Editor die Erweiterung installieren, die eigene Endpunkte unterstützt.
2. Ein neues Modell hinzufügen und als Typ den eigenen Endpunkt wählen.
3. Die Adresse aus dem Entwicklerbereich eintragen, dazu den Modellnamen an beiden dafür vorgesehenen Stellen.
4. Nach einem Schlüssel wird gefragt. Für den lokalen Betrieb ist er bedeutungslos, ein beliebiger Wert genügt.
5. Die maximale Eingabelänge auf den Wert setzen, der in der Anwendung als Kontextlänge steht.

Danach erscheint das lokale Modell im Chatfenster des Editors zur Auswahl.

Was dabei herauskommt

Für überschaubare, klar umrissene Aufgaben funktioniert es erstaunlich gut. Ein kleines Spiel aus HTML, CSS und JavaScript entsteht auf Zuruf und läuft danach tatsächlich.

Die Grenze ist die Geschwindigkeit. In der Anwendung lässt sich mitlesen, wie viele Wortteile je Sekunde erzeugt werden, und dabei wird der Unterschied zu einem Dienst aus dem Netz deutlich. Man wartet. Für einen Nachmittag zum Ausprobieren ist das in Ordnung, für Arbeit unter Zeitdruck nicht.

Wann sich das lohnt

Immer dann, wenn Quelltext das Haus nicht verlassen soll. Bei Kundenprojekten mit Verschwiegenheitspflicht, bei eigenem Code, den man nicht in fremde Systeme geben will, und überall dort, wo die Frage nach dem Auftragsverarbeitungsvertrag gar nicht erst aufkommen soll.

Wer dagegen nur schnell etwas erledigt haben will und keine Bedenken beim Inhalt hat, ist mit einem Dienst schneller.

Selbstprüfung

1. Welche zwei Werte beim Laden entscheiden darüber, ob ein Modell auf Ihrer Hardware läuft?
2. Warum ist der abgefragte Schlüssel im lokalen Betrieb ohne Bedeutung?
3. Welche Einstellung im Editor muss mit der Kontextlänge des Modells übereinstimmen?