Die eigene KI? Für zuhause?

Mein aktuelles Thema 🙂 Ich war es leid das die gierigen KI Anbieter da draußen einem das Geld aus der Tasche „saugen“, ja saugen, mit einer Geschwindikeit die schneller als die der KI Entwicklung ist. Es ist (selbst für mich) extrem einfach im Monat bis zu 1000€ für KI-Mist auszugeben. Ich habe aber Interesse an dem Kram, ich will jetzt nicht aufhören nur weil ich ein armer Schlucker bin.
Also habe ich mein Gamin PC platt gemacht und nutze den jetzt als KI-Ding! Anfangs habe ich noch wahllos Modelle runter geladen und getestet, ohne Agenten und son Kram. Man kann sich vorstellen das dies nur den Nährwert eines unbelegten Toasts hat, also habe ich mich ein bisschen in die Welt der Agenten eingelesen. Nein nicht MI6 oder sowas, sondern die KI-Agenten a la OpenCode usw.

Da ich auch nur ein dummer Mensch bin habe ich Perpelxity gefragt ob er mir etwas zusammenbastelt, ausgelegt auf meine Hard und Software. Das hat gut 10€ gekostet -.- funtioniert aber soweit gut. Das Modell läuft auf meiner GPU (16GB) und Kontext und anderer Kram liegt auf RAM und SSD. Die Geschwindikeit ist so „naja“. Aber es läuft und arbeitet. Zu diesem Zeitpunkt arbeitet er zuhause an einem CMS (Content Management System). Okay, klingt hochtrabend, ist aber nur eine Blogsoftware. Blog schreiben, Bilder hochladen, Beträge bearbeiten usw.
In diesem Fall hat sich die KI für Python entschieden. Hmm, ob das was wird zeigt sich dann.
Ich habe angefangen diese Zeilen zu schreiben während die KI noch am basteln ist. Das Ergebnis findet sich dann weiter unten.

Die Token pro Sekunde liegen in den Benchmarks so bei 12 T/s. Klar würde das alles viel schneller laufen wenn alles im VRAM liegen könnte, man ist bei 16GB aber sehr sehr eingeschränkt.

Zu allem Überfluss habe ich online eine sehr sehr „günstige“ Radeon Instinct MI50 mit 32GB HBM2 mit einer Bandbreite von 1TB/s gefunden -.-
Natürlich habe ich sie bestellt. Dazu noch einen neuen Lüfter für diese Karte, weil sie ist ja eine Server-Karte die vom Luftstrom innerhalb des Server abhängt.
Mein Plan ist es sie soweit zu undervolten dass noch genug Tokens bei rum kommen. Hab mich schon ein wenig eingelesen. Die Karte ist zwar alt hat aber noch viel Potenzial.

Aktuell läuft das Modell Qwen3.6:27B. Ein Modell das gerade so in die 16GB VRAM meiner aktuellen Karte passt.

Mein aktueller Plan:
1. Auf die Instinct und ihren neuen Lüfter (ganzer Shroud aus China mit Lüfter) warten und umbauen
2. Auf das neue Mainboard warten (X570 Chipsatz – brauche weitere PCIe Lanes mit mindestens x8 direkt zur CPU habe nur B550)
3. System umbauen mit 2 Grafikkarten (A. Radeon PRO WX4100 – für Bild und Ton B. Radeon Instinct MI50 für Modelle)
4. Installatiosscript für die Modelle und Agents anpassen.

Außerdem will ich dann auch mal mit Strata testen. Diese tolle Software soll es ermöglichen größere und neuere Modelle auf seinem PC zuhause laufen zu lassen. Und das mit einer angenehmen Geschwindikeit. Die Geschwindikeit ist eigentlich relativ zweitrangig aber es macht natürlich mehr Spass wenn die Ergebnisse schneller da sind.

Ich warte jetzt auf die Hardware und werde den Umbau und die Installation dann hier dokumentieren.
Jetzt geht es erstmal weiter mit dem aktuell laufendem Test des KI-Modells:

Zum testen habe ich ein kleinen und kurzen Promt geschrieben. Absichtlich etwas vage gehalten um zu schauen was die KI da hineininterpretiert.
Ich wollte ein CMS ähnlich wie WordPress. Ich wollte absichtlich etwas schlichtes und schlankes. Beiträge hinzufügen, einen Editor für die Beiträge, ein Blog mit einer Startseite und dem Menü im Header.
Interesannterweise hat er sich Python als sprache ausgewählt. Ich hätte ihm sagen sollen das es nachher auf einem Webserver lauffähig sein soll. Bisher macht es den Anschein das er das als App entwickelt welche ich nachher direkt unter dem Betiresysstem installieren muss. Was sinnlos ist -.-
Egal. Mal schauen was passiert, nach knapp 20h ist er mit dem erstellen durch, derzeit testet die KI sein zusammengeschustertes Zeugs.

Die KI hat soweit alles erstellt. Die App scheint feritg zu sein. Er ist noch am testen, die Tests sind jetzt schon zum 3. mal Fehlgeschlagen. Er hört immer wieder auf irgendwas zu tun und erwartet einen Promt von mir. Auch wenn ich ihm sage das er die Test machen soll und danach die Fehler ausbügeln soll. Er bleibt stehen und wartet.

Fazit: Ja, er kann etwas erstellen dass man nutzen kann. Aber mit meiner Hardware habe ich halt auch nur einen beschränkten Kontext zu Verfügung. Sobald es etwas größer wird bekommt er Probleme beim zusammenfassen seiner bisherigen Arbeit.
Bsp.: Ein LUA-Script für RunUO (Ultima Online Server) wurde nach ein paar Stunden zu einem Text-Adventure. Je größer der Prompt dem man ihm mitgibt, umso schneller verhaspelt er sich.

Aber: Ich stehe noch am Anfang. Ich lerne noch, ich arbeite mich in diese Materie noch ein.
Meine Instinct ist da, das neue Mainboard auch. Die Tage wird gebastelt. Ich melde mich 😉