{"id":597,"date":"2026-10-28T18:52:55","date_gmt":"2026-10-28T17:52:55","guid":{"rendered":"https:\/\/www.herbstleyd.org\/?p=597"},"modified":"2026-10-28T18:54:49","modified_gmt":"2026-10-28T17:54:49","slug":"die-eigene-ki-fuer-zuhause","status":"publish","type":"post","link":"https:\/\/www.herbstleyd.org\/?p=597","title":{"rendered":"Die eigene KI? F\u00fcr zuhause?"},"content":{"rendered":"\n

Mein aktuelles Thema \ud83d\ude42 Ich war es leid das die gierigen KI Anbieter da drau\u00dfen einem das Geld aus der Tasche „saugen“, ja saugen, mit einer Geschwindikeit die schneller als die der KI Entwicklung ist. Es ist (selbst f\u00fcr mich) extrem einfach im Monat bis zu 1000\u20ac f\u00fcr KI-Mist auszugeben. Ich habe aber Interesse an dem Kram, ich will jetzt nicht aufh\u00f6ren nur weil ich ein armer Schlucker bin.
Also habe ich mein Gamin PC platt gemacht und nutze den jetzt als KI-Ding! Anfangs habe ich noch wahllos Modelle runter geladen und getestet, ohne Agenten und son Kram. Man kann sich vorstellen das dies nur den N\u00e4hrwert eines unbelegten Toasts hat, also habe ich mich ein bisschen in die Welt der Agenten eingelesen. Nein nicht MI6 oder sowas, sondern die KI-Agenten a la OpenCode usw.<\/p>\n\n\n\n

Da ich auch nur ein dummer Mensch bin habe ich Perpelxity gefragt ob er mir etwas zusammenbastelt, ausgelegt auf meine Hard und Software. Das hat gut 10\u20ac gekostet -.- funtioniert aber soweit gut. Das Modell l\u00e4uft auf meiner GPU (16GB) und Kontext und anderer Kram liegt auf RAM und SSD. Die Geschwindikeit ist so „naja“. Aber es l\u00e4uft und arbeitet. Zu diesem Zeitpunkt arbeitet er zuhause an einem CMS (Content Management System). Okay, klingt hochtrabend, ist aber nur eine Blogsoftware. Blog schreiben, Bilder hochladen, Betr\u00e4ge bearbeiten usw.
In diesem Fall hat sich die KI f\u00fcr Python entschieden. Hmm, ob das was wird zeigt sich dann.
Ich habe angefangen diese Zeilen zu schreiben w\u00e4hrend die KI noch am basteln ist. Das Ergebnis findet sich dann weiter unten.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Die Token pro Sekunde liegen in den Benchmarks so bei 12 T\/s. Klar w\u00fcrde das alles viel schneller laufen wenn alles im VRAM liegen k\u00f6nnte, man ist bei 16GB aber sehr sehr eingeschr\u00e4nkt.<\/p>\n\n\n\n

Zu allem \u00dcberfluss habe ich online eine sehr sehr „g\u00fcnstige“ Radeon Instinct MI50 mit 32GB HBM2 mit einer Bandbreite von 1TB\/s gefunden -.-
Nat\u00fcrlich habe ich sie bestellt. Dazu noch einen neuen L\u00fcfter f\u00fcr diese Karte, weil sie ist ja eine Server-Karte die vom Luftstrom innerhalb des Server abh\u00e4ngt.
Mein Plan ist es sie soweit zu undervolten dass noch genug Tokens bei rum kommen. Hab mich schon ein wenig eingelesen. Die Karte ist zwar alt hat aber noch viel Potenzial.<\/p>\n\n\n\n

Aktuell l\u00e4uft das Modell Qwen3.6:27B. Ein Modell das gerade so in die 16GB VRAM meiner aktuellen Karte passt.<\/p>\n\n\n\n

Mein aktueller Plan:
1. Auf die Instinct und ihren neuen L\u00fcfter (ganzer Shroud aus China mit L\u00fcfter) warten und umbauen
2. Auf das neue Mainboard warten (X570 Chipsatz – brauche weitere PCIe Lanes mit mindestens x8 direkt zur CPU habe nur B550)
3. System umbauen mit 2 Grafikkarten (A. Radeon PRO WX4100 – f\u00fcr Bild und Ton B. Radeon Instinct MI50 f\u00fcr Modelle)
4. Installatiosscript f\u00fcr die Modelle und Agents anpassen.<\/p>\n\n\n\n

Au\u00dferdem will ich dann auch mal mit Strata<\/a> testen. Diese tolle Software soll es erm\u00f6glichen gr\u00f6\u00dfere und neuere Modelle auf seinem PC zuhause laufen zu lassen. Und das mit einer angenehmen Geschwindikeit. Die Geschwindikeit ist eigentlich relativ zweitrangig aber es macht nat\u00fcrlich mehr Spass wenn die Ergebnisse schneller da sind.<\/p>\n\n\n\n

Ich warte jetzt auf die Hardware und werde den Umbau und die Installation dann hier dokumentieren.
Jetzt geht es erstmal weiter mit dem aktuell laufendem Test des KI-Modells:<\/p>\n\n\n\n

Zum testen habe ich ein kleinen und kurzen Promt geschrieben. Absichtlich etwas vage gehalten um zu schauen was die KI da hineininterpretiert.
Ich wollte ein CMS \u00e4hnlich wie WordPress. Ich wollte absichtlich etwas schlichtes und schlankes. Beitr\u00e4ge hinzuf\u00fcgen, einen Editor f\u00fcr die Beitr\u00e4ge, ein Blog mit einer Startseite und dem Men\u00fc im Header.
Interesannterweise hat er sich Python als sprache ausgew\u00e4hlt. Ich h\u00e4tte ihm sagen sollen das es nachher auf einem Webserver lauff\u00e4hig sein soll. Bisher macht es den Anschein das er das als App entwickelt welche ich nachher direkt unter dem Betiresysstem installieren muss. Was sinnlos ist -.-
Egal. Mal schauen was passiert, nach knapp 20h ist er mit dem erstellen durch, derzeit testet die KI sein zusammengeschustertes Zeugs.<\/p>\n\n\n\n

Die KI hat soweit alles erstellt. Die App scheint feritg zu sein. Er ist noch am testen, die Tests sind jetzt schon zum 3. mal Fehlgeschlagen. Er h\u00f6rt immer wieder auf irgendwas zu tun und erwartet einen Promt von mir. Auch wenn ich ihm sage das er die Test machen soll und danach die Fehler ausb\u00fcgeln soll. Er bleibt stehen und wartet. <\/p>\n\n\n\n

Fazit: Ja, er kann etwas erstellen dass man nutzen kann. Aber mit meiner Hardware habe ich halt auch nur einen beschr\u00e4nkten Kontext zu Verf\u00fcgung. Sobald es etwas gr\u00f6\u00dfer wird bekommt er Probleme beim zusammenfassen seiner bisherigen Arbeit.
Bsp.: Ein LUA-Script f\u00fcr RunUO (Ultima Online Server) wurde nach ein paar Stunden zu einem Text-Adventure. Je gr\u00f6\u00dfer der Prompt dem man ihm mitgibt, umso schneller verhaspelt er sich.<\/p>\n\n\n\n

Aber: Ich stehe noch am Anfang. Ich lerne noch, ich arbeite mich in diese Materie noch ein.
Meine Instinct ist da, das neue Mainboard auch. Die Tage wird gebastelt. Ich melde mich \ud83d\ude09<\/p>\n","protected":false},"excerpt":{"rendered":"

Mein aktuelles Thema \ud83d\ude42 Ich war es leid das die gierigen KI Anbieter da drau\u00dfen einem das Geld aus der Tasche „saugen“, ja saugen, mit einer Geschwindikeit die schneller als die der KI Entwicklung ist. Es ist (selbst f\u00fcr mich) extrem einfach im Monat bis zu 1000\u20ac f\u00fcr KI-Mist auszugeben. Ich habe aber Interesse an […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[12,13],"tags":[],"class_list":["post-597","post","type-post","status-publish","format-standard","hentry","category-it-kram","category-linux"],"_links":{"self":[{"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/posts\/597","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=597"}],"version-history":[{"count":5,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/posts\/597\/revisions"}],"predecessor-version":[{"id":603,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=\/wp\/v2\/posts\/597\/revisions\/603"}],"wp:attachment":[{"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=597"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=597"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.herbstleyd.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=597"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}