Zum Inhalt springen

Von

Das Zettel-Netz · Teil 1 von 4

Weight-Space Programming:Ein Modell, dessen Zahlen du selbst schreibst

November 202610 Min. Lesezeit

9 Zahlen werden „KI“

Die Datenbasis

Mindestens einer ist an
110
Beide sind an
11−1
Einer, aber nicht beide
1−20
Wahrheitstabelle: Für jede Kombination von A und B das Ergebnis des Netzes und das erwartete Ergebnis.
ABNetzSollStimmt
0000stimmt
0111stimmt
1011stimmt
1100stimmt
Neun Zahlen, drei Zeilen, und die Aufgabe „genau einer von beiden“ ist gelöst. Niemand hat dieses Netz trainiert.

Zusammen mit einem einfachen Bauplan sind diese neun Zahlen ein vollständiges neuronales Netz. Dieses neuronale Netz wurde nie trainiert. Es wurde gebaut. Das konnte man schon immer. Neu ist seit dem 2. November 2026: Ein Team am MIT hat gezeigt, dass auch ein Sprachmodell solche Zahlen lesen, reparieren und in einfachen Fällen selbst schreiben kann. Dafür gibt es jetzt einen Namen: Weight-Space Programming.

Die gute Nachricht darin: Ein kleines Modell muss kein Datenprojekt sein. Wo dir die gesammelten, beschrifteten Beispiele für ein Training fehlen, kann trotzdem etwas Brauchbares entstehen. Falls du davon noch nichts gehört hast: Mein Eindruck ist, dass das Thema bisher nur in einem kleinen Teil der Tech-Szene läuft. Du bist früh dran.

Die Versprechung

0,016 Prozent der Zahlen eines kleinen Sprachmodells wurden geändert. Sein Ergebnis in einem Mathe-Test stieg von 7,9 auf 48,1 Prozent. Ohne Training.

Die Realität

Das Modell hing in Endlosschleifen, und die Änderung hat diesen einen Fehler behoben. Bei einem zweiten Modell ohne diesen Fehler ließ sich keine Verbesserung sicher nachweisen.

Ein brauchbares Modell kann auch dort entstehen, wo bisher keines möglich war. Tendenziell ist es schwächer als ein trainiertes.

Illustration: Eine Strichfigur mit Brille hält lächelnd einen Zettel hoch, auf dem ein kleines Netz aus verbundenen Punkten skizziert ist.

01

Was ist ein neuronales Netz, wenn du nur die Zahlen anschaust?

Eine Rechenanleitung aus Zahlen. Sie bestimmt, wie aus einer Eingabe eine Ausgabe wird. Bei einem kleinen Netz passt sie auf einen Zettel.

Ein neuronales Netz klingt nach etwas, das man nur mit viel Rechenleistung und einem Team aus Data Scientists bekommt. Schaust du in ein kleines hinein, findest du Zahlen. In einem großen übrigens auch, nur so viele, dass du den Wald vor lauter Bäumen nicht mehr siehst. Die meisten davon sagen, wie stark ein Eingang zählt. Die Fachwelt nennt sie Gewichte. Der Rest verschiebt, ab wann etwas anspringt.

Nimm zwei Schalter, A und B. Die Aufgabe: Gib 1 aus, wenn genau einer von beiden an ist. Unter anderem in der Informatik heißt das XOR. Es ist ein Einstiegsbeispiel für neuronale Netze, weil ein einzelnes Neuron das nicht schafft. Man braucht eine Zwischenschicht mit zwei Neuronen.

Das erste Neuron zählt, wie viele Schalter an sind. Das zweite springt erst an, wenn beide an sind. Für die Ausgabe ziehst du den doppelten Wert des zweiten Neurons vom Wert des ersten ab. Übrig bleibt: einer, aber nicht beide.

Neun Zahlen, drei Etiketten, eine Wahrheitstabelle.

Jede Zahl hat einen Grund

Das sind drei Zeilen mit je drei Zahlen, und für jede kannst du sagen, wozu sie da ist. Die −1 im zweiten Neuron sorgt dafür, dass ein einzelner Schalter nicht reicht. Die −2 in der Ausgabe nimmt den Fall „beide“ wieder heraus.

Probier es selbst aus. Im Netz unten stehen zwei Zahlen noch falsch, und die Tabelle rechnet bei jedem Klick mit.

Zum Ausprobieren

Stell die neun Zahlen so ein, dass „genau einer von beiden“ stimmt

A und B sind zwei Schalter, 1 heißt an. Das Netz soll 1 ausgeben, wenn genau ein Schalter an ist. Drei Zeilen stimmen schon. Die Zeile „beide an“ ist noch falsch. Tipp: Neuron 2 soll erst anspringen, wenn wirklich beide an sind.

Neuron 1 · Mindestens einer ist an

mal A

1

mal B

1

Grundwert

0
Neuron 2 · Beide sind an

mal A

1

mal B

1

Grundwert

0
Ausgabe · Einer, aber nicht beide

mal Neuron 1

1

mal Neuron 2

0

Grundwert

0
Wahrheitstabelle: Für jede Kombination von A und B das Ergebnis des Netzes und das erwartete Ergebnis.
ABN1N2NetzSollStimmt
000000stimmt
011111stimmt
101111stimmt
112210stimmt nicht

3 von 4 Zeilen stimmen.

N1 und N2 zeigen, was die beiden Neuronen ausrechnen. Ein Neuron gibt nie weniger als 0 aus. Das Netz sagt 1, sobald die Ausgabe über 0,5 liegt.

02

Wie entstehen diese Zahlen sonst?

Durch Training mit vielen beschrifteten Beispielen.

Bei neun Zahlen geht das von Hand. Ein Sprachmodell hat Milliarden davon, und schon ein kleines Netz, das Anfragen sortiert, kommt schnell auf ein paar Tausend. Die schreibt normalerweise niemand auf. Man lässt sie finden.

Training heißt: Du zeigst dem Netz sehr viele Beispiele, bei denen die richtige Antwort schon dabeisteht. Ein Rechenverfahren verschiebt die Zahlen in kleinen Schritten, bis die Antworten passen. Für Aufgaben wie das Sortieren ist das der Standardweg. Große Sprachmodelle lernen zusätzlich aus riesigen Mengen Text ohne Beschriftung. Wie Systeme darüber hinaus dazulernen, habe ich in „Wie KI-Agenten lernen“ beschrieben.

Wo es für kleine Teams hakt

Nimm einen kleinen Betrieb, frei erfunden: fünf Leute, jeden Tag kommen Anfragen per Mail, und jemand sortiert sie von Hand in dringend, normal und Werbung. Ein kleines Modell könnte das Sortieren übernehmen, und die Person hätte den Kopf frei für die Anfragen selbst. Für ein Training bräuchte es aber erst ein paar Tausend Mails, bei denen jemand die richtige Schublade dazugeschrieben hat. Dazu Zeit und jemanden, der sich mit Training auskennt.

Das Problem: So ein Vorhaben kann enden, bevor es anfängt. Es scheitert am Stapel beschrifteter Beispiele, den es nicht gibt.

Also bleibt es bei der Handarbeit, bei einer festen Regel im Postfach oder bei einem großen KI-Dienst, der jede Mail mitliest. An dieser Stelle wird interessant, was im November passiert ist.

Vor dem Modell steht der Datenberg.
Jörg Amelunxen, persönliche Erfahrung

03

Was ist im November 2026 passiert?

Ein Team am MIT hat am 2. November frühe Versuche veröffentlicht, in denen ein Sprachmodell die Zahlen anderer Netze liest, repariert und schreibt. Ohne Training.

Der Beitrag heißt „Sparks of Weight-Space Programming“ und stammt von vier Leuten am MIT CSAIL (Quelle: Takehi et al., MIT CSAIL, 2026). Die Idee in einem Satz: Ein allgemeines Sprachmodell liest und schreibt die Gewichte eines anderen Netzes direkt. Es bekommt einen Auftrag in Sprache und die Zahlen. Ein Training findet nicht statt.

Drei der Versuche zeigen, worum es geht.

Lesen. Das Team hat kleine Netze auf vier einfache Computerspiele trainiert, jedes mit 17.253 Gewichten. Ein Spitzenmodell, also eines der derzeit stärksten Sprachmodelle, bekam die Zahlen und sollte sagen, welches Spiel das jeweilige Netz gelernt hat. Laut dem Team hat es das richtige Spiel benannt.

Reparieren. Ein Netz mit 171.664 Gewichten steuerte ein simuliertes Auto und blieb an einer Rampe hängen, in allen 256 Fahrten. Das Sprachmodell bekam die Zahlen, eine Beschreibung der Szene und eine aufgezeichnete Fahrt. Es änderte 3,5 Prozent der Gewichte. Danach kam das Auto in allen 1.024 Testfahrten an.

Ein Sprachmodell ändern. Am meisten Aufsehen machte der Versuch an einem kleinen offenen Sprachmodell mit 0,8 Milliarden Gewichten. Geändert wurden 131.072 davon, also 0,016 Prozent. Das Ergebnis im Mathe-Test MATH-500 stieg von 7,9 auf 48,1 Prozent.

Zur Einordnung: Das ist ein Blogbeitrag. Das Team spricht selbst von sehr frühen Ergebnissen (Quelle: Takehi et al., MIT CSAIL, 2026). Eine unabhängige fachliche Prüfung steht noch aus, und gezeigt wurde alles mit einem einzigen Spitzenmodell (Quelle: DataCamp, 2026).

Durchaus spannend, aber in einem kleinen Kreis

Innerhalb von neun Tagen gab es Berichte, zwei ausführliche Kritiken, erste vorläufige Forschungsberichte und einen eigenen Wikipedia-Eintrag (Quelle: Wikipedia, Stand 7. November 2026). Die Aufmerksamkeit ist also da. Mein Eindruck: Sie beschränkt sich auf einen kleinen Teil der Tech-Szene, und außerhalb davon ist das Thema noch nicht angekommen.

Die ersten neun Tage
  1. 02.11.

    Blogpost eines MIT-Teams prägt den Begriff

  2. 03.11.

    Erste Berichte, zwei ausführliche Kritiken, ein erstes Preprint

  3. 05.11.

    Gegenstudie fragt: Liest das Modell, oder erinnert es sich?

  4. 07.11.

    Der Begriff hat einen eigenen Wikipedia-Eintrag

  5. 08.11.

    Weiteres Preprint: geschriebene Netze formal prüfen

Kein einziger Eintrag ist begutachtet. Blogposts und Preprints, mehr gibt es noch nicht.

Quellen: Takehi et al. (MIT CSAIL), Honnibal, Goedecke, arXiv, Wikipedia. Alle November 2026.

04

Gleicher Name, andere Dinge: Was gehört nicht dazu?

Gemeint ist ein Sprachmodell, das Gewichte liest und schreibt. Ältere Forschung mit ähnlichem Namen und verwandte Verfahren unterscheiden sich davon.

Der Begriff ist neu, das Wort „Weight Space“ ist es nicht. Wenn du suchst, landest du schnell bei Dingen, die ähnlich klingen.

Netze, die Netze lesen. Seit Jahren gibt es Forschung, in der ein eigens trainiertes Netz die Gewichte anderer Netze als Eingabe bekommt, etwa um deren Genauigkeit vorherzusagen. Dort arbeitet ein Spezialwerkzeug. Neu ist, dass ein allgemeines Sprachmodell diese Arbeit übernimmt.

Programme, die zu Gewichten werden. Es gibt Übersetzer, die ein lesbares Programm nach festen Regeln in Gewichte umrechnen (Quelle: Lindner et al., Tracr, 2023). Das ist nah dran. Der Übersetzer folgt aber einem festen Verfahren und entscheidet nichts selbst.

Bausteine auf Knopfdruck. Andere Verfahren erzeugen einen kleinen Zusatzbaustein für ein Sprachmodell in einem einzigen Rechendurchlauf, zum Beispiel aus einem Dokument. Auch da entsteht etwas ohne klassisches Training. Erzeugt wird es von einem Hilfsnetz, das genau dafür trainiert wurde.

Übrig bleiben drei Spielarten: lesen, reparieren, neu schreiben. Für alle drei gilt dieselbe Frage wie beim Beispiel oben: Kann jemand sagen, wozu eine Zahl innerhalb des neuronalen Netzes da ist?

Drei Dinge, die ein Sprachmodell mit den Zahlen tun kann
  1. 01

    Lesen

    Aus den Zahlen sagen, was das Netz kann.

    17.253 Zahlen, vier mögliche Spiele: Welches hat dieses Netz gelernt?

  2. 02

    Reparieren

    Ein falsches Verhalten gezielt ändern.

    3,5 % der Zahlen geändert: 0 von 256 Fahrten vorher, 1.024 von 1.024 danach.

  3. 03

    Neu schreiben

    Ein Netz ohne Training aufsetzen.

    Kleine Netze für einfache Spiele. Im Vergleich mit trainierten gemischt.

Quelle: Takehi et al., MIT CSAIL, 02.11.2026. Selbstmeldung der Autoren.

05

Wie unterscheidet sich das von Prompting, RAG und Training?

Prompting steuert ein fertiges Modell, RAG legt Wissen von außen dazu, Training lässt die Zahlen finden. Weight-Space Programming schreibt sie direkt.

Am einfachsten sortierst du die Wege mit einer Frage: Wo liegt am Ende das, was das System kann?

Beim Prompting liegt es im Gespräch. Du sagst dem Modell bei jeder Anfrage, was es tun soll. Das Modell selbst bleibt, wie es ist.

Bei RAG liegt es außen. Vor jeder Antwort werden passende Stellen aus deinen Dokumenten dazugelegt. Wie das für Unternehmenswissen aussieht, steht im Artikel zu RAG und Unternehmenswissen. Auch hier bleibt das Modell unverändert.

Beim Training liegt es in den Gewichten. Gefunden hat sie ein Rechenverfahren, anhand deiner Beispiele.

Beim Weight-Space Programming liegt es ebenfalls in den Gewichten. Geschrieben hat sie aber jemand mit Absicht, anhand einer Regel. Beim Beispiel oben warst du das, beim Weight-Space Programming ist es ein Sprachmodell. Ob die Zahlen stimmen, zeigen Tests.

Und dann gibt es den Weg, den man leicht vergisst: normalen Code. Wenn du die Regel kennst und in zwei Sätzen aufschreiben kannst, ist ein kleines Programm in der Tendenz die einfachste Lösung. „Genau einer von beiden“ ist in jeder Programmiersprache eine Zeile. Das Beispielnetz oben ist ein Experiment, um das Konzept zu demonstrieren. Niemand sollte Schalter im Code künftig so auswerten.

Spannend wird es dazwischen: bei Aufgaben, deren Regel sich kurz beschreiben lässt, die aber noch niemand ausformuliert hat. Darauf komme ich in den nächsten Teilen zurück.

Wo liegt das Verhalten, und was brauchst du dafür?
Prompting
Liegt im Gespräch. Braucht einen Text.
RAG
Liegt außen, in deinen Dokumenten. Braucht Dokumente und eine Suche.
Training
Liegt in den Zahlen, gefunden per Rechenverfahren. Braucht beschriftete Beispiele, Rechenzeit.
Weight-Space Programming
Liegt in den Zahlen, direkt geschrieben. Braucht eine klar beschriebene Regel, eine kleine Testmenge, Zugang zu den Zahlen.
Normaler Code
Liegt im Quelltext. Braucht eine Regel, die du kennst.

Vereinfachte Einordnung. Die letzte Spalte ist die, die für deine Entscheidung zählt.

Sortier die Wege

Tipp eine Karte an, dann den Weg, zu dem sie passt. Die Leitfrage: Wo liegt am Ende das, was das System kann?

Karten · 6

Wege

0 von 6 sortiert.

06

Was ist belegt, und was ist bisher nur behauptet?

Belegt ist, dass es an kleinen Beispielen funktioniert. Wie weit es trägt, ist offen, und die Kritik daran verdient Gehör.

Die 0,016 Prozent bekommen besonders viel Aufmerksamkeit. Die Zahl ist korrekt, hat aber viel Kleingedrucktes.

Das kleine Sprachmodell hatte einen bestimmten Fehler: Bei langen Aufgaben blieb es in Wiederholungen hängen. Die Änderung hat diese Schleifen abgestellt, gestützt auf 50 Testläufe mit Übungsaufgaben. Bei einem zweiten kleinen Modell, das diesen Fehler nicht hatte, ging es bestenfalls von 6,8 auf 7,7 Prozent. Einen gesicherten Gewinn sieht der Bericht darin nicht (Quelle: Takehi et al., MIT CSAIL, 2026).

Ein Entwickler bei Hugging Face hat das geänderte Modell nachgebaut und im selben Test 51,0 Prozent gemessen (Quelle: DataCamp, 2026). Das ist bisher die einzige Nachmessung, die ich kenne.

Zwei Kritiken vom 3. November lohnen sich. Matthew Honnibal weist darauf hin, dass der Beitrag verschiedene Dinge unter einer Überschrift zusammenfasst. Reines Lesen der nackten Zahlen gibt es in drei der Versuche, an Netzen mit 17.000 bis 172.000 Gewichten. Bei den Sprachmodellen arbeitete das Spitzenmodell mit selbst geschriebenen Programmen. Er sagt auch: Herauszufinden, wie sich das praktisch nutzen lässt, ist durchaus etwas wert (Quelle: Honnibal, 2026).

Sean Goedecke hält die Leistung für beachtlich und zugleich für erreichbar: Eine erfahrene Fachperson hätte die Schleifen mit bekannten Mitteln ebenso gefunden. Er vergleicht das direkte Ändern von Gewichten mit dem nachträglichen Ausbessern eines fertig übersetzten Programms. Sein Fazit: Der beste Weg, die Gewichte eines Modells zu ändern, bleibt normales Training (Quelle: Goedecke, 2026).

Meine eigene Einordnung

Ich habe selbst kleine Netze auf diese Weise schreiben lassen. Die Tendenz, die ich sehe: Diese Netze sind schwächer, als ein sauber trainiertes es vermutlich wäre. Einen Vergleich auf denselben Daten habe ich aber in den meisten Fällen nicht gemacht.

Mich beschäftigt ohnehin eine andere Frage: Was wäre ohne dieses Modell da? Im Beispiel mit den Mails stand ein trainiertes Netz nie zur Wahl, die Beispiele dafür gab es ja nicht. Zur Wahl standen: Handarbeit, eine feste Regel, ein großer KI-Dienst, der jede Mail mitliest, oder ein kleines Modell, das jemand geschrieben hat, das im Haus läuft und sich prüfen lässt. Wenn das letzte brauchbar ist, gibt es eine neue Möglichkeit, auch wenn es einem trainierten unterlegen wäre.

Ein kleines Sprachmodell, Mathe-Test MATH-500

Bei dem Modell, das repariert werden konnte, hing die Schwäche an Endlosschleifen. Bei einem zweiten Modell ohne diesen Fehler half derselbe Weg nicht.

Quellen: Takehi et al., MIT CSAIL, 02.11.2026. Nachmessung laut DataCamp, 03.11.2026.

07

Was heißt das heute für dich?

Einsetzen kannst du es heute noch nicht. Was du aber schon jetzt mitnehmen kannst: Ein kleines Modell kann zunehmend mehr ein Softwareprojekt als ein Datenprojekt werden, und ein Netz kann lesbar sein.

Als Fazit lässt sich sagen, erstens: Ein Modell ist am Ende eine Tabelle aus Zahlen, und bei kleinen Netzen kann jede davon einen Grund haben. Du hast oben gerade neun davon selbst eingestellt. Zweitens:

Der Aufwand wandert: weg vom Sammeln und Beschriften, hin zu einer klar beschriebenen Regel und zwanzig Testfällen.

Mit diesem zweiten Punkt kannst du heute anfangen, ganz ohne Technik. Nimm eine Entscheidung, die bei dir täglich jemand von Hand trifft. Schreib in zwei Sätzen auf, woran die Person sie festmacht. Leg zwanzig echte Fälle daneben, bei denen du die richtige Antwort kennst.

Gelingt dir das, hast du die Vorarbeit für jeden der Wege aus der Übersicht oben, vom kleinen Programm bis zum Modell. Gelingt es dir noch nicht, weißt du, wo die eigentliche Arbeit liegt. Genau dort setze ich gern an: Aus solchen Entscheidungen werden Regeln und Testfälle, und daraus der Weg, der zu deinem Betrieb passt.

Im nächsten Teil wird das Netz größer: ein Addierer, in dem eine einzige Zahl falsch steht. Lässt sie sich finden wie ein Fehler im Code?

Lässt sich die Regel in zwei Sätzen sagen? Das ist die neue Frage für dein nächstes Vorhaben.
Jörg Amelunxen

Passend zum Thema

Hol dir den kostenlosen Einstiegs-Guide: 10 konkrete Wege, wie du KI ab morgen produktiv einsetzt.

Hat dich dieser Artikel auf eine Idee gebracht? Lass uns herausfinden, welche Sinnvampire bei dir verschwinden können.

Neue Artikel direkt ins Postfach

Kein Spam, keine Verkaufsschleifen. Nur eine Mail, wenn es einen neuen Artikel zu KI im Mittelstand gibt. Du bestätigst deine Anmeldung mit einem Klick und kannst dich jederzeit wieder abmelden.