Die Lightfast-These

Im Jahr 1905 begann Einstein mit einem Rätsel um einen Magneten und einen Leiter. Der Effekt hing nur davon ab, wie sich beide relativ zueinander bewegten, doch die Physik beschrieb ihn unterschiedlich, je nachdem, welcher von beiden sich bewegte [1]. Um es zu lösen, musste er eine grundlegendere Frage stellen: was es bedeutet, dass zwei weit voneinander entfernte Ereignisse gleichzeitig stattfinden [1, Sec. 1].

Durchbrüche in der Wissenschaft sehen oft so aus. Jemand findet eine neue Art, das Problem zu fassen, und die alte Schwierigkeit löst sich auf [2, Ch. 10]. Diese Momente entspringen der Kreativität, und sie werden selten direkt untersucht. Über weite Teile des letzten Jahrhunderts haben Wissenschaftsphilosophen sie ausgeklammert: Hans Reichenbach nannte dies den Entdeckungszusammenhang und überließ ihn der Psychologie [3, pp. 6–7].

Während des größten Teils der Wissenschaftsgeschichte kam der Moment, in dem ein Problem nachgab, nur einmal, im Inneren eines einzelnen Menschen. Bewahrt hat die Wissenschaft, was funktionierte, obwohl die meisten Versuche scheitern [4].

Setzt man tausend Agenten auf dasselbe schwierige Problem an, lösen es vielleicht einige wenige. Der Rest nicht. Solche Durchläufe könnten etwas Neues hinterlassen: den seltenen Erfolg neben den vielen Fehlschlägen, in Aufzeichnungen, die wir lesen können. In diesen Durchläufen liegen die Momente, die Fortschritt erzeugen, einen Leistungssprung oder einen Schritt in der Wissenschaft.

Lightfast ist ein Forschungslabor, das diese Momente untersuchen will: was sie hervorbringt und ob daraus eine Wissenschaft werden kann.

Erfinden heißt wählen

Unsere These lautet: Was die erfolgreichen Durchläufe auszeichnet, ist ihre Wahl dessen, was sie ausprobieren. Menschen, die große Werke geschaffen haben, in Kunst wie Wissenschaft, beschreiben es auf dieselbe Weise. In einem Vortrag in London im Jahr 1885 sagte James McNeill Whistler, die Natur enthalte die Elemente jedes Bildes, so wie die Klaviatur die Töne aller Musik enthalte, „aber der Künstler ist dazu geboren, diese Elemente herauszugreifen, auszuwählen und auf wissenschaftliche Weise zu gruppieren“ [5]. Henri Poincaré schrieb über seine eigenen mathematischen Entdeckungen, fast jede neue Kombination bekannter Ideen sei wertlos: „Inventer, c’est discerner, c’est choisir“, erfinden heißt unterscheiden, heißt wählen [6, p. 48].

Oft geht es beim Wählen darum, was man weglässt. Die Bildhauerei, schrieb Michelangelo an Benedetto Varchi, entstehe „per forza di levare“, durch Wegnehmen [7]. Der Bildhauer sieht die Form im Block und legt sie frei. In der Musik unterscheidet sich ein Stil vom anderen zu einem großen Teil durch den Raum, den er zwischen den Klängen lässt. Ein Jazz-Spruch, der oft Miles Davis zugeschrieben wird, „Es sind die Töne, die man nicht spielt, auf die es ankommt“, ist in seinen Worten nie belegt worden [8]. Was ihn am Pianisten Ahmad Jamal beeindruckte, war nach seinen eigenen Worten „sein Konzept des Raums, die Leichtigkeit seines Anschlags, sein Understatement“ [9, p. 178].

Den Sinn dafür, was man wählt und was man weglässt, nennen wir Geschmack. Er ist nicht nur künstlerisch. Bei einer Wissenschaftlerin ist er die Art, wie sie während eines Experiments denkt und arbeitet: wie sie das Problem fasst, welche Frage sie stellt, welche von zehn vielversprechenden Ideen sie zuerst ausprobiert, wann ein Ergebnis gut ist. Und er wird geschult. Rick Rubin schreibt, das Studium großer Werke solle „unser inneres Messgerät für Größe kalibrieren. Damit wir die Tausenden von Entscheidungen besser treffen können, die letztlich zu unserem eigenen großen Werk führen könnten“ [10, p. 50].

Modelle haben weniger davon. In einer Studie mit mehr als hundert NLP-Forschenden bewerteten Gutachtende die Ideen eines Sprachmodells als neuartiger als die von Fachleuten verfassten Ideen [11]. Doch das Modell konnte seine eigenen Ideen schlecht beurteilen [11], und als die Ideen umgesetzt wurden, fielen die Bewertungen der Modellideen weit stärker ab als die der Ideen der Fachleute [12].

Weniger, gut gewählt

Der Geschmack eines Modells wird durch das geschult, woraus es lernt, und das meiste davon hält fertige Ergebnisse fest: das veröffentlichte Paper, den finalen Code, das Gemälde an der Wand. Selten hält es die Entscheidungen fest, die dorthin führten, die ausprobierten und verworfenen Ideen oder warum eine davon es wert war, verfolgt zu werden. Wir glauben, dass dies einer der Gründe ist, warum Modelle weniger Geschmack haben. Durchläufe wie die oben beschriebenen könnten diese Aufzeichnungen bewahren.

Die Auswahl dessen, woraus ein Modell lernt, verändert bereits, was es kann, und oft bewirkt weniger, gut gewählt, mehr. Ein großes Modell, das mit 1.000 sorgfältig ausgewählten Beispielen feinabgestimmt wurde, wurde demselben Basismodell vorgezogen, das mit 52.000 Beispielen feinabgestimmt wurde; die Autoren nannten das Paper „Less is more for alignment“ [13]. Beim mathematischen Schlussfolgern brachten 800 ausgewählte Aufgaben ein Modell auf dem Wettbewerbs-Benchmark AIME 2024 von 16,5 % auf 63,3 % und damit über ein Modell hinaus, das mit 114.000 trainiert wurde [14].

Diese Ergebnisse haben Grenzen. Jedes davon bringt eine Fähigkeit zum Vorschein, die das Modell bereits aus weit mehr Daten gelernt hat. Wird ein kleiner gefilterter Datensatz lange genug wiederholt, überholen ungefilterte Daten ihn [15], und bei einer Million Beispielen schneiden die meisten Auswahlmethoden kaum besser ab als eine zufällige Auswahl [16]. Wir haben keine Studie gefunden, die prüft, ob weniger, gut gewählt, neue Ideen statt besserer Antworten hervorbringt.

Linsen, um die Form im Inneren zu sehen

Woraus ein Mensch lernt, kann verändern, was er zu sehen vermag. Leonardo da Vinci hielt die Malerei für eine Wissenschaft. Die Malerei, schrieb er, „lehrte die Geometrie die Figuration“, und sie lehrt die Perspektivkundigen, die Astronomen, die Maschinenbauer und die Ingenieure [17, p. 256], [a]. Er studierte den Körper, weil er ihn malen musste [18]. Die Erfahrung, schrieb er, sei „die gemeinsame Mutter aller Wissenschaften und Künste“ [19, Sec. 18].

Vasari, der 1568 die Lebensbeschreibungen dieser Künstler verfasste, hatte ein einziges Wort für den Ursprung von Architektur, Bildhauerei und Malerei: disegno, die im Geist geformte Idee, bevor die Hand sie zeigt [20, Ch. XV]. 1613 wählte die nach dem disegno benannte Florentiner Akademie Galileo, eingetragen als „Matematico“ [21]. Vier Jahre zuvor hatten er und Thomas Harriot jeweils ein Teleskop auf den Mond gerichtet. Harriot sah nur Flecken [22]. Galileo sah Berge und Krater [23]; nach der Lesart eines Historikers ermöglichte ihm seine Schulung in Licht und Schatten, sie zu sehen [22].

Wir wissen, was diese Menschen geschaffen haben. Wir wissen weit weniger über die Momente, in denen sie anders sahen. Diese Momente gehören keinem einzelnen Fachgebiet an, daher dient ihre Untersuchung den Wissenschaften und den Künsten zugleich. Wenn wir herausfinden, was sie hervorbringt, könnten Durchbrüche häufiger gelingen, und Modelle könnten Probleme selbst fassen: in der Mathematik und den Wissenschaften, im Ingenieurwesen und in den Bildern, Objekten und Gebäuden, die Menschen schaffen.

Was wir herausfinden werden

Unsere ersten Durchläufe werden unsere These prüfen: ob das, was die erfolgreichen Durchläufe auszeichnet, ihre Wahl dessen ist, was sie ausprobieren, und ob weniger, gut gewählt, ein Modell zu neuen Ideen statt zu besseren Antworten führt. Wir werden sie auf die Momente selbst hin lesen: was geschieht, kurz bevor ein schwieriges Problem einer neuen Formulierung nachgibt.

Wir möchten von Teams hören, die an der Grenze dessen arbeiten, was ihre Modelle leisten können, und die sich fragen, was als Nächstes kommt, ob in einem Frontier-Labor, in der Robotik oder überall dort, wo der nächste Schritt nicht offensichtlich ist. Und von allen, die über Daten verfügen, die diese Teams erreichen sollen. Schreiben Sie uns.