En 1905, Einstein partit d’une énigme portant sur un aimant et un conducteur. L’effet ne dépendait que de leur mouvement relatif, et pourtant la physique le décrivait différemment selon lequel des deux se déplaçait [1]. Pour la résoudre, il dut poser une question plus fondamentale : que signifie, pour deux événements éloignés, se produire au même moment [1, Sec. 1].
Les percées scientifiques ressemblent souvent à cela. Quelqu’un trouve une nouvelle manière de formuler le problème, et l’ancienne difficulté se dissipe [2, Ch. 10]. Ces moments naissent de la créativité, et ils sont rarement examinés directement. Pendant une grande partie du siècle dernier, les philosophes des sciences les ont laissés de côté : Hans Reichenbach a appelé cela le contexte de découverte, et l’a laissé à la psychologie [3, pp. 6–7].
Pendant la plus grande partie de l’histoire des sciences, le moment où un problème cédait ne se produisait qu’une fois, chez une seule personne. Ce que la science a conservé, c’est ce qui fonctionnait, alors que la plupart des tentatives échouent [4].
Confiez un même problème difficile à mille agents, et quelques-uns parviendront peut-être à le résoudre. Les autres, non. De tels essais pourraient laisser quelque chose de nouveau : le rare succès à côté des nombreux échecs, dans des traces que nous pouvons lire. Dans ces essais se trouvent les moments qui créent le progrès, un bond de performance ou une avancée scientifique.
Lightfast est un laboratoire de recherche qui veut étudier ces moments : ce qui les fait naître, et si cela peut devenir une science.
Inventer, c’est choisir
Notre thèse est que ce qui distingue les essais réussis, c’est ce qu’ils choisissent d’essayer. Les personnes qui ont accompli de grandes œuvres, dans l’art comme dans la science, le décrivent de la même façon. Lors d’une conférence à Londres en 1885, James McNeill Whistler affirmait que la nature contient les éléments de tout tableau, comme le clavier contient les notes de toute musique, « mais l’artiste est né pour trier, et choisir, et grouper avec science, ces éléments » [5]. Henri Poincaré, à propos de ses propres découvertes en mathématiques, écrivait que presque toutes les combinaisons nouvelles d’idées connues sont sans valeur : « Inventer, c’est discerner, c’est choisir » [6, p. 48].
Souvent, choisir consiste à décider ce que l’on écarte. La sculpture, écrivait Michel-Ange à Benedetto Varchi, se fait « per forza di levare », en ôtant [7]. Le sculpteur voit la forme dans le bloc et la dégage. En musique, une grande part de ce qui distingue un style d’un autre tient à l’espace qu’il laisse entre les sons. Un adage du jazz souvent attribué à Miles Davis, « ce sont les notes que l’on ne joue pas qui comptent », n’a jamais été retrouvé dans ses propos [8]. Selon ses propres mots, ce qui l’avait frappé chez le pianiste Ahmad Jamal, c’était « sa conception de l’espace, la légèreté de son toucher, sa retenue » [9, p. 178].
Nous appelons goût ce sens de ce qu’il faut choisir et de ce qu’il faut écarter. Il n’est pas seulement artistique. Pour un scientifique, c’est sa façon de penser et de travailler pendant une expérience : comment formuler le problème, quelle question poser, laquelle de dix idées prometteuses essayer en premier, quand un résultat est bon. Et il se forme. Rick Rubin écrit qu’étudier les grandes œuvres sert à « calibrer notre jauge intérieure de la grandeur. Afin de mieux faire les milliers de choix qui pourraient finalement mener à notre propre grande œuvre » [10, p. 50].
Les modèles en ont moins. Dans une étude menée avec plus d’une centaine de chercheurs en TAL, les évaluateurs ont jugé les idées d’un modèle de langage plus originales que celles rédigées par des experts [11]. Mais le modèle évaluait mal ses propres idées [11], et une fois les idées mises en œuvre, celles du modèle ont vu leurs notes baisser bien plus que celles des experts [12].
Moins, mais bien choisi
Le goût d’un modèle se forme à partir de ce sur quoi il apprend, et l’essentiel de ces sources d’apprentissage consigne des résultats achevés : l’article publié, le code final, le tableau accroché au mur. On y trouve rarement les choix qui y ont mené, les idées essayées puis abandonnées, ni pourquoi l’une valait la peine d’être poursuivie. Nous pensons que c’est en partie pour cela que les modèles ont moins de goût. Des essais comme ceux décrits plus haut pourraient conserver cette trace.
Choisir ce à partir de quoi un modèle apprend modifie déjà ce qu’il sait faire, et souvent, moins mais bien choisi fait davantage. Un grand modèle ajusté sur 1 000 exemples soigneusement sélectionnés a été préféré au même modèle de base ajusté sur 52 000 ; ses auteurs ont intitulé leur article « Less is more for alignment » [13]. En raisonnement mathématique, 800 problèmes sélectionnés ont fait passer un modèle de 16,5 % à 63,3 % sur le benchmark de la compétition AIME 2024, dépassant un modèle entraîné sur 114 000 [14].
Ces résultats ont des limites. Chacun fait ressortir une compétence que le modèle avait déjà acquise à partir de bien plus de données. Lorsqu’un petit ensemble filtré est répété suffisamment longtemps, les données non filtrées finissent par le dépasser [15], et à un million d’exemples, la plupart des méthodes de sélection ne font guère mieux que le hasard [16]. Nous n’avons trouvé aucune étude vérifiant si moins, mais bien choisi, produit des idées nouvelles plutôt que de meilleures réponses.
Des lentilles pour voir la forme intérieure
Ce à partir de quoi une personne apprend peut changer ce qu’elle est capable de voir. Léonard de Vinci considérait la peinture comme une science. La peinture, écrivait-il, « a enseigné la figuration à la géométrie », et elle instruit les perspectivistes, les astronomes, les constructeurs de machines et les ingénieurs [17, p. 256], [a]. Il étudiait le corps parce qu’il devait le peindre [18]. L’expérience, écrivait-il, est « la mère commune de toutes les sciences et de tous les arts » [19, Sec. 18].
Vasari, qui écrivit en 1568 les vies de ces artistes, n’avait qu’un mot pour désigner la source de l’architecture, de la sculpture et de la peinture : disegno, l’idée formée dans l’esprit avant que la main ne la montre [20, Ch. XV]. En 1613, l’académie florentine qui portait ce nom élut Galilée, inscrit comme « Matematico » [21]. Quatre ans plus tôt, lui et Thomas Harriot avaient chacun pointé une lunette vers la Lune. Harriot n’y vit que des taches [22]. Galilée y vit des montagnes et des cratères [23] ; selon l’interprétation d’un historien, sa formation à la lumière et à l’ombre lui permit de les voir [22].
Nous savons ce que ces personnes ont créé. Nous en savons bien moins sur les moments où elles ont vu autrement. Ces moments n’appartiennent à aucun domaine en particulier ; les étudier sert donc à la fois les sciences et les arts. Si nous comprenons ce qui les fait naître, les percées pourraient se produire plus souvent, et les modèles pourraient formuler eux-mêmes les problèmes : en mathématiques et dans les sciences, en ingénierie, et dans les images, les objets et les bâtiments que l’on crée.
Ce que nous allons découvrir
Nos premiers essais mettront notre thèse à l’épreuve : ce qui distingue les essais réussis est-il ce qu’ils choisissent d’essayer, et moins, mais bien choisi, conduit-il un modèle vers des idées nouvelles plutôt que vers de meilleures réponses ? Nous y chercherons les moments eux-mêmes : ce qui se passe juste avant qu’un problème difficile cède devant une nouvelle formulation.
Nous serions heureux d’être contactés par les équipes qui travaillent aux limites de ce que leurs modèles savent faire et qui se demandent quelle est la suite, que ce soit dans un laboratoire de pointe, en robotique ou partout où la prochaine étape n’est pas évidente. Et par toute personne qui détient des données qu’elle souhaite faire parvenir à ces équipes. Écrivez-nous.