En 1905, Einstein partió de un enigma sobre un imán y un conductor. El efecto dependía solo de cómo se movían ambos el uno respecto del otro, pero la física lo describía de manera distinta según cuál de los dos se moviera [1]. Para resolverlo, tuvo que preguntarse algo más básico: qué significa que dos sucesos distantes ocurran al mismo tiempo [1, Sec. 1].
Los grandes avances de la ciencia a menudo son así. Alguien encuentra una nueva forma de plantear el problema, y la antigua dificultad se disuelve [2, Ch. 10]. Estos momentos nacen de la creatividad y rara vez se examinan directamente. Durante buena parte del siglo pasado, los filósofos de la ciencia los dejaron de lado: Hans Reichenbach llamó a esto el contexto de descubrimiento y lo dejó en manos de la psicología [3, pp. 6–7].
Durante la mayor parte de la historia de la ciencia, el momento en que un problema cedía ocurría una sola vez, dentro de una sola persona. Lo que la ciencia conservaba era lo que funcionaba, aunque la mayoría de los intentos fracasan [4].
Pon mil agentes ante el mismo problema difícil y puede que unos pocos lo resuelvan. El resto no lo hará. Ejecuciones como estas podrían dejar algo nuevo: el raro éxito junto a los muchos fracasos, en registros que podemos leer. Dentro de estas ejecuciones están los momentos que generan progreso, un salto en el rendimiento o un paso en la ciencia.
Lightfast es un laboratorio de investigación que quiere estudiar esos momentos: qué los genera y si eso puede convertirse en una ciencia.
Inventar es elegir
Nuestra tesis es que lo que distingue a las ejecuciones exitosas es lo que eligen intentar. Quienes han creado grandes obras, en el arte y en la ciencia, lo describen de la misma manera. En una conferencia en Londres en 1885, James McNeill Whistler dijo que la naturaleza contiene los elementos de todo cuadro, como el teclado contiene las notas de toda la música, «pero el artista ha nacido para escoger, y elegir, y agrupar con ciencia, estos elementos» [5]. Henri Poincaré, al escribir sobre sus propios descubrimientos matemáticos, afirmó que casi toda combinación nueva de ideas conocidas carece de valor: «Inventer, c'est discerner, c'est choisir», inventar es discernir, es elegir [6, p. 48].
A menudo, elegir consiste en decidir qué dejar fuera. La escultura, escribió Miguel Ángel a Benedetto Varchi, se hace «per forza di levare», quitando [7]. El escultor ve la forma en el bloque y la deja al descubierto. En la música, gran parte de lo que distingue un estilo de otro es el espacio que deja entre los sonidos. Un dicho del jazz que a menudo se atribuye a Miles Davis, «lo que importa son las notas que no tocas», nunca se ha encontrado en palabras suyas [8]. En sus propias palabras, lo que le impresionó del pianista Ahmad Jamal fue «su concepto del espacio, su ligereza de toque, su contención» [9, p. 178].
Llamamos gusto al sentido de qué elegir y qué dejar fuera. No es solo artístico. Para quien hace ciencia, es su manera de pensar y trabajar durante un experimento: cómo plantear el problema, qué pregunta hacer, cuál de diez ideas prometedoras probar primero, cuándo un resultado es bueno. Y se entrena. Rick Rubin escribe que estudiar grandes obras sirve para «calibrar nuestro medidor interno de la grandeza. Para poder tomar mejor las miles de decisiones que podrían conducir, en última instancia, a nuestra propia gran obra» [10, p. 50].
Los modelos tienen menos. En un estudio con más de cien investigadores de PLN, los evaluadores calificaron las ideas de un modelo de lenguaje como más novedosas que las escritas por expertos [11]. Pero el modelo evaluaba mal sus propias ideas [11], y cuando las ideas se llevaron a cabo, las del modelo perdieron mucha más puntuación que las de los expertos [12].
Menos, bien elegido
El gusto de un modelo se entrena con aquello de lo que aprende, y la mayor parte de ese material registra resultados terminados: el artículo publicado, el código final, el cuadro en la pared. Rara vez registra las decisiones que llevaron hasta ahí, las ideas probadas y descartadas, o por qué valía la pena seguir una. Creemos que esto explica en parte por qué los modelos tienen menos gusto. Ejecuciones como las descritas más arriba podrían conservar ese registro.
Elegir aquello de lo que aprende un modelo ya cambia lo que es capaz de hacer, y a menudo menos, bien elegido, rinde más. Se prefirió un modelo grande ajustado con 1000 ejemplos cuidadosamente seleccionados al mismo modelo base ajustado con 52 000; sus autores titularon el artículo «Less is more for alignment» [13]. En razonamiento matemático, 800 problemas seleccionados llevaron a un modelo del 16,5 % al 63,3 % en la prueba de referencia de la competición AIME 2024, por encima de un modelo entrenado con 114 000 [14].
Estos resultados tienen límites. Cada uno saca a relucir una habilidad que el modelo ya aprendió a partir de muchos más datos. Cuando un conjunto pequeño y filtrado se repite durante suficiente tiempo, los datos sin filtrar lo superan [15], y con un millón de ejemplos la mayoría de los métodos de selección apenas lo hacen mejor que una selección aleatoria [16]. No hemos encontrado ningún estudio que compruebe si menos, bien elegido, produce ideas nuevas en lugar de mejores respuestas.
Lentes para ver la forma interior
Aquello de lo que aprende una persona puede cambiar lo que es capaz de ver. Leonardo da Vinci pensaba que la pintura era una ciencia. La pintura, escribió, «enseñó la figuración a la geometría», y enseña a los perspectivistas, a los astrónomos, a los constructores de máquinas y a los ingenieros [17, p. 256], [a]. Estudió el cuerpo porque tenía que pintarlo [18]. La experiencia, escribió, es «la madre común de todas las ciencias y las artes» [19, Sec. 18].
Vasari, al escribir las vidas de estos artistas en 1568, tenía una sola palabra para el origen de la arquitectura, la escultura y la pintura: disegno, la idea formada en la mente antes de que la mano la muestre [20, Ch. XV]. En 1613, la academia florentina que toma su nombre del disegno eligió a Galileo, inscrito como «Matematico» [21]. Cuatro años antes, él y Thomas Harriot habían apuntado cada uno un telescopio a la Luna. Harriot solo vio manchas [22]. Galileo vio montañas y cráteres [23]; según la interpretación de un historiador, su formación en luces y sombras le permitió verlos [22].
Sabemos lo que hicieron estas personas. Sabemos mucho menos de los momentos en que vieron de otra manera. Esos momentos no pertenecen a un único campo, así que estudiarlos sirve a las ciencias y a las artes a la vez. Si aprendemos qué los genera, los grandes avances podrían llegar con más frecuencia, y los modelos podrían plantear problemas por sí mismos: en las matemáticas y las ciencias, en la ingeniería y en las imágenes, los objetos y los edificios que crean las personas.
Lo que vamos a averiguar
Nuestras primeras ejecuciones pondrán a prueba nuestra tesis: si lo que distingue a las ejecuciones exitosas es lo que eligen intentar, y si menos, bien elegido, lleva a un modelo a ideas nuevas en lugar de a mejores respuestas. Las leeremos en busca de los propios momentos: qué ocurre justo antes de que un problema difícil ceda ante un nuevo planteamiento.
Nos gustaría saber de equipos que trabajan en el límite de lo que sus modelos pueden hacer y que se preguntan qué viene después, ya sea en un laboratorio de vanguardia, en robótica o en cualquier lugar donde el siguiente paso no sea evidente. Y de cualquier persona que tenga datos que quiera hacer llegar a esos equipos. Escríbenos.