1/ La réponse est que vous ne pouvez pas — pas à moindre coût. Vérifier si un article est une avancée nécessite à peu près la même expertise que d'en produire un. Les échelles de génération. La vérification ne le fait pas.
Dwarkesh Patel
Dwarkesh Patel21 mars, 04:00
Si des scientifiques en IA écrivent des millions d'articles, dont beaucoup sont médiocres et certains représentent des progrès incrémentaux, comment pourrions-nous identifier celui ou ceux qui proposent une idée nouvelle extrêmement productive ? En 1948, Shannon était l'un des centaines d'ingénieurs chez Bell Labs travaillant sur la manière d'envoyer des signaux vocaux de manière claire sur des fils de cuivre bruyants. Son article était publié dans le même journal technique que des rapports sur la réduction du bruit et la construction de meilleurs filtres. Comment pourriez-vous reconnaître qu'il a proposé ce cadre général de réflexion sur l'information et les canaux de communication, qui, au cours des décennies suivantes, aurait une utilisation énorme dans des domaines aussi variés que la cryptographie, la génétique et la mécanique quantique ? Il semble qu'il faille plusieurs décennies aux domaines pour reconnaître l'importance de l'unification de nouveaux concepts. Car c'est sur cette échelle de temps que les fruits de tels concepts généraux mènent à de nouvelles découvertes dans de nombreux domaines différents. Nous avons réussi à résoudre ce problème de revue par les pairs pour les scientifiques humains (du moins en partie). Maintenant, nous devrons le faire à une échelle beaucoup plus grande pour la masse de la science de l'IA qui nous sera présentée.
2/ Nous appelons cela le fossé de mesurabilité. Plus une tâche est difficile à vérifier par rapport à la difficulté de son exécution, moins vous pouvez l'automatiser en toute sécurité. La science de l'IA est le cas extrême : génération infinie, bande passante de vérification fixe.
3/ Nous formalisons cela et cartographions les conditions sous lesquelles la vérification devient la contrainte contraignante sur le progrès de l'IA, dans la Section 5 :
66