1/ A resposta é que não consegues — não de forma barata. Verificar se um artigo é uma inovação requer aproximadamente a mesma experiência que produzir um. As escalas de geração. A verificação não.
Dwarkesh Patel
Dwarkesh Patel21/03, 04:00
Se os cientistas de IA estão a escrever milhões de artigos, muitos dos quais são de qualidade duvidosa, e alguns dos quais representam um progresso incremental, como poderíamos identificar um ou dois que apresentem uma nova ideia extremamente produtiva? Em 1948, Shannon era um dos centenas de engenheiros nos Bell Labs a trabalhar em como enviar sinais de voz de forma limpa através de fios de cobre ruidosos. O seu artigo estava na mesma revista técnica que relatórios sobre a redução de estática e a construção de melhores filtros. Como reconhecer que ele desenvolveu esta estrutura muito geral para pensar sobre informação e canais de comunicação, que nas décadas seguintes teria um enorme uso em domínios tão diversos como a criptografia, a genética e a mecânica quântica? Parece que pode levar várias décadas para que os campos reconheçam a importância de unificar novos conceitos. Porque é a essa escala temporal que os frutos de tais conceitos gerais levam a novas descobertas em muitos campos diferentes. Conseguimos resolver este problema de revisão por pares para cientistas humanos (pelo menos de alguma forma). Agora teremos que fazê-lo a uma escala muito maior para a massa de ciência de IA que nos será apresentada.
2/ Chamamos a isto a Lacuna de Mensurabilidade. Quanto mais difícil for uma tarefa de verificar em relação a quão difícil é executá-la, menos seguramente você pode automatizá-la. A ciência da IA é o caso extremo: geração infinita, largura de banda de verificação fixa.
3/ Formalizamos isto e mapeamos as condições sob as quais a verificação se torna a restrição vinculativa ao progresso da IA, na Seção 5:
61