Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Lior Alexander
A construir o Bloomberg do @AlphaSignalAI de IA (280K subscrições) • Professor do MIT • Investigador MILA • 9 anos em ML
Todo modelo de fundação que alguma vez usou tem o mesmo erro. Acabou de ser corrigido.
Desde 2015, todas as redes profundas foram construídas da mesma forma: cada camada faz algum cálculo, adiciona o seu resultado a um total acumulado e passa-o para a frente.
Simples. Mas há um problema, na camada 100, o sinal de qualquer camada única está enterrado sob a soma de tudo o resto.
Cada nova camada importa cada vez menos.
Ninguém corrigiu isso porque funcionava bem o suficiente.
A Moonshot AI acabou de mudar isso. O seu novo método, Attention Residuals, permite que cada camada olhe para todas as camadas anteriores e escolha quais realmente importam neste momento.
Em vez de um total acumulado cego, você obtém uma recuperação seletiva.
A analogia: imagine escrever um ensaio onde cada rascunho é automaticamente mesclado em um único documento. No rascunho 50, suas edições mais recentes são invisíveis.
O AttnRes permite que você mantenha cada rascunho separado e puxe de quais você precisar.
O que isso corrige:
1. Camadas mais profundas não ficam mais afogadas
2. O treinamento torna-se mais estável em toda a rede
3. O modelo utiliza a sua própria profundidade de forma mais eficiente
Para torná-lo prático em escala, eles agrupam camadas em blocos e atendem a resumos de blocos em vez de cada camada individual.
Sobrecarga na inferência: menos de 2%.
O resultado:
25% menos computação para alcançar o mesmo desempenho. Testado em um modelo de 48B parâmetros. Mantém-se em todos os tamanhos.
Conexões residuais têm sido encanamentos invisíveis durante uma década. Agora estão se tornando dinâmicas.
A próxima geração de modelos não apenas passará por suas próprias camadas, mas as pesquisará.

Kimi.ai16/03, 11:03
Apresentando 𝑨𝒕𝒕𝒆𝒏𝒕𝒊𝒐𝒏 𝑹𝒆𝒔𝒊𝒅𝒖𝒂𝒍𝒔: Repensando a agregação em profundidade.
As conexões residuais há muito dependem de acumulação fixa e uniforme. Inspirados pela dualidade do tempo e da profundidade, apresentamos os Attention Residuals, substituindo a recorrência padrão em profundidade por atenção aprendida, dependente da entrada, sobre as camadas anteriores.
🔹 Permite que as redes recuperem seletivamente representações passadas, mitigando naturalmente a diluição e o crescimento do estado oculto.
🔹 Introduz o Block AttnRes, particionando camadas em blocos comprimidos para tornar a atenção entre camadas prática em grande escala.
🔹 Serve como um substituto eficiente, demonstrando uma vantagem de computação de 1.25x com uma sobrecarga de latência de inferência negligenciável (<2%).
🔹 Validado na arquitetura Kimi Linear (48B no total, 3B de parâmetros ativados), proporcionando ganhos consistentes de desempenho a jusante.
🔗Relatório completo:

381
Andrew Ng acabou de resolver um dos maiores problemas com Agentes.
Ele lançou o Context Hub, uma ferramenta CLI para buscar documentação de API ao vivo.
Um comando. O agente obtém exatamente o que precisa antes de escrever uma única linha de código.
Agentes treinados há meses estão voando às cegas. Eles inventam nomes de parâmetros. Chamam funções que já não existem. Escrevem código com confiança contra uma especificação que mudou na última versão.
> Sem mais parâmetros alucinatórios
> Documentação puxada fresca antes de cada chamada
> Agentes registram descobertas úteis
> Notas persistem entre sessões
O agente executa um comando CLI antes de tocar no código. Em vez de depender de dados desatualizados, ele lê a especificação real.
APIs em rápida evolução costumavam significar manter um depósito de documentos em cada prompt. Agora o agente faz esse trabalho sozinho.
Quando encontra uma solução alternativa, ele salva uma nota para a próxima vez.

1,56K
Top
Classificação
Favoritos
