Jokaisessa käyttämässäsi perustusmallissa on sama bugi. Se juuri korjattiin. Vuodesta 2015 lähtien jokainen syväverkko on rakennettu samalla tavalla: jokainen kerros tekee jonkin verran laskentaa, lisää tuloksensa juoksevaan summaan ja välittää sen eteenpäin. Yksinkertaista. Mutta ongelma on, että kerroksessa 100 signaali yksittäisestä kerroksesta hautautuu kaiken muun alle. Jokainen uusi kerros merkitsee yhä vähemmän. Kukaan ei korjannut tätä, koska se toimi tarpeeksi hyvin. Moonshot-tekoäly muutti juuri sen. Heidän uusi menetelmänsä, Attention Residuals, antaa jokaisen kerroksen tarkastella kaikkia aiempia kerroksia ja valita, mitkä niistä oikeasti merkitsevät juuri nyt. Sokean juoksun sijaan saat valikoivan palautuksen. Vertauskuva: kuvittele kirjoittavasi esseen, jossa jokainen luonnos yhdistetään automaattisesti yhdeksi asiakirjaksi. Luonnokseen 50 mennessä viimeisimmät muokkauksesi ovat näkymättömiä. AttnRes antaa sinun pitää jokaisen luonnoksen erillään ja hakea niistä tarvitsemiasi. Mitä tämä korjaa: 1. Syvemmät kerrokset eivät enää huku ulkopuolelle 2. Koulutus muuttuu vakaammaksi koko verkostossa 3. Malli käyttää omaa syvyyttään tehokkaammin Jotta se olisi käytännöllistä mittakaavassa, he ryhmittelevät kerrokset lohkoiksi ja käsittelevät lohkotiivistelmiä jokaisen kerroksen sijaan. Yleiskustannukset päättelyssä: alle 2 %. Tuloksena: 25 % vähemmän laskentaa, jotta saavuttaisi saman suorituskyvyn. Testattu 48B-parametrilla mallilla. Sopii eri kokoisille. Jäljellä olevat liitännät ovat olleet näkymättömiä putkistoja jo vuosikymmenen ajan. Nyt ne muuttuvat dynaamisiksi. Seuraavan sukupolven mallit eivät vain kulje omien kerrostensa läpi, vaan etsivät niitä.

Andrew Ng ratkaisi juuri yhden suurimmista ongelmista agenteissa. Hän julkaisi Context Hubin, CLI-työkalun, jolla hakee reaaliaikaista API-dokumentaatiota. Yksi käsky. Agentti saa juuri sen, mitä tarvitsee, ennen kuin kirjoittaa yhden koodirivin. Kuukausia sitten koulutetut agentit lentävät sokkona. He keksivät parametrien nimet. He kutsuvat funktioita, joita ei enää ole. He kirjoittavat itsevarmasti koodia määrittelyn mukaan, joka muuttui viime julkaisussa. > Ei enää hallusinaatioita > Docs veti tuoreena ennen jokaista puhelua > Agentit kirjaavat hyödyllisiä löytöjä > Muistiinpanot pysyvät istuntojen välillä Agentti suorittaa CLI-komennon ennen kuin koskettaa koodia. Sen sijaan, että luottaisiin vanhentuneisiin tietoihin, se lukee varsinaisen speksifikaation. Nopeasti etenevät API:t tarkoittivat aiemmin dokumenttidumpin ylläpitämistä jokaisessa kehotteessa. Nyt agentti tekee sen työn itse. Kun se löytää kiertotien, se tallentaa muistiinpanon seuraavaa kertaa varten.