Kas olete Moveci paradoksist kuulnud? Paradoks väidab, et täiustatud arutluskäik nõuab tehisintellekti (AI) süsteemi jaoks väga vähe arvutuslikku energiat, rakendades samas tajumisoskusi, mida inimesed iseenesestmõistetavaks peavad, nõuab tohutuid arvutuslikke ressursse. Sisuliselt on AI jaoks keerulised loogilised ülesanded lihtsamad kui põhilised sensoorsed ülesanded, mida inimese instinktid saavad täita. See paradoks rõhutab selles etapis erinevust AI ja inimese kognitiivsete võimete vahel.
Inimesed on oma olemuselt multimodaalsed. Igaüks meist on nagu intelligentne terminal, mis peab tavaliselt kooli minema, et saada koolitada (koolitada), kuid selle koolituse ja õppimise eesmärk ja tulemus on see, et meil on võimalus töötada ja elada autonoomselt, lootmata alati välistele juhistele ja välistele juhistele ja alati kontroll.
Me õpime tundma ümbritsevat maailma mitme sensoorse viisi kaudu, näiteks nägemine, kõne, heli, puudutus, maitse ja lõhna, et analüüsida, arutada, otsustada ja tegutseda.
Pärast aastaid kestnud anduri sulandumist ja AI evolutsiooni on robotid selles etapis suures osas multimodaalsete anduritega. Kuna toome rohkem arvutusvõimsust servaseadmetele, näiteks robotitesse, muutuvad need seadmed targemaks ja nutikamaks, võimelised tundma oma ümbrust, mõistma ja suhtlema looduskeeles, omandades haptikuid digitaalse sensori liideste kaudu, samuti roboti konkreetset jõudu, samuti tajudes roboti konkreetset jõudu, Nurga kiirus ja isegi roboti ümbruses oleva magnetväli kiirendusmõõturite, güroskoopide ja magnetomeetrite ja muu kombinatsiooni kaudu.
Robootika ja masinatunnetuse uue ajastu poole
Enne trafo ja suuri keelemudeleid (LLM -id) nõudis multimodaalsuse rakendamine AI -s tavaliselt mitut eraldiseisvat mudelit, mis vastutavad erinevat tüüpi andmete eest (tekst, pildid, heli) ja erinevate mooduste integreerimist keeruka protsessi kaudu.
Transformerimudelite ja LLMide tulekuga on multimodaalsus muutunud integreeritumaks, võimaldades ühe mudeli töötleda ja mõista mitut tüüpi, mille tulemuseks on AI -süsteemid, mis on võimelised oma keskkonda põhjalikumalt tajuma. See nihe on multimodaalsete AI -rakenduste tõhusust ja tõhusust oluliselt parandanud.
Kui sellised LLM-id nagu GPT -3 on peamiselt tekstipõhine, on tööstus teinud kiiresti edusamme multimodaalsuse poole. OpenAi klipist ja Dall-E-st ning nüüd Sora ja GPT -4 O on näited mudelitest, mis on liikunud multimodaalsuse ja loomulikumate inimeste-arvuti interaktsiooni poole. Näiteks mõistab CLIP loodusliku keelega ühendatud pilte, ühendades sellega lõhe visuaalse ja tekstilise teabe vahel; Dall-E eesmärk on genereerida pilte, mis põhinevad tekstilistel kirjeldustel. Näeme, et Google Gemini mudel on sarnane evolutsioon.
Aastal 2024 kiireneb multimodaalne evolutsioon. Veebruaris andis OpenAi välja Sora, mis genereerib realistlikke või kujutlusvõimelisi videoid, mis põhinevad teksti kirjeldustel. Sellele mõeldes võib see pakkuda paljutõotavat tee universaalsete maailma simulaatorite loomiseks või saada oluliseks vahendiks robotite koolitamiseks. Kolme kuu pärast on GPT -4 o inimese-roboti interaktsiooni jõudlust märkimisväärselt parandanud ja on võimeline reaalajas heli, visiooni ja teksti vahel mõistma. Teksti-, visuaalse ja heliteabe ühendamine uue mudeli otsast väljaõppeks kõrvaldab kaks modaalset üleminekut sisendviisist tekstile ja seejärel tekstist väljundviisile, mis omakorda parandab dramaatiliselt jõudlust.
Veebruari samal nädalal andis Google välja Kaksikud 1.5, mis laiendas dramaatiliselt konteksti pikkust miljonile märgiks. See tähendab, et 1.5 Pro saab töödelda suuri koguseid teavet korraga, sealhulgas tund aega video, 11 tundi heli ja koodibaas, mis sisaldab rohkem kui 30, 000 koodiridasid või 700, 000} Words.gemini 1.5 on üles ehitatud Google'i juhtivatele uuringutele Transformeri ja segaliikme asjatundliku arhitektuuri (MOE) ning avatud tööturude 2B ja 7B mudelite kohta, mida saab servas juurutada külg. Mai Google'i I/O konverentsil, lisaks konteksti pikkuse kahekordistamisele ning generatiivsete AI-tööriistade ja rakenduste seeria vabastamisele, uuris Google oma visiooni projekti Astra tuleviku kohta, üldotstarbelise AI assistendi kohta, mis töötleb mitmeliigilist teavet , mõistab kasutaja paigutamise konteksti ja suhtleb inimestega vestlustes väga loomulikul viisil.
Avatud lähtekoodiga LLM laama taga asuva ettevõttena liitub Meta ka tehisintellekti (AGI) palaga.
See tõeline multimodaalsus suurendab oluliselt masinluure taset ja viib paljude tööstusharude jaoks uute paradigmadeni.
Näiteks olid robotid väga homogeensed, mõne anduri ja liikumisvõimalustega, kuid üldiselt polnud neil "aju", et õppida uusi asju ja kohaneda struktureerimata ja harjumatu keskkonnaga.
Eeldatakse, et multimodaalsed LLM -id muudavad robotite võimet analüüsida, arutada ja õppida, liikudes neid spetsialiseerumisest üldistusele. PC-d, serverid ja nutitelefonid on üldotstarbeliste arvutusplatvormide juhid ja saavad mitmesuguste funktsioonide saavutamiseks käivitada palju erinevaid tarkvararakendusi. Üldistamine aitab laieneda, genereerides mastaabisäästu ja hindu saab skaleerimisel dramaatiliselt vähendada, mis viib voorusliku vastuvõtmise tsüklisse rohkemates valdkondades.
Elon Musk märkas üldistatud tehnoloogia eeliseid juba varakult, kuna Tesla robotid arenesid Bumblebee'ist 2022. aastal Optimus Gen 1-ni, teatati 2023. aasta märtsis ja Gen 2, mis kuulutati välja 2023. aasta lõpus, üha suureneva mitmekülgsuse ja õppevõimalustega. Varem 6-12 kuu jooksul oleme olnud tunnistajaks mitmele läbimurdele robootika ja humanoidrobootika valdkonnas.
Uued tehnoloogiad järgmise põlvkonna robootika ja kehastatud intelligentsuse taga
Pole kahtlust, et meil on veel palju tööd teha enne, kui kehastatud luureni jõuab masstootmiseni. Vajame andurite andmete teabe töötlemiseks ja sulatamiseks kiiremaid disainilahendusi, pikemaid tööaega ja kiiremini, võimsamaid servade arvutusplatvorme, et teha õigeaegseid otsuseid ja kontrollida toiminguid.
Ja me liigume humanoidrobotite loomise poole; Tuhanded aastaid kestnud inimtsivilisatsiooni on loonud inimestele mõeldud üldlevinud keskkonna ning humanoidsed robotsüsteemid saavad eeldatavasti suhelda mugavalt inimestega ja keskkonnaga ning teha vajalikke toiminguid inimlikus keskkonnas, kuna nende sarnasus inimestega. Need süsteemid sobivad hästi räpaste, ohtlike ja igavate ülesannete käsitlemiseks nagu patsientide hooldus ja rehabilitatsioon, teenindustööd hotellinduse valdkonnas, õppevahendid või õppekaaslased haridusvaldkonnas ning ohtlikud ülesanded nagu katastroofide reageerimine ja ohtlikud materjalid käitlemine . Sellised rakendused kasutavad humanoidmasina atribuute, et hõlbustada loomulikke inimese-roboti koostoimeid, tegutseda inimkesksetes ruumides ja teostada ülesandeid, mida traditsioonilistel robotitel on sageli keeruline täita.
Paljud AI ja robootikaettevõtted alustavad uusi teadusuuringuid ja koostööd selle ümber, kuidas koolitada roboteid parema põhjuse ja kavandamise nimel uutes struktureerimata keskkonnas. Robotite uuedel "ajudel" on suures koguses andmetel eelnevalt koolitatud mudelitel suurepärased üldistusvõimalused, mis võimaldab robotitel oma keskkonda põhjalikumalt näha ja mõista, kohandada nende liikumist ja toiminguid sensoorse tagasiside põhjal ning optimeerida nende jõudlust erinevates dünaamilistes keskkondades.
Huvitava näitena saab Boston Dynamics robotikoer Spot tegutseda muuseumis giidina, suheldes külastajatega, tutvustades neid erinevatele eksponaatidele ja vastates nende küsimustele. Võib olla raske uskuda, kuid sel juhul on Spoti meelelahutuslikud, interaktiivsed ja peened etendused olulisemad kui tagada, et faktid oleksid õiged.
Robootikatrafo: robootika uus aju
Robotics Transformer (RT) areneb kiiresti, et tõlkida multimodaalsed sisendid otse toimivaks koodiks. Google DeepMindi RT -2 toimib nii eelkäija RT -1, kui varem on nähtud ülesannete täitmisel peaaegu 100% -lise edukuse määr. Kui aga koolitatakse Palm-E (robotite orienteeritud kehastatud multimodaalse keelemudeli) ja Pali-X (suuremahuline mitmekeelne visioon ja keelemudel, mis pole spetsiaalselt ette nähtud robotite jaoks), on RT -2 paremad üldistamisvõimalused ja edestab rt -1 nähtamatutel ülesannetel.
Microsoft tutvustas LLAVA-d, suuremahulist keelt ja visiooni assistenti. Algselt tekstipõhiste ülesannete jaoks loodud LLAVA kasutab GPT -4 võimsust, et luua uus paradigma mitmeliigiliste juhiste jaoks andmete järgimiseks, integreerides sujuvalt teksti- ja visuaalseid komponente, mis võib olla kasulik robotülesannete jaoks. Oma tutvustamisel määras LLAVA uued kirjed multimodaalse vestluse ja teaduslike viktoriiniülesannete jaoks, mis ületavad juba inimlikud keskmised võimed.
Nagu varem mainitud, on Tesla katsumus humanoidide ja AI üldotstarbeliste robootikatesse märkimisväärne mitte ainult seetõttu, et see on mõeldud mastaapseks ja masstootmiseks, vaid ka seetõttu, et Tesla autopiloodi autopiloodi jaoks saab kasutada tugevat täielikult isesõitvat (FSD) tehnoloogiat. robotid. Teslal on ka nutikas tootmise kasutusjuhtum Optimuse rakendamiseks oma uuele energiasõidukite tootmisprotsessile.
ARM on robootika tuleviku nurgakivi
Arm usub, et robotiaju, nii "suur aju" kui ka "väike aju", peaks olema heterogeenne AI arvutisüsteem, mis pakub paremat jõudlust, reaalajas reageerimist ja energiatõhusust.
Robootika hõlmab mitmesuguseid ülesandeid, sealhulgas põhiarvutus (nt, signaalide saatmine ja vastuvõtmine mootoritele ja sealt), täiustatud andmetöötluse (nt tõlgendamine pildi ja anduri andmete tõlgendamine) ning varem mainitud multimodaalsete LLM -ide käitamine. CPU sobib hästi üldotstarbeliste ülesannete täitmiseks, samas kui AI gaasipedaalid ja GPU-d saavad tõhusamalt hakkama paralleelselt töötlevate ülesannetega, näiteks masinõpe (ML) ja graafika töötlemine. Roboti nägemisvõimaluste ja salvestus-/salvestus-/ülekande tõhususe suurendamiseks saab integreerida ka täiendavaid gaasipedaale, näiteks pildisignaaliprotsessoreid ja videokoodeid. Lisaks peaks CPU-l olema reaalajas reageerimine ja ta peab suutma käivitada opsüsteeme nagu Linux ja ROS-paketid.
Robotitarkvara virnale laiendamisel võib opsüsteemi kiht vajada ka reaalajas opsüsteemi (RTOS), mis suudab usaldusväärselt käsitseda ajakriitilisi ülesandeid, samuti robootika jaoks kohandatud Linuxi jaotust, näiteks ROS, mis võib pakkuda Heterogeensete arvutusklastrite jaoks mõeldud teenused. Usume, et käsivarre toetatud standardid ja sertifitseerimisprogrammid, näiteks SystemReady ja PSA sertifitseeritud, aitavad suurendada robotitarkvara arendamist. SystemReady on loodud tagamaks, et standardsed Rich OS-i jaotused töötaksid paljudel ARM-i arhitektuuril põhinevatel süsteemis-kiipidel (SOC), samas kui PSA sertifitseeritud aitab lihtsustada turvalisuse rakendamise lahendusi, et täita ühendatud seadmetele mõeldud piirkondlikke turva- ja regulatiivseid nõudeid.
Edusammud suuremahulistes multimodaalsetes mudelites ja generatiivses AI kuulutab AI robotite ja humanoidrobotite arendamisel uut ajastut. Koos AI arvutite ja ökosüsteemidega on sellel uuel ajastul robootika tavapäraseks muutmiseks hädavajalik energiatõhusus, turvalisus ja funktsionaalne ohutus. ARM -protsessoreid kasutatakse robootikaga juba laialdaselt ja ootame tihedat koostööd ökosüsteemiga, et muuta AI robootika tuleviku nurgakivi.