Tradičné autonómne riadenie rozhodovacích systémov sa často spoliehajú na modulárny dizajn. Od vnímania životného prostredia, plánovania rozhodovania po riadenie vozidiel, každý subsystém pracuje nezávisle a spolupracuje riadi prevádzku vozidla. V zložitých dopravných scenároch je táto hierarchická architektúra náchylná na problémy, ako sú kumulatívne chyby, strata informácií a nedostatočný výkon v reálnom čase. Veľké modely postupne menia túto situáciu svojimi masívnymi parametrami, medzi modernými schopnosťami spracovania údajov a paradigmami učenia sa koncového vzdelávania. Môže nielen dosiahnuť účinnú fúziu viacerých údajov o vnímaní na úrovni vnímania, ale tiež naplánovať primeranejšie stratégie riadenia vozidiel prostredníctvom hlbokého sémantického porozumenia a logického zdôvodnenia na úrovni rozhodovania, čím sa zvyšuje celková bezpečnosť a robustnosť.
Výhody veľkých modelov pri autonómnej jazde
Samotný proces vývoja technológie autonómnej jazdy prešiel viacerými fázami, od skorej asistovanej jazdy po postupný prechod po plne autonómnu jazdu. Včasné systémy sa väčšinou spoliehali na jednoduchú detekciu objektov a riadenie pravidiel. S rozvojom hlbokého učenia sa prijatie metód, ako sú CNN, RNN a dokonca aj GAN, neustále zlepšovalo environmentálne vnímanie a rozhodovacie schopnosti. Okrem toho technológia kombinujúca reprezentácia a transformátor BEV (Bird's View) a transformátor do istej miery vymyslel nedostatky tradičných metód v časopriestorovom modelovaní. Dá sa povedať, že zavedenie veľkých modelov v zásade pretvára celkovú architektúru autonómnych jazdných systémov a v budúcnosti kladie solídny základ pre komercializáciu úrovní L3, L4 a dokonca L5.
Architektúra modelu založená na transformátoroch zvyčajne prijíma mechanizmus sebaúcty, ktorý dokáže zachytiť závislosti na dlhých vzdialenosti, čím sa výrazne zlepšuje globalita a presnosť spracovania informácií. Prostredníctvom prístupu pred tréningom ladenia je model vopred vyškolený na rozsiahlych neznačených údajoch a potom doladený pre špecifické autonómne riadiace úlohy. To nielen znižuje spoliehanie sa na veľké množstvo označených údajov, ale tiež umožňuje modelu mať dobré možnosti migrácie medzi doménami. Multimodálne veľké modely môžu súčasne spracovať rôzne dátové formy, ako sú obrázky, oblaky bodov a radarové údaje, dosahovať skok od „videnia“ na „porozumenie“ a oblákať autonómne jazdné systémy s kognitívnymi schopnosťami podobnými schopnostiam u ľudí.
Špecifická aplikácia veľkých modelov pri autonómnej jazde
V autonómnych vodičských systémoch sa aplikácia veľkých modelov odráža hlavne vo viacerých aspektoch, ako je environmentálne vnímanie, rozhodovanie a plánovanie a kontrola vozidiel. Pokiaľ ide o vnímanie životného prostredia, tradičné systémy sa spoliehajú hlavne na údaje jedného senzora na detekciu cieľov a sémantickú segmentáciu. Avšak kvôli obmedzeniam osvetlenia, počasia a samotných senzorov majú často problémy s riešením zložitých scenárov. Prostredníctvom multimodálnej technológie fúzie údajov môžu veľké modely integrovať rôzne údaje, ako sú fotoaparáty, lidary, radary milimetrových vĺn a mapy s vysokou presnosťou, aby vytvorili bohatšie a presnejšie znázornenie životného prostredia. Napríklad model vizuálneho jazyka (VLA) môže súčasne extrahovať vizuálne informácie a sémantické informácie na obrázku a vykazuje mimoriadne vysokú presnosť pri detekcii prekážok, predpovedania správania pre chodcov a pri posudzovaní podmienok na cestách. Po tom, čo je informácie o viacerých senzoroch hlboko fúzované veľkým modelom, sa vylepšuje nielen robustnosť detekcie cieľov, ale aj predikcia dynamických scén sa dá dosiahnuť prostredníctvom analýzy časových radov, čo poskytuje spoľahlivejší vstup na rozhodovanie vozidla.
Na úrovni rozhodovania a plánovania sa tradičné autonómne riadiace systémy zvyčajne spoliehajú na vopred stanovené pravidlá alebo algoritmy plánovania založené na modeloch, aby sa výsledky vnímania vnímali na plánovanie cesty a rozhodnutia o konaní. Táto metóda je však náchylná na zlyhanie, keď čelí zložitým dopravným podmienkam, ktoré sa nikdy predtým nevideli, a návrh rozhrania medzi každým modulom je dosť rigidný, čo sťažuje dosiahnutie optimalizácie end-to-end. Prostredníctvom rámca koncového vzdelávania môžu veľké modely priamo extrahovať kľúčové informácie zo nespracovaných údajov senzora a generovať príkazy riadenia vozidla prostredníctvom inherentného logického zdôvodnenia. Drivegpt -4 a LanguagEmpc demonštrovali potenciál použitia veľkých modelov na rozhodovanie o viacerých úlohách. Ich modely môžu nielen vytvárať primerané stratégie riadenia v zložitých scenároch, ale tiež poskytujú podrobné vysvetlenia, čím sa zvýšila interpretabilita systému. Výhodou tohto rozhodovania o konci-to-end spočíva v znižovaní prechodných chýb v procese prenosu informácií a umožňuje celému systému schopnosť prispôsobiť sa novým scenárom.
Kontrola vozidla, ako posledný krok autonómnej jazdy, vyžaduje nielen presnosť rozhodovania, ale aj záruku reakcie systému v reálnom čase. Pretože veľké modely majú zvyčajne početné parametre a obrovské výpočtové náklady, v priamom nasadení v systémoch namontovaných na vozidlách existujú určité výzvy. Odvetvie urobilo rozsiahle prieskumy kompresie modelu a ľahkej váhy. Prostredníctvom technológie destilácie modelu sa extrahujú základné znalosti vo veľkých modeloch a potom sa prenášajú na malé a efektívne modely, aby sa dosiahla perfektná zhoda s hardvérom vo vozidle (napríklad séria NVIDIA Drive AGX). Táto technológia si zachováva nielen vysoký výkon veľkých modelov, ale tiež zaisťuje, že čas odozvy spĺňa požiadavky kontroly v reálnom čase, a tak zohráva významnú úlohu v procese komercializácie autonómnej jazdy L3/L4.
Pri simulácii a overení autonómnej jazdy v uzavretej slučke veľké modely tiež preukázali významné výhody. Výcvik s rozsiahlymi údajmi a syntetickými scénami môže zostaviť realistické svetové modely a testovanie v uzavretej slučke je možné dosiahnuť vo virtuálnom prostredí prostredníctvom digitálnej technológie dvojčiat. Táto metóda nielen významne znižuje riziká a náklady na vykonávanie veľkého počtu testov na skutočných cestách, ale môže tiež rýchlo simulovať rôzne extrémne a scenáre s dlhým chvostom, čo poskytuje dostatočnú podporu údajov pre iteratívnu optimalizáciu modelu. Model EMMA spoločnosti Waymo využívaním simulačných platforiem a veľkým modelovým technológiou dosiahol predikciu vysoko presnej trajektóriu a rozhodovanie o vyhýbaní sa kolízii. Jeho výkon ďaleko presahuje výkon tradičných hierarchických systémov a poskytuje nový prístup k overovaniu budúcich autonómnych riadiacich systémov v uzavretej slučke.
Okrem toho veľké modely tiež zohrávali významnú úlohu pri zvyšovaní bezpečnosti systému a skúseností používateľov. Autonómna jazda nie je iba technickým problémom; Zahŕňa to aj otázky interakcie a sociálnej dôvery medzi ľuďmi a počítačmi. Prostredníctvom technológie spracovania prirodzeného jazyka môžu veľké modely dosiahnuť rozhovory s ovládačmi v reálnom čase, poskytovať návrhy riadenia a núdzové upozornenia a dokonca ponúknuť osobnú pomoc na základe emócií vodiča. Takýto návrh interakcie môže výrazne zvýšiť dôveru cestujúcich, vďaka čomu je autonómny systém riadenia nielen pokročilejší v technológii, ale aj viac v súlade s potrebami používateľov v praktických aplikáciách.
Aké výzvy predstavujú veľké modely pri autonómnej jazde?
Aj keď veľké modely preukázali veľký potenciál v oblasti autonómnej jazdy, stále existuje veľa problémov pri ich transformácii z laboratórnych úspechov na komerčné aplikácie. Výkonnosť a výpočtové zdroje v reálnom čase sú v súčasnosti jedným z hlavných prekážok. Veľké modely majú zvyčajne veľký rozsah parametrov a vysokú výpočtovú zložitosť. Generovanie rozhodnutí v milisekundovej úrovni predstavuje mimoriadne vysoké požiadavky na výpočtovú silu počítačovej platformy vo vozidle. Môžu sa použiť vyhradené AI čipy a veľké modely môžu byť komprimované technikami, ako je destilácia a kvantizácia modelu, snaha splniť požiadavky na odozvu v reálnom čase a zároveň zabezpečiť výkon.
Problémy bezpečnosti a robustnosti sú tiež základnými výzvami pri uplatňovaní veľkých modelov. Akonáhle autonómne vozidlo urobí chybu v rozhodovaní, následky môžu byť veľmi vážne. Preto musia veľké modely podstúpiť prísne testovanie a overovanie pred praktickým použitím, aby sa zabezpečilo, že môžu správne reagovať v rôznych zložitých a extrémnych scenároch. Vzhľadom na povahu „čiernej skrinky“ veľkých modelov je ich interné rozhodovacie procesy často ťažké vysvetliť. Ako vylepšiť interpretovateľnosť modelu a zároveň zabezpečiť, aby sa vysoký výkon stal naliehavým problémom pre regulačné orgány a výrobcovia automobilov. V budúcnosti sa očakáva kombináciou metód, ako je posilňovacie vzdelávanie, doladenie založené na ľudskej spätnej väzbe a obmedzeniach pravidiel, očakáva sa, že navrhne systémy rozhodovania, ktoré sú efektívne a transparentné.
Pri použití veľkých modelov nemožno ignorovať ochranu osobných údajov a etických problémov. Autonómne vodičské systémy musia zhromažďovať veľké množstvo údajov o vozidlách, environmentálnych a používateľských údajoch a bezpečné ukladanie a používanie týchto údajov priamo súvisí s ochranou súkromia používateľa. Ako úplne využiť výhody veľkých údajov a zároveň zabezpečiť, aby bezpečnosť prenosu a spracovania údajov bola prvou otázkou, ktorú musia regulačné orgány riešiť. Je potrebné sformulovať prísne normy ochrany údajov a mechanizmy ochrany súkromia na poskytovanie inštitucionálnych záruk pre bezpečné uplatňovanie veľkých modelov pri autonómnej jazde.
Spolupráca medzi softvérom a hardvérom je tiež kľúčom k implementácii veľkých modelov. Úspešná aplikácia veľkých modelov závisí nielen od inovácií algoritmov, ale vyžaduje si aj vysokovýkonnú podporu hardvéru. V súčasnosti hlavní výrobcovia postupne spustili výpočtové platformy vo vozidlách novej generácie, ako napríklad NVIDIA Drive AGX Pegasus, Atlan atď. Tieto platformy poskytujú hardvérové záruky pre inferenciu v reálnom čase a rozsiahle nasadenie veľkých modelov. Nepretržitý rozvoj technológie senzorov tiež poskytol hojnejšie a kvalitnejšie zdroje údajov pre multimodálnu fúziu údajov. Vďaka neustálemu zlepšovaniu celého ekosystému autonómnej jazdy je hlboká integrácia softvéru a hardvéru povinná priviesť celý priemysel do úplne novej éry inteligentného cestovania.
Hlboký vplyv veľkých modelov na technológiu autonómnej jazdy sa odráža iba v technických detailoch, ale tiež vyvolal posun paradigmy od tradičných modulárnych systémov k konci-to-end a od vnímavej inteligencie k kognitívnej inteligencii. Budúci autonómny riadiaci systém vedený veľkými modelmi dosiahne environmentálne vnímanie s vyššou presnosťou, flexibilnejšie rozhodovanie a plánovanie, ako aj bezpečnejšie a efektívnejšie riadenie vozidiel. Zároveň dosiahne novú úroveň interakcie medzi ľudskými strojmi, personalizovanú pomoc a bezpečnosť údajov.