毫末DriveGPT 來了！4月HAOMO AI DAY公布重要進展

資迅| 2024-01-28| 0

易車訊 2月17日消息，毫末智行宣布自動駕駛認(rèn)知大模型正式升級為DriveGPT，并將在2023年4月的HAOMO AI DAY上公布其最新重要進展。

隨著ChatGPT火爆全網(wǎng)，它所采用的Transformer大模型以及“人類反饋強化學(xué)習(xí)（RLHF）”技術(shù)再次引發(fā)行業(yè)關(guān)注。在自動駕駛領(lǐng)域，毫末在國內(nèi)最早將Transformer大模型引入到數(shù)據(jù)智能體系MANA當(dāng)中。在2023年1月的HAOMO AI DAY上，毫末智行CEO顧維灝介紹，毫末推出的人駕自監(jiān)督認(rèn)知大模型就已借鑒了ChatGPT的實現(xiàn)思路，采用RLHF（人類反饋強化學(xué)習(xí)）技術(shù)，通過引入真實人駕接管數(shù)據(jù)，肢穗對自動駕駛認(rèn)知決策模型進行持續(xù)優(yōu)化。

毫末的認(rèn)知決策算法經(jīng)歷了三個階段的進化。第一階段是引入個別場景的端到端模仿學(xué)習(xí)，直接擬合人駕行為。第二階段是通過認(rèn)知大模型，引入海量正常人駕數(shù)據(jù)，通過Prompt的方式實現(xiàn)認(rèn)知決策的可控、可解釋。第三階段，也就是當(dāng)前階段，通過引入真實接管數(shù)據(jù)，并且在大模型中開始嘗試使用RLHF算法，對人駕接管數(shù)據(jù)進行學(xué)習(xí)。為此，毫末構(gòu)建了一個包含“舊策略、接管策略、人工label策略”的Pairwise排序模型。基于這一排序模型，毫末構(gòu)建了自動駕駛決策的獎勵模型（reward model），從而在各種規(guī)劃場景情況下做出歷瞎卜最優(yōu)的決策。通過這一大模型，在掉頭、環(huán)島等公認(rèn)的困難場神棚景中，場景通過率提升30%以上。

2月17日，毫末智行將人駕自監(jiān)督認(rèn)知大模型正式升級為“DriveGPT”，這也是全球首個自動駕駛認(rèn)知大模型。目前，毫末DriveGPT已完成模型搭建和第一階段數(shù)據(jù)的跑通，參數(shù)規(guī)模可對標(biāo)GPT-2的水平。接下來，DriveGPT將持續(xù)引入大規(guī)模真實接管數(shù)據(jù)，通過人駕數(shù)據(jù)反饋的強化學(xué)習(xí)，來不斷提升測評效果，同時也將DriveGPT作為云端測評模型，用來評估車端小模型的駕駛效果。毫末DriveGPT最新重要進展，將在2023年4月舉行的第八屆HAOMO AI DAY上公布。