平安科技前沿技術(shù)部門負(fù)責(zé)人王磊:大規(guī)模預(yù)訓(xùn)練模型在垂直領(lǐng)域應(yīng)用的缺陷與改進(jìn)
作者 | 王磊整理 |維克多編輯 | 青暮目前,大規(guī)模預(yù)訓(xùn)練模型已經(jīng)在自然語言處理領(lǐng)域取得了巨大的成功。BERT、GPT-3等大規(guī)模預(yù)訓(xùn)練模型被看做是“暴力美學(xué)”的一次勝利,驗(yàn)證了“模型越大,性能越好”的邏輯,業(yè)界也普遍形成了“煉大模型”的競(jìng)賽趨勢(shì),國(guó)內(nèi)研究機(jī)構(gòu)和企業(yè)也相繼發(fā)布了大規(guī)模預(yù)訓(xùn)練模型,呈