僅總參數(shù)量0.1%、單GPU15分鐘完成微調(diào),人類基因組基礎(chǔ)模型NT登Nature子刊
從 DNA 序列預(yù)測(cè)分子表型仍然是基因組學(xué)中的一個(gè)長(zhǎng)期挑戰(zhàn),通常是由于注釋數(shù)據(jù)有限以及無(wú)法在任務(wù)之間轉(zhuǎn)移學(xué)習(xí)所致。在這里,英國(guó)倫敦InstaDeep的研究人員提出了在 DNA 序列上進(jìn)行預(yù)訓(xùn)練的基礎(chǔ)模型,稱為 Nucleotide Transformer;其參數(shù)范圍從 5000 萬(wàn)到