EPSANet:計(jì)算機(jī)視覺(jué)注意力論文解讀
轉(zhuǎn)載:Bestsong
簡(jiǎn)介
(1)Pyramid Split Attention Block用于增強(qiáng)特征提取
(2)即插即用,可將Pyramid Split Attention Block取代ResNet的3×3卷積,提出基準(zhǔn)網(wǎng)絡(luò)ESPANet
(3)目標(biāo)分類與目標(biāo)檢測(cè)任務(wù)達(dá)到state-of-the-art效果
(4)代碼開(kāi)源:https://github.com/murufeng/EPSANet
算法
Pyramid Split Attention (PSA)在SENet的基礎(chǔ)上提出多尺度特征圖提取策略,整體結(jié)構(gòu)圖如下所示。具體可分為如下四個(gè)步驟:
(1)Split and Concat (SPC)模塊用于獲得空間級(jí)多尺度特征圖;
(2)SEWeight(SENet中的模塊)被用于獲得空間級(jí)視覺(jué)注意力向量來(lái)抽取多尺度響應(yīng)圖的目標(biāo)特征;
(3)使用Softmax函數(shù)用于再分配特征圖權(quán)重向量;
(4)元素相乘操作用于權(quán)重向量與原始特征圖來(lái)獲得最終結(jié)果響應(yīng)圖。
PSA模塊整體結(jié)構(gòu)
Split and Concat module
SPC模塊整體結(jié)構(gòu)圖
如上圖所示,k0、k1 、k2和k3是不同卷積核參數(shù)(以ESPANet-small為例,論文取3,5,7和9),G0、G1、G2和G3是分組卷積的參數(shù)(以ESPANet-small為例,論文默認(rèn)取1,4,8和16)。整體可看做是模型采用不同卷積核提取多尺度目標(biāo)特征,并采取Concat操作結(jié)合不同感受野下的多尺度特征。
ESPANet
ESPANet中的block如下所示,相比于ResNet,其就是使用PSA模塊取代3x3的卷積,ESPANet block整體結(jié)構(gòu)如下圖所示。
ESPANet block
因此ESPANet整體結(jié)構(gòu)圖與ResNet類型,唯一區(qū)別即使在每個(gè)block中前者使用PSA模塊取代后者的3x3卷積,ESPANet整體結(jié)構(gòu)如下圖所示。
ESPANet整體結(jié)構(gòu)圖
代碼
由于ESPANet整體結(jié)構(gòu)圖與ResNet類型,唯一區(qū)別即使在每個(gè)block中前者使用PSA模塊取代后者的3x3卷積,因此本部分著重于PSA模塊的代碼。
PSA模塊整體配置如下:包含四個(gè)卷積層和SEWeight模塊和Softmax函數(shù)
PSA模塊整體初始化代碼
PSA模塊前向傳播函數(shù)如下:Split---Concat---SEWeight---Softmax
此外本文中使用的SEWeight就是SENet中使用的SEWeight,有興趣的可以看看這篇論文(
https://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Squeeze-and-Excitation_Networks _CVPR_2018_paper.pdf)
PSA模塊前向傳播代碼
綜上所示,ESPANet是一個(gè)即插即用視覺(jué)注意力基準(zhǔn)網(wǎng)絡(luò),可用于目標(biāo)分類、檢測(cè)、分割等計(jì)算機(jī)視覺(jué)任務(wù),整體代碼可從(https://github.com/murufeng/EPSANet)得到。
- 免責(zé)聲明
- 本文所包含的觀點(diǎn)僅代表作者個(gè)人看法,不代表新火種的觀點(diǎn)。在新火種上獲取的所有信息均不應(yīng)被視為投資建議。新火種對(duì)本文可能提及或鏈接的任何項(xiàng)目不表示認(rèn)可。 交易和投資涉及高風(fēng)險(xiǎn),讀者在采取與本文內(nèi)容相關(guān)的任何行動(dòng)之前,請(qǐng)務(wù)必進(jìn)行充分的盡職調(diào)查。最終的決策應(yīng)該基于您自己的獨(dú)立判斷。新火種不對(duì)因依賴本文觀點(diǎn)而產(chǎn)生的任何金錢損失負(fù)任何責(zé)任。