EfficientNet

EfficientNet

開發者	Google AI
首次發布	2019年5月
原始碼庫	github.com/tensorflow/tpu/tree/master/models/official/efficientnet
程式語言	Python
許可協議	Apache許可證 2.0
網站	Google AI博客

EfficientNet 是Google AI研究人員於2019年發表的一系列用於計算機視覺的卷積神經網絡（CNN）。其核心創新在於複合縮放，即使用單一參數統一按比例縮放深度、寬度和解析度的所有維度。

EfficientNet模型已被應用於包括圖像分類、目標檢測與圖像分割在內的各種計算機視覺任務中。

複合縮放

EfficientNet引入了複合縮放方法。該方法不再一次僅縮放網絡的單一維度，例如深度（層數）、寬度（通道數）或解析度（輸入圖像尺寸），而是使用複合係數$\phi$同時對這三個維度進行統一縮放。具體而言，給定一個基準網絡，其深度、寬度與解析度依據以下公式進行縮放： $${\begin{aligned}{\text{depth multiplier: }}d&=\alpha ^{\phi }\\{\text{width multiplier: }}w&=\beta ^{\phi }\\{\text{resolution multiplier: }}r&=\gamma ^{\phi }\end{aligned}}$$ 需滿足約束條件$\alpha \cdot \beta ^{2}\cdot \gamma ^{2}\approx 2$以及$\alpha \geq 1,\beta \geq 1,\gamma \geq 1$。設定$\alpha \cdot \beta ^{2}\cdot \gamma ^{2}\approx 2$的條件，是為了使$\phi$每增加$\phi _{0}$時，在圖像上運行該網絡所需的總浮點運算次數大約增加$2^{\phi _{0}}$倍。超參數$\alpha$、$\beta$與$\gamma$通過小型網格搜索確定；原論文給出的推薦值分別為1.2、1.1與1.15。

在網絡架構方面，研究人員通過神經結構搜索（NAS）優化了模塊的選擇，並發現MobileNet中使用的倒瓶頸卷積（在其論文中稱為MBConv）表現優異。

EfficientNet系列由一系列堆疊的MBConv層組成，各層的形狀均由複合縮放決定。最初發表的文獻共包含從EfficientNet-B0到EfficientNet-B7 8個模型，其模型規模與準確率依次遞增。其中，EfficientNet-B0為基準網絡，後續模型則是通過增大$\phi$值對基準網絡進行縮放得到的。

變體

EfficientNet已通過神經結構搜索進行適配，以實現在邊緣TPU以及集中式TPU或GPU集群上的快速推理。

EfficientNet V2於2021年6月發表。通過包含更多卷積層類型的進一步神經結構搜索，該版本的網絡架構得到了持續改進。它還引入了一項新的訓練方法，即在訓練過程中逐步增大圖像尺寸，並結合使用 Dropout、RandAugment和Mixup等正則化技術。作者指出，這種方法能夠有效緩解通常與漸進式尺寸調整相關的準確率下降問題。