题目：Searching for MobileNetV3

作者：Andrew Howard 、 Mark Sandler 、 Grace Chu 、 Liang-Chieh Chen 、 Bo Chen 、Mingxing Tan…

Motivation:

作者还是想在移动端使网络的性能发挥到极致，从而提出了MobileNetV3-Large 、MobileNetV3-Small。

Related Works:

Network Search： 作者采用了MnasNet作为初始模型，又采用MnasNet中的帕累托最优
(帕雷托最优（called Pareto optimal）是经济学的一个概念，是指资源分配的一种理想状态。给定固有的一群人和可分配的资源，如果从一种分配状态到另一种状态的变化中，在没有使任何人境况变坏的前提下，使得至少一个人变得更好，这就是帕雷托改善。帕雷托最优的状态就是不可能再有更多的帕雷托改善的状态。)
进行Block级的search，但发现这对小模型来说极其不稳定，经研究发现，$\omega$太大而不适用于小模型，因此作者装$\omega$从-0.07改为-0.15.
作者又采用NetAdapt中的layer级search方法对网络进行的search，将原文中的最小化ACC变化改为最大化

Network Improvements：
search完模型后，作者发现有些早期的layers和最后的layers，代价太大，就是说这些layers太费时，
因此作者为了如下图的修改：

Nonlinearities：
原版的Nonlinearities叫swish:

提高了relu的效果，但作者觉得可以用更有效的方法来实现，即：

并作以对比