自动化机器学习(AutoML)最近变得越来越火,是机器学习下个发展方向之一。其中的神经网络结构搜索(NAS)是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识,神经网络有众多的超参数,导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构,实现深度学习的自动化。自2017年谷歌与MIT各自在ICLR上各自发表基于强化学习的NAS以来,已产出200多篇论文,仅2019年上半年就有100多篇论文。此专栏以求尽可能多地汇集NAS相关的资料,帮助大家学习NAS。欢迎一起交流,也欢迎在留言板)或邮件给我提供相关资料,更欢迎提出批评指正~
一、论文解读
- 基于强化学习的开创性工作
- Neural Architecture Search with Reinforcement Learning
- Designing Neural Network Architectures Using Reinforcement Learning
-
- Large-Scale Evolution of Image Classifiers
- Finding Better Topologies for Deep Convolutional Neural Network by Evolution
-
- Learning Transferable Architectures for Scalable Image Recognition
- Practical Block-wise Neural Network Architecture Generation
- 权值共享的搜索
- Efficient Neural Architecture Search via Parameter Sharing
- You Only Search Once: Single Shot Neural Architecture Search via Direct Sparse Optimization
- 可微分方法
- DARTS:Differentiable Architecture Search
- 基于代理模型
- Progressive Neural Architecture Search
-
- SMASH: One-Shot Model Architecture Search through HyperNetworks
- Understanding and Simplifying One-Shot Architecture Search
- Single Path One-Shot Neural Architecture Search with Uniform Sampling
ScarletNAS: Bridging the Gap Between Scalability and Fairness in Neural Architecture Search
二、文献汇总
不定期更新NAS相关的文献:
三、相关网站、博客、资源
一本关于AutoML的书:AUTOML: METHODS, SYSTEMS, CHALLENGES
谷歌的Barret Zoph在ICCV2019做的报告:Neural Architecture Search and Beyond
https://github.com/hibayesian/awesome-automl-papers
github上关于自动化机器学习的资源汇总,NAS只是其中一部分
https://github.com/D-X-Y/Awesome-NAS
一个论文与代码汇总的github项目,都是发表在各届顶会上的论文
https://www.automl.org/automl/literature-on-neural-architecture-search/
一个汇总最新论文的网址(灰常灰常多的论文),也包含arxiv上的论文