自动化机器学习（AutoML）最近变得越来越火，是机器学习下个发展方向之一。其中的神经网络结构搜索（NAS）是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识，神经网络有众多的超参数，导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构，实现深度学习的自动化。自2017年谷歌与MIT各自在ICLR上各自发表基于强化学习…

概率论公理 样本空间和事件 对于一个试验，所有可能的结果构成的集合，称为该试验的样本空间，并即为$S$。 并：对于一个样本空间$S$的任意两个事件$E$和$F$，事件$E\bigcup F$称为$E$和$F$的并。 交：$EF$ 或 $E\bigcap F$，即事件$E$和$F$同时发生 若$EF=\emptyset$，称事件 $E$ 和 $F$ …

偏差与方差 设测试样本为 $\boldsymbol x$，$y_D$为$\bf x$在数据集中的标签，$y$为$\boldsymbol x$的真实标签，$f$为训练集$D$上学习得到的模型，$f({\boldsymbol x};D)$为$f$在$\boldsymbol x$上的预测输出。 期望预测 $$\overline{f}({\boldsymb…