训练/开发/测试集
训练时一般需要调试的参数
- layers 层数
- hidden units 每层多少个隐藏单元
- learning rate 学习率时多少
- activation functions 每层选取什么激活函数
- 。。。。。。
- 对于参数的调试，实际上是一个不断尝试与修正的过程，调试->代码更改->实验->调试。
验证集与测试集
- 小规模数据一般7：3 或者 6：2：2
- 大规模数据，比如百万级数据，一般训练集高达95%，验证集3%，测试集2%，验证集与测试集可能还会更小
- 还有就是训练验证集一定会有，而训练测试集不一定有，但是人们一般习惯如果只把数据分成两份的话，其中一份会被称为训练测试集，这样不太专业，实际上应该叫做训练验证集。
- 尽量保证验证集与测试集来自同一分布。
