最直观的随机搜索和网格搜索解释可以看scikit-learn的User Guide（含实现代码）：3.2. Tuning the hyper-parameters of an estimator ，这里结合Bengio的Deep Learning再啰嗦一下：
网格搜索适用于三四个（或者更少）的超参数（当超参数的数量增长时，网格搜索的计算复杂度会呈现指数增长，这时要换用随机搜索），用户列出一个较小的超参数值域，这些超参数值域的笛卡尔集（排列组合）为一组组超参数。网格搜索算法使用每组超参数训练模型并挑选验证集误差最小的超参数组合。
以SVM为例，挑选SVM的超参数C值、kernel类型和gamma值。下面的配置表示我们要搜索两种网格：一种是linear kernel和不同C值；一种是RBF kernel以及不同的C和gamma值。Grid Search会挑选最适合的超参数值。- param_grid = [ {'C': [1, 10, 100, 1000], 'kernel': ['linear']}, {'C': [1, 10, 100, 1000], 'gamma': [0.001, 0.0001], 'kernel': ['rbf']}, ]
- param_grid = [ {'C': [0.1, 0.5，0.8，1], 'kernel': ['linear']} ]
- param_grid = [ {'C': scipy.stats.expon(scale=100), 'gamma': scipy.stats.expon(scale=.1), 'kernel': ['rbf'], 'class_weight':['balanced', None]}]
参考资料：
Bergstra, J. and Bengio, Y., Random search for hyper-parameter optimization, The Journal of Machine Learning Research (2012)
3.2. Tuning the hyper-parameters of an estimatorLecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436-444.
|
转播
