调参、最优化、ml算法（未完成）

最优化方法	调参方法	ml算法
梯度下降gd	grid search	lr
梯度上升	随机梯度下降	pca
随机梯度下降sgd	贝叶斯调参	lda
牛顿算法		knn
拟牛顿算法		kmeans
遗传算法		tree
蚁群算法		gbdt
模拟退火		xgboost
反向传播算法		lightgbm
坐标上升？		svm
		rf

一、调参的思路：

如针对上面的问题，对x1和x2两个参数调优，假设起始点为绿色点，

1.grid search(全部交叉）：计算所有上面的交叉点的模型。

2.一种沿着坐标轴的方法：首先，固定先沿着x2的方向计算，找到此轮中最优的参数x2。

第二步，固定x2，调整x1，找到最优的x1。

第三步，重复1/2步骤，直到两次迭代模型表现差距不大，停止。

3.梯度下降的思路：先计算起始点（绿点）周围的模型表现，找出表现最好的点，朝那个方向前进，直到找到最好的模型表现点。

机器学习各种算法怎么调参？