ML问题 = 模型 + 优化 类似于, 程序 = 数据结构 + 算法 模型(objective): DL, LR, SCV, Tree, XGBoost..... 优化(train): GD/SGD, Adagrand/ Adam, Coordinate Descent, EM .... 确定问题的性质, 是否为凸优化问题, 然后再确定相应的优化方式和算法去解决. 优化-标准写法 \(Minimize \ f_0 = (x) \\ s.t. \\ f_i(x) <= 0, \ i = (1,2,