机器学习培训模型

　　1、SVM

　　• 支持向量机(Support Vector Machine，SVM)是在分类与回归分析中

　　分析数据的监督式算法。

　　• 结构风险最小化：在对给定的数据进行逼近的精度与逼近函数的复杂性相结合

　　来寻求最佳比例，以便取得最好的泛化能力

　　2、Logistic regression

　　• 逻辑回归的过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法

　　迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

　　• 实际是一种分类模型，主要解决二分类问题。

　　3、kNN

　　• 用于分类时思路是：找出一个样本的k个最近邻点，当这些邻居中的大多数属 于某一类别，就可以判定该样本也属于这一类别。

　　4、Decision Tree

　　• 决策树算法首先对数据进行处理，利用归纳算法生成可读的规则和决策树，

　　然后使用决策对新数据进行分析。

　　• 一种分类算法，本质上是通过一系列规则对数据进行分类的过程。

　　5、Random Forest

　　• 1.数据的随机性选取：从原始的数据集中采取有放回的抽样，构造子数据集。

　　• 2.待选特征的随机选取：随机森林中的子树的每一个分裂过程并未用到所有的待选特征，

　　而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的

　　特征

　　6、XGBoost

　　• XGBoost是GBDT(Gradient boosting Decision Tree梯度提升决策树)算法的高效实现。

　　• GBDT是采用梯度下降的思想、以之前生成所有的树为基础使得目标函数最小化