# 线性回归(回归算法)
用来预测连续值
构造一个,其中y就是我们预测的目标,x是我们的特征因子,w是我们的回归系数
线性回归_百度百科 (baidu.com) (opens new window)
金字塔这边使用的LinearRegression参数详解及原理参考下面链接
sklearn.linear_model.LinearRegression — scikit-learn 1.1.1 documentation (opens new window)
# XGBRegressor(回归算法)
xgboost是集成算法的一种,所谓集成就是拿多个模型的预测结果综合后得到最终预测值,相比前面的单一算法它的效果往往更好。XGBRegressor是处理回归问题,XGBClassifier是处理分类问题
xgb的核心原理非常复杂并且参数使用上也有一定难度,金字塔这边提供最基础常用的一些参数并且补上说明
对该算法有兴趣的可以详细参考xgb官方链接
Python API Reference — xgboost 1.6.1 documentation (opens new window)
# XGBClassifier(分类算法)
同XGBRegressor说明
# 逻辑回归(分类算法)
逻辑回归是一种用于解决分类问题的机器学习方法。它是一种基于概率思想的预测分析技术。逻辑回归用于预测分类因变量的似然性。逻辑回归中的因变量是二进制变量,数据编码为 1(是、真、正常、成功等)或 0(否、假、异常、失败等)。逻辑回归模型类似于线性回归模型,不同之处在于逻辑回归使用更复杂的成本函数,称为“Sigmoid 函数”或“逻辑函数”而不是线性函数。 ,从而让函数的输出值映射到到0~1之间,大于0.5的我们判定为正,小于0.5的判定为负
logistic回归_百度百科 (baidu.com) (opens new window)
金字塔这边使用的LogisticRegression参数详解及原理参考下面链接
sklearn.linear_model.LogisticRegression — scikit-learn 1.1.1 documentation (opens new window)
# 决策树(分类算法)
用来预测离散的分类值
决策树是采用贪心算法进行分类的机器学习方法,每一次选择一个最优特征进行分列最后得到一颗完整的树。
决策树相比上面的回归算法,它是一种概率模型,所以对特征间的维度不敏感(不需要事先进行维度的缩放),并且有多种剪枝方法可以用来对抗过拟合。
决策树_百度百科 (baidu.com) (opens new window)
金字塔这边使用的DecisionTreeClassifier参数详解及原理参考下面链接
sklearn.tree.DecisionTreeClassifier — scikit-learn 1.1.1 documentation (opens new window)
# SVM(分类算法)
用来预测离散的分类值
svm的思想是找到一个超平面用来分割两种类别,并且使得两种类别中距离超平面最近的点的这个距离最大化
svm的数学推导非常漂亮也有难度,但是他的使用却很简单相比决策树他所需要调参的数量不多
支持向量机_百度百科 (baidu.com) (opens new window)
金字塔这边使用的DecisionTreeClassifier参数详解及原理参考下面链接
sklearn.svm.LinearSVC — scikit-learn 1.1.1 documentation (opens new window)