# 线性回归(回归算法)

用来预测连续值

构造一个y=w1x1+w2x2.....+wnxny=w_1x_1+w_2x_2.....+w_nx_n,其中y就是我们预测的目标,x是我们的特征因子,w是我们的回归系数

线性回归_百度百科 (baidu.com) (opens new window)

金字塔这边使用的LinearRegression参数详解及原理参考下面链接

sklearn.linear_model.LinearRegression — scikit-learn 1.1.1 documentation (opens new window)

# XGBRegressor(回归算法)

xgboost是集成算法的一种,所谓集成就是拿多个模型的预测结果综合后得到最终预测值,相比前面的单一算法它的效果往往更好。XGBRegressor是处理回归问题,XGBClassifier是处理分类问题

xgb的核心原理非常复杂并且参数使用上也有一定难度,金字塔这边提供最基础常用的一些参数并且补上说明

对该算法有兴趣的可以详细参考xgb官方链接

Python API Reference — xgboost 1.6.1 documentation (opens new window)

# XGBClassifier(分类算法)

同XGBRegressor说明

# 逻辑回归(分类算法)

逻辑回归是一种用于解决分类问题的机器学习方法。它是一种基于概率思想的预测分析技术。逻辑回归用于预测分类因变量的似然性。逻辑回归中的因变量是二进制变量,数据编码为 1(是、真、正常、成功等)或 0(否、假、异常、失败等)。逻辑回归模型类似于线性回归模型,不同之处在于逻辑回归使用更复杂的成本函数,称为“Sigmoid 函数”或“逻辑函数”而不是线性函数。 y=sigmoid(w1x1+w2x2.....+wnxn)y=sigmoid(w_1x_1+w_2x_2.....+w_nx_n),从而让函数的输出值映射到到0~1之间,大于0.5的我们判定为正,小于0.5的判定为负

logistic回归_百度百科 (baidu.com) (opens new window)

金字塔这边使用的LogisticRegression参数详解及原理参考下面链接

sklearn.linear_model.LogisticRegression — scikit-learn 1.1.1 documentation (opens new window)

# 决策树(分类算法)

用来预测离散的分类值

决策树是采用贪心算法进行分类的机器学习方法,每一次选择一个最优特征进行分列最后得到一颗完整的树。

决策树相比上面的回归算法,它是一种概率模型,所以对特征间的维度不敏感(不需要事先进行维度的缩放),并且有多种剪枝方法可以用来对抗过拟合。

决策树_百度百科 (baidu.com) (opens new window)

金字塔这边使用的DecisionTreeClassifier参数详解及原理参考下面链接

sklearn.tree.DecisionTreeClassifier — scikit-learn 1.1.1 documentation (opens new window)

# SVM(分类算法)

用来预测离散的分类值

svm的思想是找到一个超平面用来分割两种类别,并且使得两种类别中距离超平面最近的点的这个距离最大化

svm的数学推导非常漂亮也有难度,但是他的使用却很简单相比决策树他所需要调参的数量不多

支持向量机_百度百科 (baidu.com) (opens new window)

金字塔这边使用的DecisionTreeClassifier参数详解及原理参考下面链接

sklearn.svm.LinearSVC — scikit-learn 1.1.1 documentation (opens new window)