Big data analysis method


01 数据挖掘之频繁模式及关联规则挖掘

Apriori算法

频繁项集——>关联规则

02 线性模型

LDA 线性判别

03 决策树

信息增益 *

基尼指数

预剪枝

后剪枝

image-20230124135745434

image-20230124135817220

04 机器学习

链式法则求导

梯度下降

模型评估与选择

pr图

公式 roc曲线

K-折交叉验证法

BP算法推导

05 贝叶斯分类器

朴素贝叶斯分类 *

拉普拉斯修正

半朴素贝叶斯

06 集成学习

并行法

训练法

07 聚类

划分方法* 两个算法

K-means

image-20230124195245322

PAM

image-20230124195402393

大数据

第一个大题 逻辑回归

梯度下降

LDA线性判别

k-折交叉验证法

朴素贝叶斯分类

KNN

第二个大题 神经网络和深度学习

BP算法

给你一个感知机结构 将参数标注好 使用链式法则展示参数更新过程

*卷积层的作用:减少参数数量,刻画训练集中某一类样本的共同模式

*池化层的作用:降低模型复杂度,避免过拟合

*relu激活函数

*卷积运算

image-20230124193631540

*参数计算

第三个大题 聚类

基于划分的聚类方法:切比雪夫距离、绝对值距离

层次聚类 合并法

第四个大题 关联规则

第五个大题 给你一个场景 让你提供设计方案(开放题目)

$
在此鸣谢本文贡献者:Qing,Shunyao~Wu(advisor),Ying~Li(advisor)
$