|
|
|
|
|
|
- 业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案
- 业界数据仓库与数据分析挖掘平台软件工具
- Hadoop数据仓库工具Hive
- Spark实时数据仓库工具SparkSQL
- Hadoop数据分析挖掘工具Mahout
- Spark机器学习与数据分析挖掘工具MLlib
- 大数据分析挖掘项目的实施步骤
|
|
|
- 日志数据解析和导入导出到数据仓库的操作训练
- 从原始搜索数据集中抽取、集成数据,整理后形成规范的数据仓库
- 数据分析挖掘模块从大型的集中式数据仓库中访问数据,一个数据仓库面向一个主题,构建两个数据仓库
- 同一个数据仓库中的事实表数据,可以给多个不同类型的分析挖掘任务调用
- 去除噪声
|
|
|
- 基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例
- Hive数据仓库集群的平台体系结构、核心技术剖析
- Hive Server的工作原理、机制与应用
- Hive数据仓库集群的安装部署与配置优化
- Hive应用开发技巧
- Hive SQL剖析与应用实践
- Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧
- Hive数据仓库报表设计
- 将原始的日志数据集,经过整理后,加载至Hadoop + Hive数据仓库集群中,用于共享访问
|
|
|
- Spark大数据分析挖掘平台的部署配置
- Spark数据分析库MLlib的开发部署
- Spark数据分析挖掘示例操作,从Hive表中读取数据并在分布式内存中运行
|
|
|
|
- 聚类分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
- Canopy聚类(canopy clustering)
- K均值算法(K-means clustering)
- 模糊K均值(Fuzzy K-means clustering)
- EM聚类,即期望最大化聚类(Expectation Maximization)
- 以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
- Spark聚类分析算法程序示例
|
|
|
- 分类分析建模与算法原理及其在Spark MLlib中的实现与应用, 包括:
- Spark决策树算法实现
- 逻辑回归算法(logistics regression)
- 贝叶斯算法(Bayesian与Cbeyes)
- 支持向量机(Support vector machine)
- 以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。
- Spark客户资料分析与给用户贴标签的程序示例
- Spark实现给商品贴标签的程序示例
- Spark实现用户行为的自动标签和深度技术
|
|
|
- 预测、推荐分析建模与算法原理及其在Spark MLlib中的实现与应用,包括:
- Spark频繁模式挖掘算法(parallel FP Growth Algorithm)应用
-
- Spark关联规则挖掘(Apriori)算法及其应用
-
- 以上算法在Spark MLib中的实现原理和实际场景中的应用案例。
- Spark关联分析程序示例
|
|
|
|
- 推荐算法原理及其在Spark MLlib中的实现与应用,包括:
- Spark协同过滤算法程序示例
- Item-based协同过滤与推荐
- User-based协同过滤与推荐
- 交叉销售推荐模型及其实现
|
|
|
- 利用线性回归(多元回归)实现访问量预测
- 利用非线性回归预测成交量和访问量的关系
- 基于R+Spark实现回归分析模型及其应用操作
- Spark回归程序实现异常点检测的程序示例
|
|
|
- 利用Spark GraphX实现网页链接分析,计算网页重要性排名
- 实现信息传播的社交关系传递分析,互联网用户的行为关系分析任务的操作训练
|
|
|
- 神经网络算法Neural Network的实现方法和挖掘模型应用
- 基于人工神经网络的深度学习的训练过程
- 传统神经网络的训练方法
- Deep Learning的训练方法
- 深度学习的常用模型和方法
- CNN(Convolutional Neural Network)卷积神经网络
- RNN(Recurrent Neural Network)循环神经网络模型
- Restricted Boltzmann Machine(RBM)限制波尔兹曼机
- 基于Spark的深度学习算法模型库的应用程序示例
|
|
|
- 日志分析系统与日志挖掘项目实践
- Hadoop,Spark,ELK技术构建日志数据仓库
- 互联网微博日志分析系统项目
- 推荐系统项目实践
- 电影数据分析与个性化推荐关联分析项目
|
|
|
|
- 项目方案的课堂讨论,讨论实际业务中的分析需求,剖析各个环节的难点、痛点、瓶颈,启发出解决之道;完成讲师布置的项目案例,巩固学过的大数据分析挖掘处理平台技术知识以及应用技能
|
|