2020全国高校大数据（Hadoop、spark、Python）师资培训班（7月杭州班）已过期

会议时间： 08:00至 2020-07-29 18:00结束

会议介绍

中国信息化人才培训中心

会议日程
（最终日程以会议现场为准）


	移动互联网、大数据、云计算相关技术介绍	数据中心与云计算技术应用智慧城市与云计算技术应用移动互联网、大数据与云计算关联技术移动云计算的生态系统及产业链大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践国内外主流的大数据解决方案介绍当前大数据解决方案与传统数据库方案的剖析比较 ClouderaHadoop大数据平台方案剖析开源的大数据生态系统平台剖析
	大数据的挑战和发展方向	大数据时代的挑战战略决策能力技术开发和数据处理能力组织和运营能力大数据时代的发展方向云计算是基础设施架构大数据是灵魂资产分析、挖掘是手段发现和预测是最终目标大数据挖掘在各行业应用情况电信行业应用及案例分析互联网行业应用及案例分析金融行业应用及案例研究销售行业应用案例分析
	大数据文件存储系统技术和分布式文件系统平台及其应用	Hadoop的发展历程 Hadoop大数据平台架构基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制 Hadoop 的核心组件剖析分布式文件系统HDFS 概述、功能、作用、优势应用范畴、应用现状发展趋势分布式文件系统HDFS架构及原理核心关键技术设计精髓基本工作原理系统架构文件存储模式工作机制存储扩容与吞吐性能扩展分布式文件系统HDFS操作 SHELL命令操作 I/O流式操作文件数据读取、写入、追加、删除文件状态查询数据块分布机制数据同步与一致性元数据管理技术主节点与从节点工作机制大数据负载均衡技术 HDFS大数据存储集群管理技术 Hadoop生态系统组件 Storm HDFS MapReduce HIVE HBase Spark GraphX MLib Shark
	Hadoop文件系统HDFS最佳实战	HDFS的设计 HDFS的概念数据块 namenode和datanode 联邦HDFS HDFS的高可用性命令行接口 Hadoop文件系统 Java接口从Hadoop URL读取数据通过FileSystem API读取数据写入数据目录查询文件系统删除数据数据流剖析文件读取剖析文件写入一致模型通过Flume和Sqoop导入数据通过distcp并行复制 Hadoop存档使用Hadoop存档工具不足
	Hadoop运维管理与性能调优	第二代大数据处理框架 Yarn的工作原理及 DAG并行执行机制 Yarn大数据分析处理案例分析 Yarn 框架并行应用程序实践集群配置管理 Hadoop集群配置 Hadoop性能调优与参数配置 Hadoop机架感知策略与配置 Hadoop压缩机制 Hadoop任务负载均衡 Hadoop 集群维护 Hadoop监控管理 HDFS的静态调优技巧 HDFS 的高吞吐量I/O性能调优技巧 MapReduce/Yarn的并行处理性能调优技巧 Hadoop集群的运行故障剖析，以及解决方案基于Hadoop大数据应用程序的性能瓶颈剖析与提 Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置 Hadoop运维管理监控系统Ambari平台的安装部配置 Hadoop 集群运维系统 Ganglia, Nagios的安装部署与应用配置
	NOSQL数据库Hbase与Redis	NOSQL基础 CAP理论 Base与ACID NOSQL数据库存储类型 HBase分布式数据基础安装Hbase Hbase应用 HBase的逻辑数据模型，HBase的表、行、列族、列、单元格、版本、row key排序 HBase的物理模型，命名空间（表空间）、表模式（Schema）的设计法则 HBase 主节点HMaster的工作原理，HMaster的高可用配置，以及性能调优 HBase 从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优 HBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析 HBase表设计与数据操作以及数据库管理操作 HBase集群的安装部署、参数配置和性能优化 HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处 HBase分布式数据库集群的主从式平台架构和关键技术剖析 HBase伪分布式和物理集群分布式的控制与运行配置 HBase从节点RegionServer（分区服务节点）的工作原理，表分区及存储I/O高并发配置，以及性能调优 HBase的存储引擎工作原理，以及HBase表数据的键值存储结构，以及HFile存储结构剖析 HBase表设计与数据操作以及数据库管理操作 HBase集群的安装部署、参数配置和性能优化 ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战 ZooKeeper集群的原理架构，以及应用配置 Redis内存数据库介绍，以及业界应用案例 Redis内存数据库集群架构以及核心技术剖析 Redis 集群的安装部署与应用开发实战
	类SQL语句工具——Hive	安装Hive 示例运行Hive 配置Hive Hive服务 Metastore Hive与传统数据库相比读时模式vs.写时模式更新、事务和索引 HiveQL 数据类型操作与函数表托管表和外部表分区和桶存储格式导入数据表的修改表的丢弃查询数据排序和聚集 MapReduce脚本连接子查询视图用户定义函数写UDF 写UDAF
	数据挖掘SPARK建模基础介绍	Spark简介 Spark是什么 Spark生态系统BDAS Spark架构 Spark分布式架构与单机多核架构的异同 Spark集群的安装与部署 Spark的安装与部署 Spark集群初试 Spark硬件配置 Spark硬件 Spark硬件配置流程
	Kafka基础介绍	Kafka介绍 kafka体系结构 kafka设计理念简介 kafka通信协议 kafka的伪分布安装、集群安装 kafka的shell操作、java操作 kafka设计理念* kafka producer和consumer开发 Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战 Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战 Hadoop与DBMS之间数据交互工具Sqoop的应用实践， Sqoop导入导出数据以及Sqoop集群部署与配置 Kettle 集群的平台架构、核心技术、部署配置和应用实战利用Sqoop实现 MySQL 与 Hadoop 集群之间
	大数据典型应用与开发案例分析：互联网数据运营	案例1：贵州数据交易中心交易所交易形式：电子交易交易所服务：大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发大数据交易安全性探讨分析数据交易中心商业模式探讨分析案例2：大数据应用案例：公共交通线路的智能规划 UrbanInsights：为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务 Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路 Urban Insights通过互联网数据的运营讨论：浙江移动大数据应用与开发方向
一	当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例	流商业大数据解决方案比较主流开源云计算系统比较国内外代表性大数据平台比较各厂商最新的大数据产品介绍案例分析 Facebook的SNS平台应用 Google的搜索引擎应用 Rackspace的日志处理 Verizon成立精准市场营销部 TelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务中国联通的“移动通信用户上网记录集中查询与分析支撑系统”

内容提要	授课详细内容	实践训练
业界主流的数据仓库工具和大数据分析挖掘工具	业界主流的基于Hadoop和Spark的大数据分析挖掘项目解决方案业界数据仓库与数据分析挖掘平台软件工具 Hadoop数据仓库工具Hive Spark实时数据仓库工具SparkSQL Hadoop数据分析挖掘工具Mahout Spark机器学习与数据分析挖掘工具MLlib 大数据分析挖掘项目的实施步骤	配置数据仓库工具Hadoop Hive和SparkSQL 部署数据分析挖掘工具Hadoop Mahout和Spark MLlib
大数据分析挖掘项目的数据集成操作训练	日志数据解析和导入导出到数据仓库的操作训练从原始搜索数据集中抽取、集成数据，整理后形成规范的数据仓库数据分析挖掘模块从大型的集中式数据仓库中访问数据，一个数据仓库面向一个主题，构建两个数据仓库同一个数据仓库中的事实表数据，可以给多个不同类型的分析挖掘任务调用去除噪声	项目数据集加载ETL到Hadoop Hive数据仓库并建立多维模型
基于Hadoop的大型数据仓库管理平台—HIVE数据仓库集群的多维分析建模应用实践	基于Hadoop的大型分布式数据仓库在行业中的数据仓库应用案例 Hive数据仓库集群的平台体系结构、核心技术剖析 Hive Server的工作原理、机制与应用 Hive数据仓库集群的安装部署与配置优化 Hive应用开发技巧 Hive SQL剖析与应用实践 Hive数据仓库表与表分区、表操作、数据导入导出、客户端操作技巧 Hive数据仓库报表设计将原始的日志数据集，经过整理后，加载至Hadoop + Hive数据仓库集群中，用于共享访问	利用HIVE构建大型数据仓库项目的操作训练实践
Spark大数据分析挖掘平台实践操作训练	Spark大数据分析挖掘平台的部署配置 Spark数据分析库MLlib的开发部署 Spark数据分析挖掘示例操作，从Hive表中读取数据并在分布式内存中运行
聚类分析建模与挖掘算法的实现原理和技术应用	聚类分析建模与算法原理及其在Spark MLlib中的实现与应用，包括： Canopy聚类（canopy clustering） K均值算法（K-means clustering）模糊K均值（Fuzzy K-means clustering） EM聚类，即期望最大化聚类（Expectation Maximization）以上算法在Spark MLib中的实现原理和实际场景中的应用案例。 Spark聚类分析算法程序示例	基于Spark MLlib的聚类分析算法，实现日志数据集中的用户聚类
分类分析建模与挖掘算法的实现原理和技术应用	分类分析建模与算法原理及其在Spark MLlib中的实现与应用，包括： Spark决策树算法实现逻辑算法（logistics regression）贝叶斯算法（Bayesian与Cbeyes）支持向量机（Support vector machine）以上算法在Spark MLlib中的实现原理和实际场景中的应用案例。 Spark客户资料分析与给用户贴标签的程序示例 Spark实现给商品贴标签的程序示例 Spark实现用户行为的自动标签和深度技术	基于Spark MLlib的分类分析算法模型与应用操作
关联分析建模与挖掘算法的实现原理和技术应用	预测、推荐分析建模与算法原理及其在Spark MLlib中的实现与应用，包括： Spark频繁模式挖掘算法（parallel FP Growth Algorithm）应用 Spark关联规则挖掘（Apriori）算法及其应用以上算法在Spark MLib中的实现原理和实际场景中的应用案例。 Spark关联分析程序示例	基于Spark MLlib的关联分析操作
推荐分析挖掘模型与算法技术应用	推荐算法原理及其在Spark MLlib中的实现与应用，包括： Spark协同过滤算法程序示例 Item-based协同过滤与推荐 User-based协同过滤与推荐交叉销售推荐模型及其实现	推荐分析实现步骤与操作（重点）
分析模型与预测算法	利用线性（多元）实现访问量预测利用非线性预测成交量和访问量的关系基于R+Spark实现分析模型及其应用操作 Spark程序实现异常点检测的程序示例	分析预测操作例子
图关系建模与分析挖掘及其链接分析和社交分析操作	利用Spark GraphX实现网页链接分析，计算网页重要性排名实现信息传播的社交关系传递分析，互联网用户的行为关系分析任务的操作训练	图数据的分析挖掘操作，实现微博数据集的社交网络建模与关系分析
神经网络与深度学习算法模型及其应用实践	神经网络算法Neural Network的实现方法和挖掘模型应用基于人工神经网络的深度学习的训练过程传统神经网络的训练方法 Deep Learning的训练方法深度学习的常用模型和方法 CNN（Convolutional Neural Network）卷积神经网络 RNN（Recurrent Neural Network）循环神经网络模型 Restricted Boltzmann Machine(RBM)限制波尔兹曼机基于Spark的深度学习算法模型库的应用程序示例	基于Spark或TensorFlow神经网络深度学习库实现文本与图片数据挖掘
项目实践	日志分析系统与日志挖掘项目实践 Hadoop，Spark，ELK技术构建日志数据仓库互联网微博日志分析系统项目推荐系统项目实践电影数据分析与个性化推荐关联分析项目	项目数据集和详细的实验指导手册由讲师提供
培训总结	项目方案的课堂讨论，讨论实际业务中的分析需求，剖析各个环节的难点、痛点、瓶颈，启发出解决之道；完成讲师布置的项目案例，巩固学过的大数据分析挖掘处理平台技术知识以及应用技能	讨论交流








		1. 线性 2. Logistic/Softmax 3. 广义线性
	Logistic	2. Softmax的概念源头 3. Logistic/Softmax 7. Softmax的实现与调参
	实践	2. 线性代码实现和调参 3. Softmax代码实现和调参 4. Ridge/LASSO/Elastic Net 5. Logistic/Softmax 6. 广告投入与销售额分析

一		2. 决策树应用于 3. 多标记的决策树 4. 的可视化
二		1. 为什么有效 2. 梯度决策树GBDT
三	实践
四		6. 支持向量SVR
五	实践	1. lib代码库介绍 6. 、Logistic、随机森林三者的横向比较
六
七
八
九		3. 朴素理解 4. 精确推导 5. 的深入理解
十	实践	6. 主题模型pLSA与
十一
十二
十三
十四
十五

会议嘉宾
（最终出席嘉宾以会议现场为准）

参会指南

票种名称	价格	原价	票价说明
会务费	¥9800	¥	9800元/人（含教材、培训费、考证费以及学习用具等费用）食宿统一安排，费用自理。