|
|
|
|
|
- 数据中心与云计算技术应用
- 智慧城市与云计算技术应用
- 移动互联网、大数据与云计算关联技术
- 移动云计算的生态系统及产业链
- 大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、
政务信息化、互联网、教育信息化等行业中的应用实践
- 国内外主流的大数据解决方案介绍
- 当前大数据解决方案与传统数据库方案的剖析比较
- Cloudera Hadoop 大数据平台方案剖析
- 开源的大数据生态系统平台剖析
|
|
|
- 大数据时代的挑战
战略决策能力 技术开发和数据处理能力 组织和运营能力
- 大数据时代的发展方向
- 云计算是基础设施架构
大数据是灵魂资产 分析、挖掘是手段 发现和预测是最终目标
- 大数据挖掘在各行业应用情况
- 电信行业应用及案例分析
互联网行业应用及案例分析 金融行业应用及案例研究 销售行业应用案例分析
|
|
|
- Hadoop的发展历程
Hadoop大数据平台架构 基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制 Hadoop 的核心组件剖析
- 分布式文件系统HDFS
- 概述、功能、作用、优势
应用范畴、应用现状 发展趋势
- 分布式文件系统HDFS架构及原理
- 核心关键技术
设计精髓 基本工作原理 系统架构 文件存储模式 工作机制 存储扩容与吞吐性能扩展
- 分布式文件系统HDFS操作
- SHELL命令操作
I/O流式操作 文件数据读取、写入、追加、删除 文件状态查询 数据块分布机制 数据同步与一致性 元数据管理技术 主节点与从节点工作机制 大数据负载均衡技术 HDFS大数据存储集群管理技术
- Hadoop生态系统组件
- Storm
HDFS MapReduce HIVE HBase Spark GraphX MLib Shark
|
|
|
- HDFS的设计
- HDFS的概念
数据块 namenode和datanode 联邦HDFS HDFS的高可用性
- 命令行接口
- Hadoop文件系统
- Java接口
- 从Hadoop URL读取数据
通过FileSystem API读取数据 写入数据 目录 查询文件系统 删除数据
- 数据流
- 剖析文件读取
剖析文件写入 一致模型
- 通过Flume和Sqoop导入数据
- 通过distcp并行复制
- Hadoop存档
- 使用Hadoop存档工具
不足
|
|
|
- 第二代大数据处理框架
Yarn的工作原理及 DAG并行执行机制 Yarn大数据分析处理案例分析 Yarn 框架并行应用程序实践
- 集群配置管理
Hadoop集群配置 Hadoop性能调优与参数配置 Hadoop机架感知策略与配置 Hadoop压缩机制 Hadoop任务负载均衡 Hadoop 集群维护 Hadoop监控管理
- HDFS的静态调优技巧
HDFS 的高吞吐量I/O性能调优技巧 MapReduce/Yarn的并行处理性能调优技巧 Hadoop集群的运行故障剖析,以及解决方案 基于Hadoop大数据应用程序的性能瓶颈剖析与提 Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置 Hadoop运维管理监控系统Ambari平台的安装部配置 Hadoop 集群运维系
|
|
|
- NOSQL基础
CAP理论 Base与ACID NOSQL数据库存储类型值存储
- HBase分布式数据基础3
- .安装Hbase
- 4.Hbase应用
HBase的逻辑数据模型,HBase的表、行、列族、列、单元格、版本、row key排序 HBase的物理模型,命名空间(表空间)、表模式(Schema)的设计法则 HBase 主节点HMaster的工作原理,HMaster的高可用配置,以及性能调优 HBase 从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优 HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析 HBase表设计与数据操作以及数据库管理操作 HBase集群的安装部署、参数配置和性能优化
- HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处
HBase分布式数据库集群的主从式平台架构和关键技术剖析 HBase伪分布式和物理集群分布式的控制与运行配置 HBase从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优 HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析 HBase表设计与数据操作以及数据库管理操作 HBase集群的安装部署、参数配置和性能优化 ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战 ZooKeeper集群的原理架构,以及应用配置 Redis内存数据库介绍,以及业界应用案例 Redis内存数据库集群架构以及核心技术剖析 Redis 集群的安装部署与应用开发实战
|
|
|
- 安装Hive
- 示例
- 运行
Hive配置 HiveHive服务 Metastore
- Hive与传统数据库相比
读时模式vs.写时模式 更新、事务和索引
- HiveQL
数据类型 操作与函数
- 表
托管表和外部表 分区和桶 存储格式 导入数据 表的修改 表的丢弃
- 查询数据
排序和聚集 MapReduce脚本 连接 子查询 视图
- 用户定义函数
写UDF 写UDAF
|
|
|
- Spark简介
Spark是什么 Spark生态系统BDAS
- Spark架构
Spark分布式架构与单机多核架构的异同
- Spark集群的安装与部署
Spark的安装与部署 Spark集群初试
- Spark硬件配置
Spark硬件 Spark硬件配置流程
|
|
|
- Kafka介绍
- kafka体系结构
- kafka设计理念简介
- kafka通信协议
- kafka的伪分布安装、集群安装
- kafka的shell操作、java操作
- kafka设计理念*
- kafka producer和consumer开发
- Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
- Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
- Hadoop与DBMS之间数据交互工具Sqoop的应用实践,
- Sqoop导入导出数据以及Sqoop集群部署与配置
- Kettle 集群的平台架构、核心技术、部署配置和应用实战
- 利用Sqoop实现 MySQL 与 Hadoop 集群之间
|
|
|
- 案例1:贵州数据交易中心
交易所交易形式:电子交易 交易所服务:大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发 大数据交易安全性探讨分析 数据交易中心商业模式探讨分析
- 案例2:大数据应用案例:公共交通线路的智能规划
UrbanInsights:为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务 Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路 Urban Insights通过互联网数据的运营
- 讨论:浙江移动大数据应用与开发方向
|
一 |
|
- 流商业大数据解决方案比较
- 主流开源云计算系统比较
- 国内外代表性大数据平台比较
- 各厂商最新的大数据产品介绍
- 案例分析
Facebook的SNS平台应用 Google的搜索引擎应用 Rackspace的日志处理 Verizon成立精准市场营销部 TelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务 中国联通的“移动通信用户上网记录集中查询与分析支撑系统”
|