• 参会报名
  • 会议介绍
  • 会议日程
  • 会议嘉宾
  • 参会指南
  • 邀请函下载

2019Hadoop与spark大数据开发培训班(1月杭州班)
收藏人
分享到

2019Hadoop与spark大数据开发培训班(1月杭州班)已过期

会议时间: 08:00至 2019-01-18 18:00结束

发票类型:增值税普通发票 增值税专用发票

        会议介绍


        2019Hadoop与spark大数据开发培训班(1月杭州班)

        报到汉象图书音乐酒店 (杭州市西湖区文一西路57号 )

        上课广播电视大学远教楼 (杭州市西湖区毛家桥路26号,紧邻杭州汉象图书音乐酒店 )

        会议日程

        (最终日程以会议现场为准)


        +小组讨论

        +实战演练

        +实战演练

        +小组讨论

        1. 数据中心与云计算技术应用
        2. 智慧城市与云计算技术应用
        3. 移动互联网、大数据与云计算关联技术
        4. 移动云计算的生态系统及产业链
        5. 大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践
        6. 国内外主流的大数据解决方案介绍
        7. 当前大数据解决方案与传统数据库方案的剖析比较
        8. Cloudera Hadoop 大数据平台方案剖析
        9. 开源的大数据生态系统平台剖析

        1. 大数据时代的挑战战略决策能力技术开发和数据处理能力组织和运营能力
        2. 大数据时代的发展方向
        3. 云计算是基础设施架构大数据是灵魂资产分析、挖掘是手段发现和预测是最终目标
        4. 大数据挖掘在各行业应用情况
        5. 电信行业应用及案例分析互联网行业应用及案例分析金融行业应用及案例研究销售行业应用案例分析

        1. Hadoop的发展历程Hadoop大数据平台架构基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制Hadoop 的核心组件剖析
        2. 分布式文件系统HDFS
        3. 概述、功能、作用、优势应用范畴、应用现状发展趋势
        4. 分布式文件系统HDFS架构及原理
        5. 核心关键技术设计精髓基本工作原理系统架构文件存储模式工作机制存储扩容与吞吐性能扩展
        6. 分布式文件系统HDFS操作
        7. SHELL命令操作I/O流式操作文件数据读取、写入、追加、删除文件状态查询数据块分布机制数据同步与一致性元数据管理技术主节点与从节点工作机制大数据负载均衡技术HDFS大数据存储集群管理技术
        8. Hadoop生态系统组件
        9. StormHDFSMapReduceHIVEHBaseSparkGraphXMLibShark

        1. HDFS的设计
        2. HDFS的概念数据块namenode和datanode联邦HDFSHDFS的高可用性
        3. 命令行接口
        4. Hadoop文件系统
        5. Java接口
        6. 从Hadoop URL读取数据通过FileSystem API读取数据写入数据目录查询文件系统删除数据
        7. 数据流
        8. 剖析文件读取剖析文件写入一致模型
        9. 通过Flume和Sqoop导入数据
        10. 通过distcp并行复制
        11. Hadoop存档
        12. 使用Hadoop存档工具不足

        1. 第二代大数据处理框架Yarn的工作原理及DAG并行执行机制Yarn大数据分析处理案例分析Yarn 框架并行应用程序实践
        2. 集群配置管理Hadoop集群配置Hadoop性能调优与参数配置Hadoop机架感知策略与配置Hadoop压缩机制Hadoop任务负载均衡Hadoop 集群维护Hadoop监控管理
        3. HDFS的静态调优技巧HDFS 的高吞吐量I/O性能调优技巧MapReduce/Yarn的并行处理性能调优技巧Hadoop集群的运行故障剖析,以及解决方案基于Hadoop大数据应用程序的性能瓶颈剖析与提Hadoop 大数据运维监控管理系统 HUE 平台的安装部署与应用配置Hadoop运维管理监控系统Ambari平台的安装部配置Hadoop 集群运维系

        1. NOSQL基础CAP理论Base与ACIDNOSQL数据库存储类型值存储
        2. HBase分布式数据基础3
        3. .安装Hbase
        4. 4.Hbase应用HBase的逻辑数据模型,HBase的表、行、列族、列、单元格、版本、row key排序HBase的物理模型,命名空间(表空间)、表模式(Schema)的设计法则HBase 主节点HMaster的工作原理,HMaster的高可用配置,以及性能调优HBase 从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析HBase表设计与数据操作以及数据库管理操作HBase集群的安装部署、参数配置和性能优化
        5. HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处HBase分布式数据库集群的主从式平台架构和关键技术剖析HBase伪分布式和物理集群分布式的控制与运行配置HBase从节点RegionServer(分区服务节点)的工作原理,表分区及存储I/O高并发配置,以及性能调优HBase的存储引擎工作原理,以及HBase表数据的键值存储结构,以及HFile存储结构剖析HBase表设计与数据操作以及数据库管理操作HBase集群的安装部署、参数配置和性能优化ZooKeeper分布式协调服务系统的工作原理、平台架构、集群部署应用实战ZooKeeper集群的原理架构,以及应用配置Redis内存数据库介绍,以及业界应用案例Redis内存数据库集群架构以及核心技术剖析Redis 集群的安装部署与应用开发实战

        1. 安装Hive
        2. 示例
        3. 运行Hive配置HiveHive服务Metastore
        4. Hive与传统数据库相比读时模式vs.写时模式更新、事务和索引
        5. HiveQL数据类型操作与函数
        6. 表托管表和外部表分区和桶存储格式导入数据表的修改表的丢弃
        7. 查询数据排序和聚集MapReduce脚本连接子查询视图
        8. 用户定义函数写UDF写UDAF

        1. Spark简介Spark是什么Spark生态系统BDAS
        2. Spark架构Spark分布式架构与单机多核架构的异同
        3. Spark集群的安装与部署Spark的安装与部署Spark集群初试
        4. Spark硬件配置Spark硬件Spark硬件配置流程

        1. Kafka介绍
        2. kafka体系结构
        3. kafka设计理念简介
        4. kafka通信协议
        5. kafka的伪分布安装、集群安装
        6. kafka的shell操作、java操作
        7. kafka设计理念*
        8. kafka producer和consumer开发
        9. Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战
        10. Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战
        11. Hadoop与DBMS之间数据交互工具Sqoop的应用实践,
        12. Sqoop导入导出数据以及Sqoop集群部署与配置
        13. Kettle 集群的平台架构、核心技术、部署配置和应用实战
        14. 利用Sqoop实现 MySQL 与 Hadoop 集群之间

        1. 案例1:贵州数据交易中心交易所交易形式:电子交易交易所服务:大数据交易、大数据清洗建模分析、大数据定向采购、大数据平台技术开发大数据交易安全性探讨分析数据交易中心商业模式探讨分析
        2. 案例2:大数据应用案例:公共交通线路的智能规划UrbanInsights:为公交公司提供基于订阅访问的大数据工具以及大数据咨询服务Urban Insights数据源、数据收集、数据仓库、数据分析——设计运营线路Urban Insights通过互联网数据的运营
        3. 讨论:浙江移动大数据应用与开发方向

        1. 流商业大数据解决方案比较
        2. 主流开源云计算系统比较
        3. 国内外代表性大数据平台比较
        4. 各厂商最新的大数据产品介绍
        5. 案例分析Facebook的SNS平台应用Google的搜索引擎应用Rackspace的日志处理Verizon成立精准市场营销部TelefonicaDynamicInsights推出的名为“智慧足迹”的商业服务中国联通的“移动通信用户上网记录集中查询与分析支撑系统”

        会议嘉宾

        (最终出席嘉宾以会议现场为准)


        参会指南


        温馨提示酒店与住宿:为防止极端情况下活动延期或取消,建议“异地客户”与manbext客户端下载客服确认参会信息后,再安排出行与住宿。退款规则:活动各项资源需提前采购,购票后不支持退款,可以换人参加。

        标签: Hadoop Spark

        manbext客户端下载为本会议官方合作 报名平台,您可在线购票

        • 会员折扣
          该会议支持会员折扣 具体折扣标准请参见plus会员页面
        • 会员返积分
          每消费1元累积1个会员积分。 仅PC站支持。
        • 会员积分抵现
          根据会员等级的不同,每抵用1元可使用的积分也不一样,具体可参见PLUS会员页面。 仅PC站支持。

          打开微信,点击底部的“发现”,使用“扫一扫”即可将网页分享至朋友圈。

          录入信息

          Baidu
          map