随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。

Hadoop入门薪资已经达到了 8K 以上，工作1年可达到 1.2W 以上，具有2-3年工作经验的hadoop人才年薪可以达到 30万—50万 。一般需要大数据处理的公司基本上都是大公司，所以学习hadoop技术也是进大公司的捷径！

中关村被称为中国硅谷，这里有着一群被外界称之为程序员的IT从业者。但是一眼望去，大多数一线程序员的年龄均在20至30岁左右，40、50岁的人在这个行业内颇为罕见。为什么在国内没有“老”程序员，而在国外五六十岁仍奋斗在一线岗位的程序员比比皆是？造成这种现象的原因是多方面的。

课程内容简介

Greenplum Hadoop大数据分析平台:

大量的半结构化和非结构化信息无法管理和存储，大数据增长速度惊人，每年以几何级数速度增长，需要有专业化的解决方案应对大数据挑战。EMC收购了Greenplum之后，推出的针对Hadoop的Greenplum的数据库软件。采用Greenplum   HD技术管理半结构化和非结构化信息，整体TCO更低，除了进行有效存储和管理，可以通过MapReduce技术进行并行的分析和挖掘，把大量的数据存储变成有价值的数据资产。本课程深入阐述了Hadoop的架构原理，Hadoop整体技术架构，包括HBase、Hive、Pig、ZooKeeper、Chukwa等实战运用。另外还介绍了云计算的基础知识和Hadoop在云计算领域的运用，以及剖析了Hadoop在各个互联网巨头商业环境的运用。 

本课程深入阐述了Hadoop的架构原理，Hadoop整体技术架构，包括HBase、Hive、Pig、ZooKeeper、Chukwa等实战运用。另外还介绍了云计算的基础知识和Hadoop在云计算领域的运用，以及剖析了Hadoop在各个互联网巨头商业环境的运用。

课程针对人群

一、本课程适合于有一定java基础知识，对数据库和sql语句有一定了解，熟练使用linux系统的技术人员，特别适合于想换工作或寻求高薪职业的人士

二、最好具有Greenplum 分布式数据库相关基础，最好学习过《Greenplum 分布式数据库开发入门到精通》再学习本套课程效果最佳

课程学习目标

课程结束时，帮助学员实现如下目标：

1、全面掌握Hadoop的架构原理和使用场景，并通过贯穿课程的项目进行实战锻炼，从而熟练使用Hadoop进行MapReduce程序开发。

2、深入理解Hadoop整体技术架构，包括HBase、Hive、Pig、ZooKeeper、Chukwa等，对Hadoop运作机制有清晰全面的认识，可以独立规划及部署生产环境的Hadoop集群，掌握Hadoop基本运维思路和方法，对Hadoop集群进行管理和优化。

课程大纲

1 Hadoop的起源和体系

Hadoop思想起源：Google

Hadoop子项目家族

Hadoop的架构

2 Hadoop的安装与配置

准备和配置环境

三种运行模式

完全分布式模式安装

3 HDFS-大数据存储

HDFS概念与体系结构

HDFS的可靠性

HDFS文件操作

HDFS API

4 关于MapReduce

MapReduce编程模型

MapReduce的集群行为

MapReduce任务的优化

MapReduce工作机制

错误处理及作业调度机制

5 MapReduce应用开发

Hadoop Eclipse插件开发

数据筛选程序开发

倒排索引程序开发

6 Hadoop监控与管理

页面监控

hadoop备份

7 HBase数据库

Hbase体系结构

HBase shell

HBase API应用实例

HBase场景应用

HBase模式设计

8 Hive数据仓库

Hive组件与体系架构

Hive安装配置

Hive的服务接口

HiveQL常用操作

Hive的优化

Hive UDF编程

Hive综合实战

9 Pig数据分析平台

Pig框架

Pig安装配置

Pig的使用

Pig的数据模型

常用Pig Latin操作

Pig UDF编程

Pig数据分析实战

10 ZooKeeper分布式服务框架

ZooKeeper工作原理

ZooKeeper设计目标

ZooKeeper的数据结构和组成

ZooKeeper的安装配置

ZooKeeper命令行工具

ZooKeeper API

ZooKeeper实战：Hadoop任务调度

11 Chukwa集群监控系统

Chukwa的组成

Chukwa架构和设计

Chukwa安装与配置

常用Chukwa命令

实现自定义数据处理

12 Hadoop商业应用案例

云计算概念和特征

云计算服务模式和形态

Hadoop在云计算的运用

京东商城

百度

阿里巴巴

腾讯

13 Greenplum Hadoop集群

集成架构的特征

集成架构的优势

配置gphdfs协议使用环境

使用HDFS外部表

 课程总目录