目录
大数据基础Hadoop2.X
├─01.初识Hadoop 2.X
│ 01_01.课程大纲解读(1)
│ 01_02.课程大纲解读(2)
│ 01_03.如何学习本套课程内容及建议答疑
│ 01_04.大数据Hadoop的发展前景、实际应用及SQLOnHadoop
│ 01_05.Hadoop2.x概述(Hadoop发展和三大组件功能)
│ 01_06.分布式文件系统HDFS架构和分布式资源管理局YARN架构讲解
│ 01_07.并行计算框架MapReduce思想及如何运行在YARN上
│ 01_08.通过实际需求介绍Hadoop2.x生态系统中常用框架
│ 01_09.Hadoop2.x环境搭建准备(准备虚拟机、系统基本配置及三大远程连接工具使用)
│ 01_10.Hadoop2.x环境搭建之一安装JDK、Hadoop2.x基本配置及运行MapReduce案例在本地模式下
│ 01_11.Hadoop2.x环境搭建之二配置部署启动HDFS及本地模式运行MapReduce案例(使用HDFS上数据)
│ 01_12.Hadoop2.x环境搭建之三配置部署启动YARN及在YARN上运行MapReduce程序
│ 01_13.Hadoop2.x知识回顾大串讲一
│ 01_14.Hadoop2.x知识回顾大串讲二
│ 01_15.Hadoop2.x环境搭建问题解析
│ 01_16.MapReduce历史服务配置启动查看
│ 01_17.YARN的日志聚集功能配置使用
│ 01_18.Hadoop2.x两类配置文件讲解及配置HDFS垃圾回收
│ 01_19.Hadoop2.x组件启动的三种方式及配置SSH无密码登录
│ 01_20.Hadoop2.x各个服务组件如何配置在那台服务器运行并测试
│ 01_21.Hadoop2.x本地库nativelib讲解及如何源码编译Hadoop2.x
│
├─02.深入Hadoop 2.X
│ 02_01.HDFS架构详解一
│ 02_02.HDFS架构详解二
│ 02_03.HDFS交互式Shell使用(文件操作和集群管理命令)
│ 02_04.Linux下Hadoop2.x开发环境准备(安装Maven、Eclipse及集成和创建工程等)
│ 02_05.HDFSJavaAPI使用之获取FileSystem对象
│ 02_06.HDFSJavaAPI使用之读取文件内容
│ 02_07.HDFSJavaAPI使用之上传文件
│ 02_08.NameNode启动过程详解(fsimage和edits作用)
│ 02_09.SecondaryNameNode辅助功能讲解
│ 02_10.HDFS启动时Safemode讲解
│ 02_11.如何手动进入Safemode操作
│ 02_12.YARN发展和架构组件功能详解
│ 02_13.YARN如何对集群资源进行管理与调度及如何配置节点的资源(内存和CPU核数)
│ 02_14.YARN的生态系统及Slider讲解
│ 02_15.并行计算框架MapReduce编程模型讲解一分而治之的思想
│ 02_16.并行计算框架MapReduce编程模型讲解二数据传输KeyValue对
│ 02_17.编写WordCount程序之一【八股文】格式讲解
│ 02_18.编写WordCount程序之二如何编写Driver创建设置Job
│ 02_19.编写WordCount程序之三依据业务实现map和reduce的代码
│ 02_20.编写WordCount程序之四打包测试监控程序运行
│ 02_21.依据编写MapReduce程序的【八股文】编写模板
│ 02_22.回顾总结WordCoun程序的执行流程
│ 02_23.MapReduce框架中数据类型讲解及编写Demo
│ 02_24.优化MapReduce编程模板
│ 02_25.MapReduce执行流程Shuffle讲解一
│ 02_26.MapReduce执行流程Shuffle讲解二
│ 02_27.MapReduceShuffle过程中的五步如何在Job中进行设置
│ 02_28.MapReduce在实际应用中常见的优化
│
├─03.高级Hadoop 2.X
│ 03_01.分布式部署Hadoop2.x概述讲解
│ 03_02.分布式部署准备虚拟机(两种方式复制虚拟机及修改)
│ 03_03.分布式环境预备工作(主机名、IP地址等设置)
│ 03_04.基于Hadoop2.x伪分布式部署进行修改配置文件
│ 03_05.配置Hadoop2.x中主节点(NN和RM)到从节点的SSH无密码登录
│ 03_06.分布式部署之分发、基本测试及监控
│ 03_07.分布式部署之环境问题解决和集群基准测试讲解
│ 03_08.使用ntp配置内网中集群机器时间同步
│ 03_09.分布式协作服务框架Zookeeper架构功能讲解及本地模式安装部署和命令使用
│ 03_10.分布式协作服务框架Zookeeper分布式安装部署讲解
│ 03_11.回顾HDFS架构存在单节点故障及引出HDFSHA
│ 03_12.HDFSHA架构设计及四大要点讲解
│ 03_13.依据官方Reference讲解配置HDFSHA
│ 03_14.按步骤逐一启动HDFSHA中各个守护进程
│ 03_15.对HDFSHA进行测试及引出自动故障转移
│ 03_16.使用Zookeeper对HDFSHA配置自动故障转移及测试
│ 03_17.HDFS2.x中高级特性讲解一
│ 03_18.HDFS2.x中高级特性讲解二
│ 03_19.YARNHA架构及RM与NMRestart讲解
│
└─04.实战应用
04_01.【基于HDFS云盘存储系统】架构设计及秒速上传功能分析
04_02.Hadoop三大发行版本比较讲解
04_03.项目实战之一【北风用户行为日志】项目数据文件的分析
04_04.项目实战之二业务需求之IP地址分析
04_05.项目实战之三业务需求之访问时间、请求地址等分析及搜索推荐功能分析
04_06.项目实战之四日志文件数据存储、收集、预处理和分析