目录

  • 1 01.SparkCore(1)
    1. 01_01.SPARK引入、特性及与MR比较讲解

      00:24:46

内存计算框架之Spark

1013人在学
公众号二维码

公众号

小程序二维码

小程序

课程详情

我要提问


├─01.SparkCore(1)
│      01_01.SPARK引入、特性及与MR比较讲解
│      01_02.SPARK源码编译
│      01_03.SPARK源码导入IDEA方式讲解
│      01_04.SPARKLOCAL模式环境配置及测试运行
│      01_05.SparkCore案例:WordCount实现
│      01_07.SPARKSTANDALONE环境搭建
│      01_08.SPARKSTANDALONE环境测试
│      01_09.SPARKSTANDALONE高可用讲解(MasterHA)
│      01_10.扩展:应用监控方式讲解
│      01_11.SPARK应用监控(WEBUI&JobHistoryServer)
│      01_12.SPARK应用结构
│      
├─02.SparkCore(2)
│      02_01.SparkCore知识回顾
│      02_02.SparkOnIDEA开发运行讲解
│      02_03.SparkonYarn运行方式讲解
│      02_04.Spark资源相关参数及deploy模式讲解
│      02_05.SparkOnYarnJobHistory服务讲解
│      02_06.SparkRDDJob提交执行流程讲解
│      02_07.Spark内存资源管理机制讲解
│      02_08.Spark动态资源机制讲解
│      02_09.WhatisRDD?
│      02_10.RDD创建方式及内部机制讲解
│      02_11.RDD三大类型API讲解
│      02_12.SparkCore案例:分组排序TopN实现
│      02_13.SparkCore案例:代码优化及两阶段聚合讲解
│      02_14.SparkCore案例:aggregateByKeyAPI优化
│      02_15.RDD依赖和RDD容错机制
│      02_16.Spark应用调度详解、Stage划分规则及SparkContext源码讲解
│      02_17.SparkShuffle机制讲解
│      02_18.SparkJobScheduler讲解
│      02_19.Spark广播变量讲解
│      02_20.SparkCore总结
│      
├─03.SparkCore(2)(额外SparkCore练习视频)
│      03_01.额外视频01:01_Spark累加器(一)_讲解及简单数据类型累加
│      03_02.额外视频01:02_Spark累加器(二)_复杂数据类型累加
│      03_03.额外视频01:03_Spark应用程序容错性讲解(一)_Driver和Executor容错讲解
│      03_04.额外视频01:04_Spark应用程序容错性讲解(二)_Task容错讲解
│      03_05.额外视频01:05_Java实现SparkCore程序讲解(一)_基本实现
│      03_06.额外视频01:06_Java实现SparkCore程序讲解(二)_结果保存MySQL
│      03_07.扩展面试题:hadoop面试题讲解01
│      03_08.扩展面试题:Hadoop面试题讲解02
│      03_09.额外视频02:0101_购物篮分析原理讲解
│      03_10.额外视频02:0102_购物篮分析编码实现(一)_获取项集
│      03_11.额外视频02:0103_购物篮分析编码实现(二)_产生频繁项集
│      03_12.额外视频02:0104_购物篮分析编码实现(三)_计算置信度
│      03_13.额外视频02:0105_购物篮分析之程序测试运行
│      03_14.额外视频02:0201_购物篮分析之项集的获取规则讲解
│      03_15.额外视频02:0202_购物篮分析之置信度计算规则讲解
│      03_16.额外视频02:0203_购物篮分析之总结及代码完善(降维&减少输入数据)
│      
├─04.SparkSQL
│      04_01.SparkSQL发展历史、Hive和SparkSQL比较及SparkSQL特性讲解
│      04_02.SparkSQL和Hive集成与测试讲解
│      04_03.Spark应用第三方包依赖解决方案
│      04_04.SQLContext源码讲解
│      04_05.SparkSQL的ThriftServer服务配置讲解
│      04_06.SparkSQL的ThriftServer服务测试
│      04_07.SparkSQL案例:SparkSQL读取HDFS上JSON格式数据
│      04_08.WhatisDataFrame?
│      04_09.SparkSQL的read和write编程模式讲解
│      04_10.SparkSQL案例:不同源数据Join_IDEA开发环境搭建及Hive数据同步RDBMs
│      04_11.SparkSQL案例:不同源数据Join_数据join及parquet格式数据保存
│      04_12.RDD2DataFrame转换方式讲解
│      04_13.SparkSQL自定义函数:UDF和UDAF函数定义
│      04_14.SparkSQL案例:csv格式文件操作
│      04_15.Dataset讲解
│      04_16.SparkSQL优化建议以及SparkSQL内存总结
│      04_17.知识回顾
│      04_18.SparkSQLDSL语法讲解一
│      04_19.SparkSQLDSL语法讲解二
│      
├─05.SparkStreaming
│      05_01.SparkStreaming整体概述介绍讲解
│      05_02.SparkStreamingWordCount案例编写测试讲解
│      05_03.SparkStreaming处理流程讲解
│      05_04.StreamingContext理解及深入源码理解DStream
│      05_05.SparkStreaming数据读取方式讲解
│      05_06.SparkStreaming和Kafka的两种集成方式讲解
│      05_07.SparkStreaming和Kafka集成优化方式讲解
│      05_08.SparkStreaming和Kafka集成offset管理方式介绍及Streaming应
│      05_09.DStream的transform和foreachRDDAPI介绍
│      05_10.DStream的updateStateByKeyAPI介绍讲解
│      05_11.DStream的window相关API介绍讲解
│      
├─06.SparkProject(1)
│      06_01.大数据项目开发讲解
│      06_02.Spark在美团的发展历程
│      06_03.项目需求分析
│      06_04.项目结构讲解
│      06_05.Java程序启动Spark应用方式讲解
│      06_06.扩展作业
│      06_07.Java调用shell代码实现方式讲解
│      06_08.项目核心抽象Task和交互式介绍
│      06_09.项目模块介绍
│      06_10.模块一:需求分析及数据字段讲解
│      06_11.模块一:应用创建及任务过滤参数数据获取
│      06_13.模块一:数据读取及过滤
│      06_14.模块一:“四大需求”之需求一讲解
│      06_15.模块一:“四大需求”之需求二讲解
│      06_16.模块一:“四大需求”之需求三讲解
│      06_17.模块一:“四大需求”之需求四讲解
│      06_18.模块一:代码运行测试
│      
└─07.SparkProject(2)
        07_01.模块三:需求分析与表结构讲解
        07_02.扩展:数据同步系统的设计方式及部分伪代码
        07_03.模块三:代码开发框架搭建
        07_04.模块三:用户行为数据过滤、城市信息数据获取以及数据join合并代码实现
        07_05.模块三:商品点击数量聚合统计及自定义UDAF代码实现
        07_06.模块三:TOP10数据获取及数据保存代码实现
        07_07.0模块三:代码测试运行
        07_08.模块四:需求分析及数据收集方式讲解
        07_09.模块四:代码开发框架搭建及上下文构建
        07_10.模块四:Streaming和KAFKA集成读取数据形成DStream代码实现
        07_11.模块四:数据格式化及黑名单用户过滤代码实现
        07_12.模块四:更新黑名单用户代码实现
        07_13.模块四:实时累加广告点击量统计代码实现
        07_14.模块四:实时各省份TOP5广告点击统计代码实现
        07_15.模块四:最近一段时间广告点击情况统计代码实现
        07_16.模块四:代码运行测试
        07_17.项目总结及Spark知识点总结
        07_18.扩展:大数据整体框架介绍
        

评价(0) 立即评论
0/150