目录

  • 1 第01章.项目简介
    1. 1.项目简介

      00:08:10

    2. 2.确立研究指标

      00:12:01

    2 第02章.使用Kettle进行数据清洗
    1. 1.使用Kettle初步进行数据清洗

      00:28:56

    2. 2.Kettle完成数据清洗

      00:26:25

    3. 3.Kettle处理百万级数据方案

      00:06:56

    3 第03章.项目集群架构讲解
    1. 1.项目集群框架介绍

      00:13:51

    2. 2.Hadoop集群服务启动

      00:07:42

    4 第04章.学员地域分布情况分析
    1. 1.利用Hive保存ETL后的数据

      00:09:53

    2. 2.利用Sqoop将ETL后的数据导入到Hive中

      00:13:40

    3. 3.利用Hive分析学员地域分布情况

      00:11:04

    4. 4.分析结果数据可视化初步

      00:07:14

    5. 5.Sqoop数据导出

      00:15:25

    6. 6.学员分布情况数据展示_Tableau

      00:16:21

    5 第05章.招生情况分析
    1. 1.招生情况分析_利用Hive分区

      00:15:34

    2. 2.招生情况分析_Sqoop导入数据

      00:18:49

    3. 3.Sqoop导入分区数据

      00:12:25

    4. 4.Hive进行统计分析

      00:11:50

    5. 5.Kettle数据清洗_已退出学员

      00:16:06

    6. 6.Tableau可视化展示

      00:13:56

    6 第06章.初步整合HBase
    1. 1.Hive与HBase对比

      00:07:24

    2. 2.创建Hive表关联HBASE

      00:09:52

    3. 3.Hive与HBASE整合

      00:17:10

    4. 4.HBase分割省市思路分析

      00:21:39

    7 第07章.法律咨询业务数据转换
    1. 1.法务数据列头说明(上)

      00:17:16

    2. 2.法务数据列头说明(下)

      00:16:39

    3. 3.利用Kettle将法务数据导入到RDBMS中

      00:22:32

    8 第08章.法律咨询CSV格式数据Hive处理
    1. 1.创建Hive表存储法务数据

      00:17:14

    2. 2.直接导入csv格式数据

      00:15:19

    3. 3.导入csv格式数据问题排查

      00:26:41

    9 第09章.法律咨询业务数据页面类型分类
    1. 1.Sqoop导入法律咨询数据

      00:15:30

    2. 2.统计网页类别

      00:24:03

    3. 3.对数据页面进行分类

      00:27:22

    10 第10章.法律咨询数据分区讲解
    1. 1.静态分区和动态分区讲解

      00:06:15

    2. 2.动态分区参数讲解

      00:12:34

    3. 3.创建动态分区表(law_info_part)

      00:10:05

    4. 4.咨询页类别细化分析

      00:14:01

    5. 5.带条件查询访问页分析

      00:10:27

    11 第11章.法律咨询网用户点击量权重分析
    1. 1.电商常用指标讲解

      00:09:58

    2. 2.用户点击量统计

      00:04:47

    3. 3.点击量权重分析(数据导入)

      00:24:03

    4. 4.点击量权重分析(数据分析)

      00:07:18

    5. 5.点击量TOP1的用户访问网页类型分析

      00:13:19

    6. 6.Hive&Pig&Impala三种分析工具对比讲解

      00:17:13

AI法律咨询大数据分析与服务智能推荐实战项目(第一季)

1025人在学
公众号二维码

公众号

小程序二维码

小程序

课程详情

我要提问



信息时代的来临使得企业营销焦点从产品中心转变为客户中心,教育、咨询、培训等领域如何精准的定位目标群体极为重要,企业要想从海量信息中快速准确的寻找到属于自己的那片蓝海变得越来越困难,其中如何快速区分高价值用户、潜在价值用户,如何避免客户的流失尤为关键。
本项目主要研究法律资讯网站,依据海量数据,研究用户兴趣偏好,分析用户的需求和行为,发现用户兴趣点,从而引导用户发现自己的信息需求,准备推荐给所需用户。



1.课程研发环境
开发工具:Intellij IDEA、Cloudera Manager、Kettle
浏览器:Firefox、Chrome
运行环境:JDK1.8
案例后台环境:Java、Tomcat、idea、Hadoop


2.内容简介

本项目结合目前流行的大数据框架,在原有成熟业务的前提下,进行大数据分析处理,真实还原企业应用,让学员身临其境的感受企业大数据开发的整个流程。
项目的业务系统底层主要采用JAVA架构,大数据分析主要采用Hadoop框架,其中包括Kettle实现ETL、SQOOP、Hive、Kibana、HBASE、Spark以及人工智能算法等框架技术;
采用真实大数据集群环境的搭建,让学员切身感受企业项目的从0到1的过程。



吴老师:6年IT开发从业经验,3年大数据开发经验,2年高端培训机构教学经验,长期从事智慧旅游领域的软件产品研发,及商业应用,主要参与的项目有:杭州市委大数据旅游分析平台、浙江省旅游管理系统、中国电信日志实时计算系统、医疗保险大数据分析项目—深圳合作医疗保险管理系统、上海银行风控项目、K12管理项目---数字化/虚拟校园。
技术领域,擅长JAVA、Web前端和大数据等各方面以及运维、架构设计和优化经验。


 

一、系统业务介绍
1.底层业务实现框架讲解
2.功能模块讲解

 

二、系统架构设计
1.总体架构分析
2.数据流向
3.各技术选型承载作用
4.部署方案

 

三、详尽实现
1. 原始数据处理
2. ETL数据导入
3. MR数据计算
4. Hive数据分析

 

四、数据可视化
1.采用Highcharts插件展示客户偏好曲线图
2.使用Tableau进行数据分析可视化展示

 

五、项目优化
1. ZooKeeper实现HA
2. 集群监控的整体联调

   







本系课程,主要分为三部分完成
第一部分:业务系统与大数据有机结合介绍
第二部分:大数据集群环境配置。 
第三部分:结合大数据进行业务指标分析
学完本系列课程后,学员将会达到以下学习目标:
只要具有Hadoop基础的学员都能灵活运用课程中的相关技术开发大数据项目。



亮点一、项目内容通俗易懂
亮点二、以理论+实践结合的方式进行讲解授课
亮点三、运用企业流行框架+稳定新版本



1.课程针对人群
稍有JAVA及Hadoop基础,后续继续深入学习的学员。


2.我该怎么学,如何才能学好这门课程,给些建议。

    2.1、时间上的安排建议
    此次预计采用大屏直播方式,所以希望大家合理安排时间,准时参加课程,这样才能有更好的授课体验,及时与老师互动。
    2.2、学习要求
    老师课堂演示的案例、效果或者布置的作业,希望大家课后务必自己思考并动手实践,遇到问题及时在课上或者学习群里提出。


3、讲师建议
    3.1.直播结束后,老师会提供录播,但是希望大家先抛开视频,独立自己把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。
    3.2.对于项目实战,一定要自己亲自动手做一遍,不要满足听完就OK了。
    3.3. 建议一般听课,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。
    3.4. 一定不要过于依赖老师,要学会看API和使用百度,学会思考,学会举一反三。
    3.5. 最后祝您学有所成。



课程是属于某个特定的专业技术,掌握该技术后,你可以从事以下职位的相关工作

1.Java软件开发工程师
2.大数据开发工程师



 


评价(0) 立即评论
0/150