|
|
课程名称：# n" Z$ B4 k7 q* A7 i, c& X
用户画像解决方案
课程特色：" x; [/ h4 W& [3 Y
规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、打通数据服务层、以及如何应用用户标签和效果评估；
实操性强：每章案例都进行详细的分析和开发过程讲解，附有相应的分析报告、文档以及代码。通过在搭建的虚拟机环境中执行任务，帮助学习者更好地理解工程上的实现方式和实现细节
1 ^& J ]" ?. |3 t( y9 c% h/ a; S
课程大纲：
第一章：用户画像基础知识
1、开发用户画像需要掌握的能力
2、实际案例-用户画像及其应用规划说明3 w; I: m5 E( t
3、实际案例-用户标签应用实施方案说明
4、实际案例-工程开发代码! v: ]- W$ z3 I3 p) v
5、需要开发的表及表结构设计
第二章：用户标签指标体系
1、用户属性维度指标体系; Y5 x4 Z0 w2 E: b% w! K. [
2、用户行为维度指标体系9 B5 g# |7 k7 V# m( I/ C) o9 N
3、用户消费维度指标体系
4、用户风控维度指标体系, U8 F6 h# W4 A; H7 W
5、标签口径及数据调研分析0 ]% f# u) ]0 d0 R9 t& v5 ~* t( e
6、标签命名方式小结' u' b0 j/ t" z4 ~2 ?
; Y l% c6 b; Z5 e0 a
第三章： 搭建开发环境 A- |$ M8 z6 V Q/ l6 U u& I
1、搭建虚拟机开发环境及节点间互信
2、HDFS的安装及应用场景
3、zookeeper的安装及应用场景
4、yarn的安装及应用场景. |1 I3 d, v) W' @* T4 c3 S
5、Hbase的安装及应用场景
6、MySQL的安装及应用场景
7、sqoop的安装及应用场景
8、kafka的安装及应用场景
9、Spark的安装及应用场景' X; o# e& Y+ H
第四章：标签数据存储
1、Hive存储及应用特点
2、MySQL存储及应用特点
3、Hbase存储数据及应用特点/ ]6 ]( Y+ N, f4 E% k. T
4、为什么用不同数据库存储标签数据1 K* m4 N$ [8 W$ x
第五章：标签数据开发 e& Z3 Y9 M3 J" [9 c$ C$ Z- X
1、数据仓库基础知识/ z u8 }% |) c6 O+ S$ t; h8 s
2、统计类标签开发案例! |( g1 U' F; |# i
3、规则类别标签开发案例. r/ w1 v( r4 t3 L6 r6 a, D
4、挖掘类别标签开发案例
5、流式计算标签开发(1)-kafka介绍
6、流式计算标签开发(2)-streaming的Receiver模式与Direct模式
7、流式计算标签开发(4)-记录消费的offset4 j' C7 E% m. b1 M
8、流式计算标签开发(5)-Spark Streaming上线工程化
第六章：开发性能调优; B1 o6 ^; B: U
1、数据倾斜调优" J* B% V+ H7 Y8 G8 a$ {
2、Hive合并小文件
3、使用Spark缓存(cache、persist、checkpoint)
4、开发中间表
7 c3 ^, c+ F" ^) q" L1 U4 F
第七章：作业流程调度
1、crontab命令调度
2、airflow调度-基础概念6 u4 p1 h0 Z$ n3 ^5 Y* G3 N
3、airflow调度-安装! n$ i; B! ~4 r1 p0 l0 p, }
4、airflow调度-主要功能模块
5、airflow调度-工作流调度
6、airflow调度-工程案例
7、标签数据监控预警(Hive、MySQL、Hbase)
8、ETL异常问题排查及解决方案* \: P7 Z/ B1 [* P$ O
; o9 I, a+ X& j
第八章： 用户画像产品化6 r9 t! {4 A$ K1 Q) s4 N) r
1、标签视图与标签查询
2、标签编辑管理
3、自定义查询与人群圈定5 f3 k. U* U( [
4、维透视分析功能1 u/ f T* L9 i
e$ ~( ^5 c' V2 O
第九章：用户画像应用
1、业务数据分析; S, c8 N w' X5 v1 Y4 S
2、精准营销(短信、邮件)
3、推荐系统中应用
; I. V) U3 \; S' h% [5 }
下载地址:i
|
|
发表于 2019-2-14 10:24:37
发表于 2019-5-23 21:38:13
