IT慕课吧

 找回密码
 注册会员
搜索
热搜: java php springboot
查看: 2775|回复: 11

2021大数据项目实战-某头条亿级流量采集与监控

[复制链接]

升级   100%

1052

主题

1277

帖子

7006

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
7006
发表于 2021-1-17 12:26:40 | 显示全部楼层 |阅读模式
课程简介, G6 I, z% g/ N3 u( F% j
' n1 C/ j$ |. f  S  W
本课程是大数据项目实战系列课程,项目基于某条亿级流量背景,实现了一站式的数据采集与监控。包含了行为数据、产品数据、业务数据的高效采集,定义并监控数据采集流程中各个指标,当数据采集链路发生故障时能够及时收到报警,同时当遇到性能问题时,通过监控系统我们能更有针对性的优化采集流程。项目设计基于场景而非基于行业,选择以技术驱动,重在各技术组件的组合,目的是解决特定场景的问题。课程从零环境基础出发,逐步搭建完成,能够帮助你快速搭建亿级流量场景下的数据采集平台。

关键词:大数据 2020  数据采集  数据监控 数据仓库 lua flume hadoop hive Prometheus Grafana3 B! q* d( d3 |/ R6 _8 z5 M( |
+ M& ~; Q3 h, |/ k) q
01_项目背景.mp4
02_项目需求.mp4. w" S4 O; c' E4 B0 J
03_监控项目架构.mp4
04_数据格式解析.mp4
05_OpenResty安装.mp4
06_创建OpenResty应用.mp4; ~/ ~, J0 N/ o& E: Z; S6 U
07_编写应用主配置文件nginx.conf.mp4
08_编写应用子配置文件collect-app.conf.mp40 k" l- _7 V4 N$ s( T$ z
09_测试并启动应用.mp4
10_配置接口到数据管理中心.mp4, p: C: S  z. X+ {% E
11_日志切分.mp4) z: m/ F- H' m: |* J
12_Hadoop安装.mp4+ X& A8 f" \( {
13_Flume安装.mp4
14_编写Flume配置文件.mp4
15_编写Flume拦截器.mp4" i( c3 s1 O5 |
16_部署Flume拦截器.mp4, X& P5 A9 y, E& D+ A- }
17_资讯数据采集Flume配置.mp4- A! u- @; N+ ~' N0 l! ]
18_资讯数据采集Flume Agent对接数据管理中心.mp4+ X+ R( |* I/ z" P, \6 e% o5 N; m4 h
19_业务数据采集SQOOP脚本.mp4
20_Hive安装配置.mp4
21_Beeline加载JsonSerde.mp4
22_创建行为数据表.mp4
23_创建行为数据加速表.mp4
24_创建新闻资讯表.mp4- X" z0 c/ d6 q% q1 F. e9 z2 y
25_创建业务数据表.mp4) s) h1 m4 W" Q) W; Q; a2 s/ y
26_编译安装Azkaban Solo Server.mp4/ `# ]' F5 c; H" y4 p" c
27_Azkaban 作业流开发.mp4
28_Azkaban 作业流定时调度.mp4# N" j; z" c( k! U) ?2 s
29_DingTalk添加Webhook机器人.mp46 ^6 G# z/ m6 Q2 i
30_DingTalk SDK测试.mp4$ g. {; e5 K- \9 T0 ^
31_Azkaban Alert接口开发.mp4
32_Azkaban Alert插件部署.mp4% _2 e9 h' K4 @) `- ?8 i
33_Azkaban Alert插件运行测试.mp4
34_Prometheus安装.mp4
35_Prometheus数据模型介绍.mp4
36_架构简介.mp4
37_Supervisor与Prometheus集成.mp4( v  q8 z0 ^! A  d
38_Supervisor与Grafana集成.mp4
39_Grafana集成Prometheus数据源.mp4
40_加载nginx-lua-prometheus扩展模块.mp43 N7 r/ J( y3 ~, G
41_nginx指标收集.mp4
42_nginx metric接口配置到prometheus.mp40 K4 E7 |- s8 r) Y. t  ~
43_监控指标最终效果展示.mp4; L8 O; R. j' M: G4 X7 }
44_Supervisor管理Flume Agent.mp4( Q( G: V6 `) F- H4 l
45_flume-exporter接口配置到prometheus.mp4# |) }. }8 g% q. x* J& k
46_在Grafana上配置flume metric 监控.mp4
笔记.rar2 @( A. f/ n2 \) Y5 ~2 q0 u% P
代码.rar. z* \9 S7 Y, e* I: I1 F: u3 \
资料.rar
软件.rar# b7 b$ A+ J$ k3 m

下载地址vip会员回复可见:
游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

升级   100%

0

主题

33

帖子

138

积分

vip会员

Rank: 6Rank: 6

积分
138
发表于 2021-1-22 17:34:56 | 显示全部楼层
11111111111111111111111111111111111111111
回复

使用道具 举报

升级   100%

0

主题

216

帖子

811

积分

vip会员

Rank: 6Rank: 6

积分
811
发表于 2021-3-9 11:53:57 | 显示全部楼层
RE: 2021大数据项目实战-某头条亿级流量采集与监控 [修改]
回复

使用道具 举报

升级   100%

0

主题

58

帖子

301

积分

vip会员

Rank: 6Rank: 6

积分
301
发表于 2021-3-31 13:59:31 | 显示全部楼层
asdfaklsjdf;aksj
回复

使用道具 举报

升级   100%

1

主题

153

帖子

621

积分

vip会员

Rank: 6Rank: 6

积分
621
发表于 2021-5-26 16:34:32 | 显示全部楼层
2021大数据项目实战-某头条亿级流量采集与监控
回复

使用道具 举报

升级   100%

0

主题

22

帖子

143

积分

vip会员

Rank: 6Rank: 6

积分
143
发表于 2021-7-9 23:27:45 | 显示全部楼层
RE: 2021大数据项目实战-某头条亿级流量采集与监控 [修改]
回复

使用道具 举报

升级   100%

0

主题

17

帖子

58

积分

vip会员

Rank: 6Rank: 6

积分
58
发表于 2021-7-15 20:42:30 | 显示全部楼层
666666666666666666
回复

使用道具 举报

升级   100%

0

主题

310

帖子

972

积分

vip会员

Rank: 6Rank: 6

积分
972
发表于 2021-11-29 16:22:24 | 显示全部楼层
66666666666666666
回复

使用道具 举报

升级   100%

0

主题

145

帖子

334

积分

vip会员

Rank: 6Rank: 6

积分
334
发表于 2022-4-24 10:08:38 | 显示全部楼层
FFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
回复

使用道具 举报

升级   100%

0

主题

384

帖子

1120

积分

vip会员

Rank: 6Rank: 6

积分
1120
发表于 2022-5-26 11:10:22 | 显示全部楼层
111111111111111111111
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

QQ|IT慕课吧

GMT+8, 2024-3-29 04:26 , Processed in 0.097297 second(s), 19 queries .

© 2016-2022 itmk8

快速回复 返回顶部 返回列表