尚硅谷大数据项目之车险离线数仓

wangsky

课程介绍:
车险离线数仓项目共分三大部分:数仓采集环境搭建、数仓分层计算、SuperSet可视化大屏展示。项目的核心内容为对汽车保险核心业务的交易域、理赔域进行统计分析。

教程带你从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示。帮助学习者深入了解数仓建模理论体系及实际应用。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，一站式学习，学习者参照视频及教辅资料即可实现全部项目流程！

项目中使用的框架包括:Hadoop、Kafka、Flume、Zookeeper、DataX、DolphinScheduler、Hive、Maxwell、SuperSet等。教程通过精炼的业务体系逻辑，带你快速掌握离线数仓所使用的技术手段！

课程目录:
001.数据采集课程内容介绍
002.数据仓库概念
003.项目需求分析
004.技术选型
005.系统流程设计
006.框架版本选择
007.服务器选型
008.集群规模设计
009.资源规划
010.业务流程说明
011.表结构说明
012.安装虚拟机
013.分发脚本
014.安装JDK
015.环境变量配置说明
016.进程查看脚本
017.安装Zookeeper
018.Zookeeper启动脚本
019.Zookeeper客户端常用指令
020.安装Hadoop
021.Hadoop群起脚本
022.项目经验之存储多目录
023.项目经验之集群数据均衡
024.项目经验之参数调优
025.安装Kafka
026.Kafka群起脚本
027.Kafka常用指令之Topic相关
028.Kafka常用指令之生产者和消费者
029.Flume安装与项目经验
030.安装MySQL
031.模拟生成数据
032.同步策略介绍
033.数据同步工具介绍
034.DataX简介和框架设计
035.DataX的运行与调度
036.DataX的安装
037.MySQL数据导入HDFS之TableModel模式
038.MySQL数据导入HDFS之Querysql模式
039.DataX传参
040.HDFS数据导入到MySQL
041.DataX优化
042.Maxwell概述和输出数据格式
043.MySQL原理
044.安装Maxwell
045.Maxwell启动脚本
046.Maxwell使用
047.生成DataX配置文件
048.全量数据导入脚本
049.增量数据同步-Maxwell配置
050.增量数据同步-Flume配置
051.增量数据同步-拦截器与采集
052.Maxwell时间戳问题
053.Flume启动脚本
054.增量首日全量同步
055.安装Hive
056.Hive中文乱码问题
057.车险离线数仓课程内容简介
058.数仓的概念
059.数仓架构
060.数仓建模的意义
061.ER模型
062.维度模型
063.事实表概述
064.事务型事实表概述
065.事务型事实表的设计
066.事务型事实表的不足-存量型指标
067.事务型事实表的不足-多事务关联指标
068.周期型快照事实表的概念
069.周期型快照事实表设计与事实类型
070.累积型快照事实表
071.维度表设计
072.规范化与反规范化
073.全量快照维度表
074.拉链表
075.多值维度
076.多值属性
077.数据仓库的分层
078.数仓的构建流程
079.据调研
080.明确数据域
081.业务总线矩阵
082.明确统计指标
083.维度模型与汇总模型设计
084.Hive引擎简介
085.Hive on Spark兼容性说明
086.Hive on Spark搭建
087.AM资源比例调整
088.DataGrip使用
089.模拟生成数据
090.Hive常见问题和解决方案
091.ODS层设计要点
092.数据格式说明
093.全量数据建表
094.复杂数据类型回顾
095.增量数据建表
096.ODS数据加载
097.DOS层部分表字段显示问题
098.ODS层数据加载脚本
099.DIM层设计要点
100.地区维度表
101.保险产品维度表
102.保险经理人维度表
103.投保人维度表首日数据加载
104.投保人维度表每日数据加载
105.车辆维度表首日数据加载
106.车辆维度表每日数据加载
107.DIM层首日数据加载脚本
108.DIM层每日数据加载脚本
109.DWD层设计要点
110.交易域投保事务事实表首日数据加载
111.交易域投保事务事实表每日数据加载
112.缴费成功事实表首日数据加载
113.缴费成功事实表每日数据加载
114.理赔域报案事务事实表数据加载
115.理赔流程累积快照事实表建表
116.理赔流程累积快照事实表首日数据加载
117.理赔流程累积快照事实表每日数据加载
118.DWD层首日数据加载脚本
119.DWD层每日数据加载脚本
120.DWD表设计要点
121.交易域城市车型粒度投保1日汇总表建表
122.交易域城市车型粒度投保1日汇总表数据加载
123.理赔域城市车型粒度出险1日汇总表建表
124.理赔域城市车型粒度出险1日汇总表数据加载
125.DWS 1d表首日数据加载脚本
126.DWS 1d表每日数据加载脚本
127.交易域城市车型粒度投保n日汇总表
128.理赔域城市车型粒度出险n日汇总表
129.DWS nd表数据加载脚本
130.ADS层设计要点
131.交易综合统计
132.续保统计
133.产品交易统计
134.城市交易统计
135.理赔综合统计
136.城市理赔统计
137.省份理赔统计
138.车型理赔统计
139.ADS数据加载脚本
140.MySQL建库建表
141.HDFS数据同步到MySQL案例演示
142.ADS同步数据到MySQL脚本
143.DolphinScheduler简介
144.DolphinScheduler部署说明
145.安装DolphinScheduler
146.DolphinScheduler启动停止命令
147.安全中心配置
148.创建工作流与运行工作流
149.定时
150.局部参数
151.全局参数
152.传递参数
153.参数优先级
154.内置参数
155.依赖资源
156.告警
157.失败重试
158.模拟生成新数据
159.工作流调度
160.SuperSet简介
161.安装SuperSet
162.SuperSet启动脚本
163.SuperSet可视化


下载地址:

游客，如果您要查看本帖隐藏内容请回复

ffffff

珍惜生命，果断回帖。

mytest123

啥也不说了，感谢楼主分享哇！

csa

啥也不说了，感谢楼主分享哇！

qizhisoft

啥也不说了，感谢楼主分享哇！

sakura_dmz

啥也不说了，感谢楼主分享哇！

dijka

啥也不说了，感谢楼主分享哇！

smartfind

啥也不说了，感谢楼主分享哇！

readm

啥也不说了，感谢楼主分享哇！

halfh2o

正需要，支持楼主大人了！