dmz社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 114680|回复: 164

[Spark/Scala] Spark进阶 大数据离线与实时项目实战 完整版

  [复制链接]

4436

主题

1471

帖子

1万

积分

会|员

Rank: 9Rank: 9Rank: 9

积分
12361
发表于 2019-9-7 22:30:13 | 显示全部楼层 |阅读模式

本站资源全部免费,回复即可查看下载地址!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

Spark进阶 大数据离线与实时项目实战

Spark进阶 大数据离线与实时项目实战


第1章 课程介绍&学习指南
本章会对这门课程进行说明并进行学习方法介绍。

第2章 Redis入门
Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度。本章将从Redis特性、应用场景出发,到Redis的基础命令,再到Redis的常用数据类型实操,最后通过Java API来操作Redis,为后续实时处理项目打下坚实的基础...

第3章 HBase入门
HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。本章将从HBase是什么、有哪些特点出发,到HBase环境部署,到HBase的数据模型,到HBase的操作(命令行&API),为后续离线处理项目的数据存储以及查询打下坚实的基础。...

第4章 离线项目实战V1
本章节讲解基于Spark和HBase的离线综合项目实战,从多个框架的整合出发,到使用Spark进行ETL处理然后数据落地到HBase中涉及到的传参、HBase Rowkey的设计,再到性能的初步调优,最后使用Spark整合HBase进行数据的统计分析。本章是基于Spark进行离线处理的重点,务必掌握。...

第5章 离线项目实战优化
本章节将基于前面一个章节的功能实现进行进一步的优化,如何将在需求功能实现的基础之上,进行调优,使得在生产上的执行效率更高。本章将是提升自身综合实力的关键部分,务必掌握。

第6章 实时项目实战
本章节讲解基于Spark和Redis的实时综合项目实战,从Spark Streaming整合Kafka对接出发,如何实现需求的功能以及如何对代码进行重构使得执行效率更好,掌握Redis在项目实战中的数据类型选型,以及如何将SparkStreaming处理完的数据写入到Redis中去。...

第7章 初识Alluxio
Alluxio是一个以内存为中心的虚拟分布式存储系统,统一数据访问和桥梁的计算框架和底层存储系统。应用程序只需要Alluxio就可以把访问存储在任何底层存储系统的数据连接。本章节将从Alluxio为我们带来的好处出发,再到Alluxio如何整合Hadoop以及Spark进行实操,并分享一些Alluxio在大公司中的使用案例。...

第8章 Spark优化
本章节将从Spark在生产上的最佳实践出发,和大家分享Spark的常用优化策略。


游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

0

主题

165

帖子

558

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
558

发表于 2019-9-8 02:34:04 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

2071

帖子

7864

积分

深不可测

Rank: 9Rank: 9Rank: 9

积分
7864

发表于 2019-9-9 10:35:51 | 显示全部楼层
和大家分享Spark的常用优化策略
回复 支持 反对

使用道具 举报

1

主题

888

帖子

2982

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
2982

发表于 2019-9-9 15:16:47 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

发表于 2019-9-10 14:39:09 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

87

帖子

293

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
293

发表于 2019-9-10 17:58:24 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

251

帖子

810

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
810

发表于 2019-9-10 21:45:27 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

1

主题

285

帖子

1005

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1005

发表于 2019-9-10 22:49:24 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

24

帖子

94

积分

终身会员[B]

积分
94

发表于 2019-9-13 22:29:46 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

0

主题

543

帖子

1930

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1930

发表于 2019-9-15 20:38:20 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|小黑屋|dmz社区

GMT+8, 2026-7-29 06:12 , Processed in 0.066685 second(s), 13 queries , Redis On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表