前言

花有重开日，人无再少年！程序员过了35岁，实在是有心无力啊！这不又熬夜给大家整理了大型网站日志分析系统+Spark大数据两大项目，让大家在学习大数据的路上不再孤单，有项目陪伴，总觉得没有那么空虚和无助，提升你能力的同时，还给精神得到了补充。

你会觉得，其实，生活还不是那么难！我还行，我还要继续努力；虽然头发少了，眼珠黄了，但是依旧宝刀未老。

也希望这两大项目能够帮助到大家，能为大家锦上添花；好了不多说了，直接上干货！

一、某大型网站日志分析系统

1. 数据源讲解及数据收集

2. flume、数据存储及ETL

3. 利用MapReduce进行模块设计1

4. 利用MapReduce进行模块设计2

二、Spark项目

1.交通项目介绍，数据处理方式，数据模拟，卡扣监控业务分析,自定义累加器实现

2.项目任务优化，车辆速度top10,卡扣车辆数top5,车辆轨迹，随机抽取车辆实现

3.Spark 调优之资源、代码、并行度、数据本地化、堆外内存调优，Spark解决数据倾斜的对策

4.项目业务之区域道路车流量top3,实时道路拥堵统计，PySpark开发环境准备与业务开发

大数据项目实战（视频+资料+笔记+代码）

要是加上前面分享的干货，这也算是第五阶段了吧！希望能够帮助到大家学习。

需要的小伙伴，可以转发此文关注小编，私信小编“学习”来得到获取方式吧！

感谢大家的支持与配合，持续关注，以后干货满满！

努力与机遇并存！