一、课程基本信息
课程名称 |
外卖订单数据分析项目 |
总学时 |
56 |
理论学时 |
0 |
实践学时 |
56 |
预备知识 |
Linux操作系统、MySQL数据库、Scala编程语言、大数据架构、数据采集与预处理、分布式计算框架 |
二、课程简介
外卖订单系统数据具有行业鲜明特点,一个订单中既包含了用户,店家及外卖人员的信息外,同时还包含地域信息。整体系统数据量极其庞大且复杂,且存在原始数据混乱缺失的可能性,而如何从已有数据中分析出有利于业务的数据价值同样极具挑战性。
为了应对上述情况,本系统旨在对原始数据进行清洗及预处理,之后将数据转存至大数据分析环境中,并使用分布式计算引擎对数据进行符合业务需求的统计分析操作,并依照可视化需求对部分指标进行可视化展示。
三、课程目标
1. 知识目标
1.1 加深对大数据项目流程的理解
1.2 加深对大数据常用组件的理解,掌握大数据分析的常用手段
2. 技能目标
2.1 熟练大数据常用组件的安装部署,能够独立完成大数据组件的安装工作
2.2 熟悉大数据常用清洗及预处理方式,掌握数据清洗及预处理方法并将结果转存至数仓的方法
2.3 熟悉数据分析的方法,掌握大数据统计分析程序的编写,熟练数据可视化的实现,能够配合各层级程序进行整合联调
3. 素质目标
3.1 具备一定的数据思维和架构思维
3.2 养成良好的中、英文技术资料的查询、阅读和自学能力
四、课程内容
序号 |
任务名称 |
任务工单 |
学时 |
教学方法 |
任务零 |
项目介绍 |
项目介绍 |
4 |
实践 |
项目相关文档查看 |
项目环境准备 |
实践 |
任务一 |
大数据组件安装部署 |
Hive安装部署 |
4 |
实践 |
Sqoop安装 |
Spark安装部署 |
任务二 |
熟悉业务逻辑及数据 |
原始数据导入 |
6 |
实践 |
数据验证 |
任务三 |
数仓表设计及准备 |
Hive数仓表设计制作 |
4 |
实践 |
Hive表存储位置验证 |
任务四 |
数据清洗、预处理及转存 |
数据获取 |
10 |
实践 |
数据清洗 |
数据预处理 |
数据转存及验证 |
任务五 |
数据统计分析 |
数据统计分析 |
10 |
实践 |
分类预测 |
数据输出 |
任务六 |
数据可视化展示 |
FineBI安装 |
8 |
实践 |
数据可视化实现 |
任务七 |
项目联调 |
Spark程序开发 |
10 |
实践 |
项目联调 |
成果展示 |
总计 |
56 |
|
五、课程考核
本模块考核方式包括过程考核(占50%)和结果考核(占50%)两部分。
过程考核以各任务提交内容是否符合工单中的验收要求为准,满分100分(任务一 ~ 任务六均15分,任务七10分)。
结果考核采用项目答辩方式,满分100分,由答辩老师负责进行打分。
六、参考书
\