共建课程|《交通数据迁移整合系统》

作者: 时间:2025-03-11 点击数:

一、课程基本信息

二、课程简介

本业务来自高速ETC收费系统,系统数据存在来源多样,格式复杂,存在脏数据等特点,需要求定期将数据从各子系统迁移整合至数据中心内;

数据中心应做好大数据环境的部署,并进行数据仓库的分层设计,根据数据来源及用途设计不同的数仓表结构,以达到在效率和公用性上的平衡;

在数据迁移过程中,需要进行数据清洗及预处理,将可能存在的脏数据排除在数仓之外;

整个系统需要每日进行日常维护操作,以保证系统能够稳定高效的运行,并为系统设计备份恢复策略,以确保数据安全性。

三、课程目标

1. 知识目标

1.1 加深对大数据数据项目流程的理解

1.2 加深对大数据常用组件的理解,掌握大数据分析的常用手段

2. 技能目标

2.1 熟练大数据常用组件的安装部署,能够独立完成大数据组件安装工作

2.2 能够支撑大数据环境平台实现;能够实现大数据环境中数据仓库的建设;能够实现大数据清洗及预处理;能够实现大数据迁移整合;能够实现大数据的备份恢复功能;

2.3 熟悉数据分析的方法,掌握大数据统计分析程序的编写,能够配合各层级程序进行整合联调

3. 素质目标

3.1 具备一定的数据思维和架构思维

3.2 养成良好的中、英文技术资料的查询、阅读和自学能力

四、课程内容

五、课程考核

本模块考核方式包括过程考核(占50%)和结果考核(占50%)两部分。

过程考核以各任务提交内容是否符合工单中的验收要求为准,满分100分(任务一 ~ 任务15分,任务七10)。

结果考核采用项目答辩方式,满分100分,由答辩老师负责进行打分。

 

六、参考书

\

Copyright © 2017-2020   武汉晴川学院   鄂ICP备10004916号   地址:湖北省武汉市东湖新技术开发区中华科技产业园玉屏大道9号   邮编:430204