实习实训|2022级数据科学与大数据技术专业实习工作计划

作者: 时间:2025-05-07 点击数:

一、实习工作小组

本次实习由武汉晴川学院和校企合作单位武汉中软卓越科技有限公司联合组织。具体人员安排如下:

序号

姓名

职称/职务

主要职责

1

叶丽萍

副教授/院长助理

统筹安排毕业实习相关工作

2

李幼军

讲师/大数据系副主任

安排组织制定毕业实习大纲和人员配置

3

周星

武汉中软卓越科技有限公司总经理/校企负责人

对接实习企业

4

马淑然

助教

大数据202201班跟班老师

5

方玲

总经理助理/校企合作执行人

企业实习现场组织和实施

二、实习单位(地点)及时间安排

本次实习由校企合作企业武汉中软卓越科技有限公司负责对接毕业实习企业,毕业实习时间为2025年6月中旬开始,2025年7月中旬结束,为期4周,具体毕业实习工作安排如下:

周次

时间

1

上午

项目目标介绍

安装和配置 Flume、Hive、HDFS、Storm 和 Spark 环境

深入了解 Flume 的基本概念和工作原理

使用 Flume 实现日志文件的实时收集

学习 HDFS 的基本架构和工作原理。

下午

介绍大数据生态系统和数据处理技术

配置一个简单的数据管道,将数据从 Flume 传输到 HDFS

配置 Flume 代理来收集实时数据

使用 Flume 实现日志文件的实时传输

使用mapreduce测试hadoop集群环境

2

上午

使用 HDFS Shell 来管理文件和目录

实践使用 HDFS 收集的数据

学习 Hive 的基本概念

创建和管理 Hive 数据表

使用 Hive 进行数据查询和分析

下午

使用 Hadoop File API 来管理文件和目录

实践使用 Flume 收集的数据

学习 Hive 的数据模型

创建和管理 Hive 内部表和外部表

使用 Hive 进行括复杂的 SQL 查询

3

上午

了解 Storm 的实时流处理概念和架构。

实现 Storm 拓扑来处理实时数据流,并将结果存储到 HDFS 或 Hive 中。

使用 Spark Shell 和 Spark API 进行数据操作和分析。

案例1、电话业务都开通的、只开通电话业务的和只开通网络业务的客户的客户流失柱状图

案例2、用户流失分析思路并使用多柱状图显示

下午

讲解如何获取开发和部署基本的 Storm 拓扑结构。

学习 Spark 的基本概念和核心组件。

实训学生分组并分配任务

答疑并指导实现将分析数据结果制作成效果图显示

答疑并指导实现将分析数据结果制作成效果图显示

4

上午

案例3:各项细分服务对用户流失造成怎样的影响

案例4、用户关系属性以及用户消费行为属性

案例5、用户职业、月消费与用户流失之间的相关性

 

案例6:用户职业、总消费与用户流失之间的相关性

 

项目答辩

下午

答疑并指导实现将分析数据结果制作成效果图显示

答疑并指导实现将分析数据结果制作成效果图显示

答疑并指导实现将分析数据结果制作成效果图显示

指导各组项目发布最终测试,并准备答辩ppt

项目答辩和总结

期间会根据学生的知识、技能的不足,有针对性的进行课程讲解

主要内容说明:

项目目标介绍和hadoop环境介绍:讲解项目目标和hadoop生态技术环境。

介绍大数据生态系统和数据处理技术:大数据概念和挑战,数据处理技术的演变和现状

安装和配置 Flume、Hive、HDFS、Storm 和 Spark 环境:下载和安装各项软件,配置环境变量,启动并测试每个组件的运行状态

配置一个简单的数据管道,将数据从 Flume 传输到 HDFS:创建一个简单的 Flume 配置文件,启动 Flume agent,确保数据正确传输到 HDFS

深入了解 Flume 的基本概念和工作原理:Flume 架构和组件,事件流和数据流

配置 Flume 代理来收集实时数据:定义源、通道和目的地,配置拦截器和转换器

使用 Flume 实现日志文件的实时收集和传输:监控指定日志文件夹,将日志数据传输到 HDFS

学习 HDFS 的基本架构和工作原理:HDFS 的概念和特点,NameNode 和 DataNode 的角色和功能

使用 HDFS Shell 和 Hadoop File API 来管理文件和目录:创建、删除、移动和复制文件,查看文件内容和权限

实践使用 HDFS 存储 Flume 收集的数据:将 Flume 收集的数据存储到 HDFS 中,使用命令行和 API 操作 HDFS 中的数据

学习 Hive 的基本概念和数据模型:Hive 的概念和体系结构,HiveQL 查询语言和数据类型

创建和管理 Hive 数据表,包括内部表和外部表:创建表和加载数据,管理表的分区和存储格式

使用 Hive 进行数据查询和分析,包括复杂的 SQL 查询:编写和执行简单和复杂的查询,使用内置函数和用户定义函数进行数据分析

了解 Storm 的实时流处理概念和架构:Storm 的核心概念和组件,Topology 和 Spout/Bolt 的角色和功能

开发和部署基本的 Storm 拓扑结构:编写 Spout 和 Bolt 组件,定义和提交拓扑到 Storm 集群

实现 Storm 拓扑来处理实时数据流,并将结果存储到 HDFS 或 Hive 中:配置 Spout 来读取数据流,编写 Bolt 来处理数据,将结果数据存储到 HDFS 或 Hive 中

学习 Spark 的基本概念和核心组件:Spark 的概念和架构,RDD、DataFrame 和 Dataset 的区别和用途

使用 Spark Shell 和 Spark API 进行数据操作和分析:启动 Spark Shell,使用 Scala、Python 或 Java 编写 Spark 应用程序。

实训学生分组并分配任务:分配分组任务 ,然后学生根据任务完成余下功能提高实战能力。

案例1、电话业务都开通的、只开通电话业务的和只开通网络业务的客户的客户流失柱状图:讲解第一个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例一答疑和指导

案例2、用户流失分析思路并使用多柱状图显示:讲解第一个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例二答疑和指导

案例3:各项细分服务对用户流失造成怎样的影响:讲解第二个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例三答疑和指导

案例4、用户关系属性以及用户消费行为属性:讲解第四个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例四答疑和指导

案例5、用户职业、月消费与用户流失之间的相关性:讲解第五个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例五答疑和指导

案例6:用户职业、总消费与用户流失之间的相关性:讲解第六个需求思路,学生分组实现对应功能

答疑并指导实现将分析数据结果制作成效果图显示:案例六答疑和指导

指导各组项目发布最终测试:指导各组打包并完成功能测试。

答辩准备:安排学生小组制作ppt和总结准备答辩。

项目答辩:学生小组完成答辩并讲解收获。

三、校外实习实训基地使用计划

1、武汉中软卓越科技有限公司

中软国际有限公司(中软国际)是根植中国、服务全球的IT服务提供商,致力于为遍及全球的客户提供全面的服务,打造中国智造综合平台。集团成立于2000年,总部位于北京,在全球拥有数十家分公司、办事处及研发机构,截止2023年底员工人数97000人,2024年集团应届毕业生需求10500余人。

集团业务涵盖以咨询为驱动的解决方案、以专业化为准则的ITO和BPO外包服务和以人才供链为导向的培训服务,包括咨询服务、软件开发、系统集成、软件测试、软件本地化、企业应用平台建设与维护、IT服务外包以及业务流程外包。

中软国际卓越培训中心(ETC)是中软国际投资的IT教育集团。人才是中软国际集团持久发展的核心动力,如何主动挖掘和引进人才、培养人才,从源头上打造竞争的先发优势是IT服务企业的制胜之道。由中软总公司并入中软国际的中软总公司计算机培训中心(培训中心)承担了中软国际人才储备和培养的任务,迄今共培训各类IT专业人才50余万人次,是国内第一家通过ISO9001认证的培训机构。“中软培训”品牌是业界知名的“中高端IT技术培训”品牌。是微软授权高级技术培训中心(CPLS)、SUN授权Java教育培训中心(ASEC)、IBM软件部授权培训中心、Prometric授权国际认证考试中心,同时承担着中软国际员工内训的职能。

中软国际ETC实训基地系国家级软件服务外包人才实训基地,均建于当地软件园或高新区,教育部授权“软件工程专业大学生实习实训基地”。中软国际ETC采编自中软国际已开发的真实项目,并对项目进行了基于CMMI的规范化和教学化改造。

2、实习实训目标

毕业实习中的目的是学生在教师、实习单位技术人员指导下,经学院审批后在实习实训单位或者校内集中完成的与专业密切相关的实践活动。通过企业实习,学生的实践动手能力得以提升。将在校期间学的理论知识与实际工作场景相结合,通过实际操作加深对理论知识的理解和掌握,提升解决实际问题的能力。掌握大数据行业所需的专业技能,如数据挖掘、数据分析、数据可视化、大数据平台搭建与维护等,为将来的职业生涯打下坚实的基础。团队合作精神、沟通协调能力得以提升。认识到数据安全和隐私保护的重要性,树立正确的职业道德观念,培养对数据质量、工作结果负责的态度,以及遵守行业规范和法律法规的自觉性。提高就业竞争力,为未来的就业打下坚实的基础。

3、实习内容

本次毕业实习将通过行业实际推荐项目强化编码、调试能力。了解大数据开发(Hadoop)解决方案,特别是框架的基本架构和相关技术。掌握企业开发常用的建模工具和设计模式,构建良好的软件系统。了解实际软件项目开发全过程。体验企业工作环境和工作方式。加强团队意识、交流和表达能力。

四、突发事件处理预案

确保学生在校外实习实训基地实习过程中遇到突发事件时,学院能够迅速、有序、有效地进行应对,保障学生的人身安全和身心健康,同时维护实习活动的顺利进行。学院突发事件处理预案如下:

1、成立应急领导小组,遇到突发事件,能紧急处理。处理突发事件应遵循“安全第一、预防为主、统一指挥、分级负责、快速响应、有效处置”的原则。具体安排如下:

组长:王天见(计算机学院党总支书记)

副组长:叶丽萍、余延旺(计算机学院团总支书记)

组员:袁沁芸(22级辅导员)、李幼军、马淑然

2.突发事件类型与应对措施

1)安全事故(如火灾、设备故障、意外伤害等):

立即启动紧急疏散程序,指导学生迅速、有序地撤离到安全区域。使用基地配备的消防器材进行初期灭火,同时拨打119报警。对受伤学生进行初步救治,并立即送往医院。保护好事故现场,配合相关部门进行事故调查。

治安事件(如盗窃、斗殴、骚扰等):立即向基地安保部门报告,同时拨打110报警。保持冷静,避免冲突升级,保护好自身安全。收集相关证据,协助警方调查。

3.为每位参与实习的师生购买人身意外险,在实习开始前,辅导员老师对每个班级进行安全意识强调工作。

五、实习经费预算

实习具体经费预算如下:

 

Copyright © 2017-2020   武汉晴川学院   鄂ICP备10004916号   地址:湖北省武汉市东湖新技术开发区中华科技产业园玉屏大道9号   邮编:430204