一、概况
本实训室的主要目的是培养大数据平台运维项目的实践能力,以数据计算、分析、挖掘和可视化的案例训练为辅助。同时,实训室也承担相关考评员与讲师培训考试、学生认证培训考试、社会人员认证培训考试、大数据技能大赛训练、大数据专业课程改革等多项任务。
实训室旨在培养德智体全面发展、遵纪守法、掌握大数据平台运维基本技能、具备大数据应用、分析和系统管理与运维能力的高素质大数据技术人才。
二、大数据教学与实践管理系统
一、统一管理
- 为保证专业教学的稳定性和对实验数据安全性的要求,管理节点服务器、计算节点服务器和教学软件需统一管理。
二、管理员首页功能
- 提供教学资源利用统计,支持图形化展示CPU、存储、二级存储、内存等资源的使用情况;提供从上课、个人、实验室等维度查看虚拟机使用情况;提供从课时总数和虚拟机使用次数统计分析整体上课情况。
- 支持一键分配教学场景和个人预约场景的资源比例;并可设置CPU、内存、存储的预警阈值。
- 可记录所有模板虚拟机操作日志及时间。
三、教师首页功能要求
- 提供排课管理,查看课程表、发起排课,支持一键创建和释放实验资源。
- 提供今日课程、课程进度、授课记录、实验批阅等教学事务入口。
- 提供个人中心,包括个人信息、密码管理和远程协助信息。
四、学生首页功能
- 提供课表、课程内容、消息提醒、成绩和练习查询、笔记问答等功能入口。
- 提供学习进度查看,支持从成绩和练习时长分析课程进度。
- 提供个人中心,包括个人信息、密码管理和远程协助信息。
五、课程管理功能
- 提供课程分类管理,自定义课程信息、适用对象、培养目标等。
- 提供专业课程实验管理,支持不同难度实验的教学内容管理。
- 提供实验报告管理,支持批阅和重做等功能。
- 支持自定义设计实验内容和方案。
六、考试管理功能
- 支持题库管理,支持导入题目、一键上传。
- 提供考试功能,支持手动和自动组卷、发布考试、自动评分等。
七、教学统计功能
- 提供按用途分类的课时和人次统计。
八、实验预约功能
- 提供个人实验预约功能,支持按模板预约实验资源。
- 提供预约审核功能。
九、资源中心功能
- 提供资源中心,支持无密登录和批量资料下发。
- 支持自定义上传和管理资源中心资料。
十、实验过程管理功能
- 支持自定义课程实验模板。
- 支持多操作系统和模式的虚拟机实验。
- 支持资料上传、过程截图等功能。
- 支持统计实验时长,提示异常操作。
- 支持补做实验和实验报告管理。
十一、实验辅助功能
- 支持记录实验笔记和分享功能。
- 提供问答和常见问题功能,支持问题收集和发布答案。
- 提供远程协助功能。
十二、教学辅助功能
- 提供自动考勤功能。
- 提供就业分析功能。
- 提供知识路径管理功能。
十三、系统管理功能
- 提供教学时间管理等基础数据功能。
- 提供账号、权限等用户管理功能。
- 支持课程和人员分配管理。
十四、实验室管理功能
- 提供实验室管理和使用查询功能。
- 提供实验室开放日历管理,支持直观设置开放情况。
- 产品通过云计算服务能力评估认证。
十五、大数据资源包
- 提供完整的大数据视频课程,包含MySQL、Shell、Hadoop等技术课程。
十六、大数据教学系统节点授权
- 系统完全自主知识产权。
- 采用B/S架构,支持主流浏览器。
- 并发访问不少于49个。
十七、数据集
可以实现就业分析数据(专业对口岗位的需求数量和薪资水平直接影响毕业生的就业情况和质量。提供数据展示近两年各专业对口岗位的需求、薪资和区域分布变化情况)。
三、《大数据平台安装与部署》课程资源包
一、课程资源
- 提供18套教学PPT。
- 提供1份教学大纲和教学进度表。
- 课程内容64学时,满足实训教学需要。
- 主要包含Linux系统、虚拟化、Hadoop安装部署、大数据平台实施监控等内容。
- 满足相关认证考试需求。
二、主要课程内容
- Linux系统安装和使用
- Hadoop平台安装
- 基础环境配置
- Hadoop文件参数配置
- Hadoop集群运行
- Hbase、Hive、Zookeeper、Sqoop、Flume组件的安装配置
- 平台监控命令、界面、报表、日志
- 大数据平台及组件安装部署
- 大数据平台运行与应用
三、其他资源
- 提供大数据云计算课程资源包,包含15课时的OpenStack云系统视频课程,2课时的部署OpenStack系统视频课程,12课时的OpenStack教程视频课程。
四、《大数据平台部署与管理》课程资源包
一、课程资源
- 提供19套教学PPT。
- 提供1份教学大纲和教学进度表。
- 课程内容96学时,满足实训教学需求。
- 主要包含大数据平台高可用部署、组件维护、平台优化、诊断处理等内容。
二、主要课程内容
- 基础环境配置
- Hadoop HA集群配置和启动
- Hbase、Hive、Zookeeper、ETL、Spark组件维护
- 平台系统优化
- HDFS、MapReduce、Spark配置优化
- 集群节点和组件故障诊断与处理
- 大数据平台项目综合案例实训
三、其他资源
- 提供大数据云计算课程资源包,包含OpenStack、Docker等云技术课程。
- 提供Java、Linux、MySQL训练资源包。
- 提供实验指导手册、镜像模板。
- 提供Java、Linux、MySQL课程PPT13套。
- 提供Java、Linux、MySQL课程大纲和进度表1份。
- 提供Java、Linux、MySQL课程考试题库1套。
- 提供Java、Linux、MySQL课程操作录屏27个。
- 提供大数据Java基础教学资源包,包含大量Java课件、语法讲解视频等。
五、《大数据平台规划与设计》课程资源包
一、课程资源
- 提供6套教学PPT。
- 提供1份教学大纲和教学进度表。
- 课程内容32学时,满足实训教学需求。
- 主要包含大数据平台优化和升级内容。
- 满足大数据相关认证考试需求。
二、主要课程内容
- Hadoop应用程序优化
- Hadoop组件性能优化
- 大数据平台版本和组件升级
- 大数据平台项目综合案例
三、其他资源要求
提供大数据云计算课程资源包,包含Docker、虚拟化技术、云计算等视频课程,总计25课时。
六、《航空数据分析》实训案例包
一、课程资源
- 提供1套案例教学课件。
- 提供电子版实验指导手册,包括题目和详细操作步骤。
- 提供配套实验视频和镜像模板。
二、主要课程内容
- 利用numpy、pandas、sklearn对航空公司客户数据进行分析处理。
- 涵盖数据读取、处理、展示、建模等全流程。
- 适合作为大数据课后综合实践训练。
三、其他资源
- 提供Hadoop大数据离线计算资源包,包含75个详细讲解视频。
- 提供电信电话大数据项目资源包,包含59个实战讲解视频。
七、《篮球投篮数据分析》实训案例包
一、课程资源
- 提供1套案例教学PPT讲义。
- 提供电子版实验指导手册,包含题目和详细操作步骤。
- 提供配套实验视频和镜像模板。
二、主要课程内容
- 在Windows环境下,利用numpy、pandas、sklearn对篮球运动员数据进行处理和分析。
- 涉及数据读取、处理、异常值处理、建模、编程和结果展示等。
- 可作为大数据课后综合实践,运用所学知识实现数据全流程操作。
三、其他资源
- 提供团购网站标签生成项目资源包,包含4个视频讲解。
- 提供用户画像项目资源包,包含6个视频讲解。
八、《大数据综合项目实战》实训案例包
一、课程资源
- 提供18个PPT。
- 提供1份教学大纲和进度表。
- 提供A、B卷考试题目及答案各1套,每套包含选择题20道、简答题5道、应用题3道,重复率低于20%。
- 提供18个课程录屏视频。
- 课程学时96学时,满足实训需求。
- 将真实大数据项目改编为可实施的教学课程,流程完整。适合大数据分析专业高年级项目课。
二、主要实验
- 项目需求分析、方案制订
- 环境安装和配置
- 数据采集和存储
- 数据清洗和转换
- 数据分析建模
- 数据可视化展示
- 系统运维
- 测试和总结
三、其他项目
- 提供友盟网大数据项目资源包含82个视频。
- 提供电商大数据项目资源包含51个视频。
九、大数据竞赛实训管理系统
一、平台设计方案
- 基于自研Docker容器编排管理引擎,使用云原生和容器技术构建训练环境,支持快速创建环境,实现环境隔离。方便教师组织训练,降低难度和成本。平台运行在Linux系统下,使用浏览器/服务器模式。
- 支持管理员、教师、学生三种角色,分别负责系统配置、训练任务、参与训练。
- 管理员可管理专业、班级、用户、镜像、环境、服务器、资源、日志、系统等。
- 教师可管理训练模块、小组、训练任务,查看监控、报告,个人实验环境等。
- 学生可进入环境训练,提交报告,查看自己训练记录等。
- 平台技术可满足相关竞赛训练和比赛需求。
二、训练内容配置
- 平台内置两套行业真实脱敏数据,包含工业和电商场景。
- 提供离线和实时数据,涵盖设备、用户、订单等信息。
- 配套集群环境镜像,用于大数据项目技能训练。
- 技能覆盖Docker、Linux、大数据组件等方面。
三、内置内容
- 包含安装包的镜像。
- 组件预安装镜像。
- 数据接口服务镜像。
- 50万条以上离线样本数据。
- 实时数据生成脚本。
- 预置训练模块和环境。
- 配套服务器,处理器、内存、硬盘符合要求。
四、基础功能
- 查看Linux版本信息。
- 创建Windows和Linux云主机。
- 学生环境网络结构独立隔离。
- 支持在线Markdown编辑。
- 支持挂起恢复任务。
- 无需客户端,仅浏览器访问。
十、《应用系统负载及磁盘容量预测分析》实训案例包
一、课程资源
- 提供1套案例教学PPT讲义。
- 提供电子版实验指导手册,包含题目和详细操作步骤。
- 提供配套实验视频和镜像模板。
二、主要课程内容
- 案例需实现数据读取、探索、处理、建模、可视化等流程。
- 使用Python开源工具numpy、pandas进行数据处理,使用sklearn进行模型调用,使用matplotlib进行可视化。
三、其他资源
- 提供招聘网站数据分析项目包,包含数据爬取、清洗、可视化等内容。
- 提供电影推荐系统项目包,包含9个视频。
- 提供机器学习基础与算法课件,包含11个视频和3个PPT。
- 提供微博大数据项目包,包含10个视频。
十一、《大数据项目》实训案例包
一、课程资源
1.要求配套案例教学PPT3个。
2.要求提供配套课程实验操作录屏3个。
3.要求模块教学内容满足实训教学课时数量24学时。
二、主要课程内容
课程含5大综合案例，均涉及数据的预处理、 数据的存储、 数据查看、算法编写、算法应用和大数据结果展现等全流程所涉及的各种典型操作，涵盖 Linux、 MySQL、 Hadoop、 Spark、 SparkMlib、 Idea等系统和软件的安装和使用方法。 每个案例可以作为大数据入门级课程结束后的“大作业”。
三、实训综合案例
案例1-1：分布式日志流处理-spark程序入门
案例1-2：分布式日志流处理-redis数据库访问与数据可视化
案例2-1：用户行为分析-HDFS操作&spark实现
案例2-2：用户行为分析-web程序&数据可视化
案例3-1：技术论坛日志分析-MapReduce程序实现
案例3-2：技术论坛日志分析-HBase程序实现
案例3-3：技术论坛日志分析-数据可视化
案例4-1：基于Spark MLlib的电影推荐-数据预处理
案例4-2：基于Spark MLlib的电影推荐-Spark程序
案例4-3：基于Spark MLlib的电影推荐-协同过滤算法
案例4-4：基于Spark MLlib的电影推荐-数据可视化
案例5-1：互联网广告预测和分析案例-数据预处理
案例5-2：互联网广告预测和分析案例-数据分析
案例5-3：互联网广告预测和分析案例-数据可视化
四、大数据综合项目实战平台（教师版）：
1.平台配套绿色版客户端APP应用实训系统程序，硬盘配置500G固态硬盘，提供完整的虚拟化底层实训环境，提供课程实训入口，提供课程分类栏目，提供课程查找功能。
2.实训系统内集成实验指导书和Python实验环境，可同屏显示。左边可查看实验指导书，右边编写代码。
3.支持实训环境界面自适应功能，支持将实训环境的文件导出至本地，支持将本地文件导入至实训环境进行使用，支持从云端课堂导入新课程至本地实训环境。
4.实训系统预装Jupyter、Pycharm、Spyder等IDE工具及MySqL数据库。要求实训系统Python的IDE环境预装常用numPy、matplotlib、pandas、scikit-learn、opencv、TensorFlow等180个库。
5.提供配套教材两本。
6.提供云端课堂，支持观看配套课程的教学视频，下载数据、代码等。
7.提供7门基础课程：《Python编程基础》、《大数据数学基础-Python实现》、《Python数据分析与应用》、《大数据数据分析SQL基础》、《大数据软件环境Linux基础》、《大数据开发编程语言Java基础》、《Scala技术基础》。
8.提供12门进阶课程：《Python网络爬虫》、《机器学习算法Python实战》、《TensorFlow实战》、《文本挖掘实战》、《Hadoop大数据技术基础》、《Spark大数据技术基础》、《大数据分布式消息Zookeeper》、《大数据数据传输Flume》、《大数据数据传输Sqoop》、《大数据数据流处理Kafka》、《大数据HBase数据库》、《大数据Hive数据仓库》。
9.提供10个实战案例：《中文文本word2vec实现》、《基于水色图像的水质识别》、《基于文本内容的垃圾短信识别》、《航空公司客户价值分析》、《市财政收入分析及预测》、《电力窃漏电用户识别》、《城市公交站点设置的优化分析》、《电商产品评论数据情感分析》、《Python爬虫实践:流浪地球-豆瓣影评分析》、《广电大数据营销推荐项目实战》。
五、大数据人工智能在线学习平台技术要求
1.输入模块功能
摄像头输入：从摄像头获取图像，输出一张图片
麦克风输入：从麦克风获取声音，输出一段音频
文本输入框：输入一段内容作为输出，可以手动点击按钮触发，也可以通过任意信号进行输入触发
数字输入框：输入一个数字作为输出，可以手动点击按钮触发，也可以通过任意信号进行输入触发
自定义上传：上传一个图片/文件/音频作为输入
2.输出模块功能
控制台输出：接收任意数据，在运行日志窗口进行输出
文字输出：接收文字类数据进行输出
图片输出：接收图片数据进行输出
弹窗输出：接收任意数据，以弹窗方式进行输出
语音播报：接收文字类数据进行人声语音播报
3.路由模块功能
随机路由：数据将随机由一端点进行输出
一分二：数据流一转二，拷贝两份
一分三：数据流一转三，拷贝三份
一分四：数据流一转四，拷贝四份
二合一：数据流二合一，合并路径，不合并数据
三合一：数据流三合一，合并路径，不合并数据
四合一：数据流四合一，合并路径，不合并数据
4.基础运算模块功能
加法运算：输入两个数字量，进行加法运算
减法运算：输入两个数字量，进行减法运算
除法运算：输入两个数字量，进行除法运算
乘法运算：输入两个数字量，进行乘法运算
累加运算：输入一个数字量，进行累加计算，并输出累加结果
5.逻辑运算模块功能
与运算：与的逻辑运算，输入两个开关量，当都为真时，输出真，否则为假
或运算：或的逻辑运算，输入两个开关量，当其中存在真时，输出真，否则为假
非运算：与的逻辑运算，输入一个开关量，当输入真时输出假，输入假时输出真
逻辑分支判断：根据输入的开关量真假，选择不同的分支推送数据流
输出真：接收任意数据，输出逻辑真信号（可用于信号转换）
输出假：接收任意数据，输出逻辑假信号（可用于信号转换）
6.判断模块功能
识别结果判断：输入一个识别结果，根据输入识别结果是否符合进行分支选择，输出原始数据数字大小判断：输入一个数字，根据数据中数字大小与输入值进行比较后选择分支，输出原始数据
文字包含判断：输入一段文字内容，根据数据中文字是否包含输入文字进行分支选择，输出原始数据文字相等判断：输入一段文字内容，根据输入文字进行比对进行分支选择，输出原始数据
置信度判断：输入一个0~100范围内的数字作为阈值，根据输入识别置信度大小于进行分支选择，输出原始数据
7.字符串工具模块功能
结果拆分：接收一个识别结果，分别输出文字和置信率数字。
开头连接文字：输入一段文字用作开头，连接其他数据合并输出新的一段文字。
结尾连接文字：输入一段文字用作结尾，连接其他数据合并输出新的一段文字。
首尾插入文字：在一段文字的开头及结尾进行内容插入，合并输出新的一段文字。
文字连接：输入两个文字数据，将其进行连接合并后输出
8.模拟器件模块功能
电灯：输入一个开关量，控制模拟电灯的开关，输入真时开启，输入假关闭
风扇：输入一个开关量，控制模拟风扇的开关，输入真时开启，输入假关闭
道闸：输入一个开关量，控制模拟道闸的开关，输入真时开启，输入假关闭
电子秤：输入一个数字量，模拟电子秤器件进行重量数字输出
智能货架：模拟一个盛装指定物品的货架，仅接收完全匹配的文字数据，并进行货物计数，对外输出当前货物数量。
9.图像识别模块功能
图片通用识别：接收图片，输出图片的主体信息
图片主体识别：接收图片，输出图片的主体位置信息
商标图片识别：接收图片，输出图片的商标（LOGO）信息、图片中商标所在矩形框坐标
动物图片识别：接收图片，输出图片中的动物信息
植物图片识别：接收图片，输出图片中的植物信息
果蔬图片识别：接收图片，输出图片中的果蔬信息
菜品图片识别：接收图片，输出图片中的菜品信息
单车辆检测：接收图片，输出图片的单个车辆信息、图片中车辆所在矩形框坐标
多车辆检测：接收图片，输出图片的多个车辆信息、图片中车辆所在矩形框坐标
10.图像处理模块功能
图片裁剪：接收图片、坐标信息，对图片数据进行裁剪，并输出图片
图片标注：接收图片、坐标信息，对图片数据进行画框标注，并输出图片
图片去雾：对浓雾天气下拍摄，导致细节无法辨认的图像进行去雾处理，还原更清晰真实的图像。输入一张图片，输出一张图片。
对比度增强：调整过暗或者过亮图像的对比度，使图像更加鲜明。输入一张图片，输出一张图片。
图像无损放大：在尽量保持图像质量的条件下，将图像在长宽方向各放大两倍，输入一张图片，输出一张图片。
拉伸图像恢复：自动识别过度拉伸的图像，将图像内容恢复成正常比例。输入一张图片，输出一张图片。
清晰度增强：对压缩后的模糊图像实现智能快速去噪，优化图像纹理细节，使画面更加自然清晰。输入一张图片，输出一张图片。
人物动漫化：结合人脸检测、头发分割、人像分割等技术，量身定制千人千面的二次元动漫形象。输入一张图片，输出一张图片。
人物动漫化-口罩：结合人脸检测、头发分割、人像分割等技术，量身定制千人千面的二次元动漫形象。（人物将佩戴口罩）输入一张图片，输出一张图片。
11.内容识别模块功能
文字识别：接收图片，输出图片中的文字信息，以及图片中文字信息所在矩形框坐标
车牌识别：接收图片，输出图片的车辆的车牌文字信息
条形码识别：接收图片，输出图片中的条形码信息
二维码识别：接收图片，输出图片中的二维码信息
数字识别：接收图片，输出图片中的一个数字信息
12.人脸识别模块功能
人脸检测：接收图片，检测图片中的人脸信息，输出一个人脸ID和所在坐标。
人脸比对：接收图片，输入两张人像照片，对比后根据相似程度高低输出一个0~100的数字。
人脸活体检测：接收图片，检测图片中的一个人脸活体信息，输出0~100的活体分数值，数字越大越可能是活体人脸。
人脸颜值检测：接收图片，检测图片中的一个人脸颜值信息，输出0~100分的颜值数值，数字越大越漂亮。
人脸年龄检测：接收图片，检测图片中的一个人脸年龄信息，输出年龄数值。
人脸笑容检测：接收图片，检测图片中的一个人脸笑容信息，输出笑容类型，结果分不笑、微笑、大笑。
人脸性别检测：接收图片，检测图片中的一个人脸性别信息，输出男性/女性。
人脸类型检测：接收图片，检测图片中的一个人脸类型信息，判断是真实人脸还是卡通人脸，输出类型。
人脸合成检测：接收图片，检测图片中的一个人脸信息是否属合成图，输出0~100的分数值，数字越大越可能是合成图而非真实照片。
人脸眼镜检测：接收图片，检测图片中的一个人脸眼镜信息，输出眼镜类型，结果分无眼镜、普通眼镜、墨镜。
13.语音识别模块功能
语音识别：接收音频数据，转为文字信息
14.语言识别模块功能
文本相似度：输入两段短文，判断两个文本的相似度得分，得分区间0~100，输出一个数字
文本纠错：识别输入文本中有错误的片段，并给出正确的文本结果。输出文字。
情感倾向分析：对只包含单一主体主观信息的文本，进行自动情感倾向性判断（积极、消极、中性），并给出相应的置信度。
15.语言处理模块功能
机器人对话：AI对话机器人，输入文字数据，输出对话结果
文章摘要生成：自动抽取文章中的关键信息，进而生成50字的文章摘要，文章长度需大于50字符，小于3000字符
地址识别：帮助精准提取快递填单文本中的姓名、电话、地址信息，通过自然语言处理辅助地址识别做自动补充和纠正，生成标准规范的结构化信息。
十二、超融合管理平台
一、配置:
- 采用2.4GHz 24核CPU。
- 内存512GB DDR4。
- 配置1个硬盘笼模块。
- 硬盘容量7.2TB。
- 配置2块480GB SSD和2块1TB NVMe系统盘。
- 配备FHHL转接卡。
- 配备超级电容电源保护模块。
- 配备12Gb SAS RAID卡。
- 配备4个10GE SFP+网口。
- 配备4个GE电口。
- 配备双550W交/直流电源。
- 配备SAS转接线、风扇模块等。
- 配备超融合管理软件License。
二、管理平台软件:
- 支持一键固件升级。
- 支持故障诊断功能。
- 支持温度监控。
- 支持设备基本管理。
- 支持操作系统部署。
- 支持本地系统复制。
- 支持故障短信和微信提醒。
十三、超融合计算平台
- 采用双CPU,频率2.4GHz,核心数不低于24核,缓存35MB,TDP，165W。
- 内存容量640GB DDR4。
- 配置1个硬盘笼模块。
- 硬盘总容量12TB。
- 配置480GB SSD系统盘2块,960GB NVMe系统盘2块。
- 配备FHHL转接卡。
- 配备含超级电容的电源保护模块。
- 配备12Gb 2端口SAS RAID卡,支持8个SAS口,2G缓存。
- 配备4个10GE SFP+网口,含4个光模块。
- 配备4个GE电口。
- 配备双550W交/直流电源。
- 配备SAS电缆、2U风扇模块、一体机预装模块。
- 配备超融合管理软件License。
十四、机柜
- 空间尺寸2000mm宽x600mm深x1000mm高的42U标准机柜。
- 主要采用优质冷轧钢板材料。
- 表面处理包括脱脂、酸洗、镀锌磷化和静电喷漆。
- 包含42U立柱4根,前后门各1个,侧板2块,支架4个,脚轮4个,托盘3个,风扇2台。
- 板材厚度:立柱2.0mm,其他部件不低于1.1mm。
- 集成2块4000W 8位16A多功能电源分配单元。
- 包含1台KVM设备:视频接口8个VGA,最大连接256台,分辨率1280×1024。
十五、三层交换机
- 要求三层网络核心交换机。
- 提供24个万兆光口和2个40G光口。
- 支持IRF2虚拟化技术,能将多台设备虚拟为一台。
- 交换容量2.56Tbps,堆叠后23.04Tbps。
- 包转发率540Mpps。
- 支持静态/动态链路聚合,10GE端口聚合。
- 支持IPV4/IPV6静态路由,以及RIP等动态路由协议。
十六、其余硬件设施
纳米智慧互动黑板、学生终端、实验台（双人工位）、智慧机房管理系统、多功能讲台、监控系统、空调、精密空调、电动窗帘、系统集成。
