2020-08-25 09:21:23
大数据专业课程涵盖多个方向,具体如下:
学习内容
核心框架与工具:Hadoop/Hive、Hbase/Redis、Strom、Spark、Kafka等是大数据处理的核心框架与工具。Hadoop用于大规模数据存储和分布式计算;Hive提供类似SQL的查询语言,方便对Hadoop中的数据进行管理;Hbase是基于Hadoop的分布式数据库;Redis是高性能的键值对数据库,常用于缓存;Strom是实时计算框架;Spark是快速通用的集群计算系统,支持多种数据处理模式;Kafka是分布式流处理平台,用于构建实时数据管道和流应用。
编程语言:SCALA是一种多范式编程语言,运行在Java虚拟机上,与Spark等框架结合紧密,能高效开发大数据应用。
项目实践:Zebra项目让学生将所学知识应用于实际场景,提升实践能力。
平台基础:Linux云平台是大数据运行的基础环境,学生需要掌握其基本操作和管理,以便部署和管理大数据应用。
适应岗位:该方向课程培养的学生可胜任Spark大数据开发工程师、Hadoop大数据开发工程师、Strom大数据开发工程师等岗位,负责大数据平台的搭建、开发和维护,实现数据的存储、处理和分析。
学习内容
统计学基础:统计学是数据挖掘和机器学习的基石,学生需要掌握概率论、数理统计等知识,为后续模型建立提供理论支持。
编程语言:R语言是一种用于统计分析、绘图的语言和操作环境,具有丰富的统计分析和图形展示功能,是数据挖掘和机器学习领域常用的工具。
各类模型:回归模型用于预测连续型变量;正则化模型可防止过拟合,提高模型泛化能力;集成判断模型通过组合多个基学习器提高预测准确性;聚类模型用于将数据分组,发现数据中的内在结构。
适应岗位:学习此方向课程的学生可从事大数据数据分析工程师、数据挖掘工程师等工作,从海量数据中提取有价值的信息,为企业决策提供支持。
学习内容
框架整合:Redis&SpringBoot整合、Mycat&SpringBoot整合等课程,让学生掌握如何将不同的框架和技术进行集成,构建高效、稳定的互联网应用。
搜索引擎原理与应用:Lucen原理讲解及使用课程,使学生了解搜索引擎的工作原理,掌握如何利用Lucene构建自己的搜索引擎,实现对文本数据的高效检索和分析。
适应岗位:该方向课程培养的学生可担任中高级Java开发工程师、全栈工程师、数据库开发工程师、Java互联网开发工程师等职位,负责互联网应用的设计、开发和维护,确保应用的高性能、高可用性和可扩展性。