大数据专业主要学什么 课程有哪些
文章来源:小编 更新时间:2023-07-14 00:00:00
大数据需要学习:1。Java编程技术;2.Linux命令;3,Hadoop4,蜂巢;5.Avro和Protobuf;6.城市动物园;7,糖化血红蛋白8。凤凰等。
大数据专业主要学习内容为第一阶段:大数据前沿知识及hadoop介绍,大数据前言知识介绍,课程介绍,Linux及unbuntu系统基础,单机及伪分布式模式下hadoop的安装与配置。
第二阶段:hadoop部署进阶。Hadoop集群模型构建,Hadoop分布式文件系统HDFS深入分析。使用HDFS提供的api来操作HDFS文件。Mapreduce的概念和思想。
第三阶段:大数据导入和存储。mysql数据库基础知识,hive基本语法。蜂窝结构和设计原则。配置单元部署、安装和包装。Sqoop的安装和使用。将sqoop组件导入配置单元。
第四阶段:Hbase理论与实战。Hbase简介。安装和配置。Hbase数据存储。项目实战。
Stage /kloc -0/: Spaer配置和使用场景。Scala基础语法。spark的介绍和发展历史,以及spark stant单机模式的部署。SparkRDD详细解释。
Stage /kloc -1/: spark大数据分析原理。Spark内核,基本定义,spark任务调度。火花流实时流量计算。Sparkmllib机器学习Sparksql查询
大数据专业以就业为导向的大数据专业是帮助企业从数据管理、系统开发、海量数据分析与挖掘、以就业为导向的数据开发与管理、企业管理、城市环境治理等方面掌握大数据应用中各种典型问题的解决方案的专业。