山东万德礼大数据开发工程师培训

关键词：山东万德礼大数据开发工程师培训班 济南大数据开发工程师培训班 济南万德礼大数据开发工程师培训

万德礼大数据开发工程师课程体系大纲介绍：

操作系统

数据库

Java初级

Java中级

Hadoop：

本节是最基本的课程，于入门级别，主要讲述在linux单机上面安装hadoop的伪分布模式，在Linux集群上面安装hadopo集群。对于不熟悉linux的同学，课程中会简单的讲解常用的1inux命令。这两种是必须要掌握的。通过现在的教学发现，很多同学并不能正确的配置环境。

本节是对hadoop核心之一--------hdfs的讲解。hdfs是所有hadoop操作的基础，属于基本的内容。对本节内容的理解直接影响以后所有课程的学习。在本节学习中，我们会讲述hdfs的体系结构，以及使用shell、Java不同方式对hadfs的操作。在工作中，这两种方式都非常常用, 学会了本节内容，就可以自己开发网盘应用了。在本节学习中，我们不仅对理论和操作进行讲解，也会讲解hdfs的源代码，方便部分学员以后对hadoop源码进行修改。然后，还要讲解hadop的RPC机制这是hadoop运行的基础,通过该节学习，我们就可以明白hadoop是怎么明白的了，不必糊涂了，本节内容特别重要

本节开始对haoop核心之一--mapreduce的讲解。 mapreduce是hadoop的核心,是以后各种框架运行的基础，这是必须掌握的。在本次讲解中，掌握mapreduce执行的详细过程，以单词计数为例，讲解mapreduce的详细执行过程。还讲解haoop的序列化机制和数据类型,并使用自定义类型实现电信日志信息的统计

Hbase

hbase是个好东西，在以后工作中会经常遇到，特别是电信、银行、保险等行业。本节讲解hbase的伪分布和集群的安装，讲解基本理论和各种操作。我们通过对hbase原理的讲解，让大家明白为什么hbase会这么适合大数据的实时查询。最后讲解hbase如何设计表结构，这是hbase优化的重点

Hive

课程的目的就是把Hive框架的边边角角都涉猎到,重点讲解Hive的数据库管理、数据表管理、表连接、查询优化、如何设计Hive表结构。这都是工作中最急需的内容，是工作中的重点

zookeeper

-Zookeeper是什么

-搭建zookeeper集群环境

-如何使用命令行操作zookeeper

-如何使用java操作zookeeper

CM+CDH集群管理

由clouder a公司开发的集群web管理工具cloudera manager (简称CM)和CDH目前在企业中使用的比重很大，掌握CM+CDH集群管理和使用不仅简化了集群安装、配置、调优等工作，而且对任务监控、集群预警、快速定位问题都有很大的帮助

Sqoop

-sqoop适用于在关系数据库与hdfs之间进行双向数据转换的，在企业中，非常常用

-Sqoop是什么

-实战:讲解Sqoop如何把mysq1中的数据导入到hdfs中

-实战: 讲解Sqoop如何把hdf s中的数据导出到mysq1中

-Sqoop如何做成job,方便以后快速执行

Flume

Flume是cloudera公布的分布式日志收集系统，是用来把各个的服务器中的数据收集，统一提交到hdfs或者其他目的地，是hadoop存储数据的涞源，企业中非常流行

Kafka

Kafka是消息系统，类似于ActiveMQ、Rabbi tI.但是效率高

Storm

storm是专门 用于解决实时计算的，与hadoop框架搭配使用。本课程讲解Storm的基础结构、理论体系，如何部署Storn集群，如何进行本地开发和分布式开发

redis

redis是一款高性能的基于内存的键值数据库，在互联网公司中应用很广泛

Scala

Scala是学习spark的必备基础语言，必须要掌握的

Spark

Spark是一款高性能的分布式计算框架，传言比MapReduce计算快100倍，本课程为你揭秘

Mahout

Mahout是数据挖掘和机器学习领域的利器，本课程是带领大家进入到这个领域中。课程内容包括Mahout体系结构介绍、Mahout如何在推荐、分类、聚类领域中使用

Impala

Impala是Cloudera公司参照GoogleDreme系统进行设计并主导开发的新型查询系统，它提供复杂SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据

Elastic Search

-elasticsearch简介

-elasticsearch和solr的对比

-elasticsearch安装部署

-elasticsearch service wrapper启动插件

-使用curl操作elasticsearch索引库

-elasticsearch DSL查询

-elasticsearch批量查询meet

-elasticsearch批量操作bulk

-elasticsearch插件介绍

-elasticsearch配置文件详解

-java操作elasticsearch

-elasticsearch的分页查询

-elasticsearch中文分词工具的集成

-elasticsearch优化

-elasticsearch集群部署

Oozie

oozie是Hadoop生态系统中比较重要的框架，在系统中扮演的角色是工作流引擎服务器，用于运行HadoopMap/Reduce任务工作流(包括MR、Hive、Pig、Sqoop等) ，企业中多由于整个项目流程任务调度

Kettle

Kettle是一款国外开源的en工具，纯java编写，可以在Window. Limx、Unix上运行，数据抽取高效稳定。ETL是指数据的抽取(extract)、转换(transform) 、加载(load)至目的端。

Ganglia

Ganglia是一个对于数以万计的节点的各个指标的图表监控框架，提供完整的一套图形监控界面，支持C、C+、Python扩展自定义指标和用户视图

Tachyon

Tachyon是一个开源分布式内存存储系统，拥有高性能、高容错等优点。并具有类Java的文件API、插件式的底层文件系统、兼容Hadoop MapReduce和Apache Spark等特征。Tachyon能够为集群框架(如Spark、 MapReduce等)提供内存级速度的跨集群文件共享服务，官方号称比KDPs吞叶量高300倍。

Python

-Python简介

-Python基本语法

-使用Python写MapReduce程序、Spark程序

行业业务

互联网电商爬虫项目

某网站互联网日志分析项目

-通过大数据工具将互联网中的日志的采集、清洗、分析统计出常见的互联网指标;开发各种维度VW的分布报表、各个指标每日、月指标报表，用于对产品做出正确的决策,数据的正确性校对问题，临时性的图表的开发

高频数据实时流处理项目

该项目实现对业务数据系统的高频日志数据进行实时收集和业务处理