大数据管理员
Cloudera Aaminisrrator Training for Apache Hadoop
Hadoop管理员教学将帮助学员综合理解并全面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括:安装,配置、负载平衡及性能调优等。
课程时长:4天
课程讲师:原厂商讲师
课程基础:
·系统管理员和IT经理,需具备Linux经验
国际认证:CCA Administrator
课程概述:
1.简介
-为什么是Hadoop?
-Hadoop的核心部件
-基础概念
2.HDFS
-HDFS特性
-读,写文件
-NameNode内存的考虑
-HDFS安全性简介
-使用NamenodeWeb用户界面
-使用Hadoop文件Shell
3.数据导入HDFS
-用Flume将数据从外部源导入
-用Sqoop将数据从关系数据库导入
-REST接口
-输入数据的最佳实践
4.YARN和MapReduce
-什么是MapReduce?
-MapReduce基本概念
-YARN集群的架构
-资源分配
-故障恢复
-使用YARNWeb用户界面
-MapReduce版本1
5.为你的Hadoop集群做计划
-通用计划的考虑
-选择正确的硬件
-对网络的考虑
-配置节点
-为集群管理做计划
6.Hadoop安装和初始配置
-部署的类型
-安装Hadoop
-具体化Hadoop的配置
-执行HDFS的初始配置
-执行YARN和MapReduce的初始配置
-Hadoop日志系统
7.安装配置Hive、Impala和Pig
-Hive
-Impala
-Pig
8.Hadoop客户端
-什么是Hadoop客户端?
-安装配置Hadoop客户端
-安装配置Hue
-Hue授权和认证集群的
9.Cloudera管理器
-Cloudera管理器的动机
-Cloudera管理器的特性
-Express和Enterprise
-Cloudera管理器拓扑
-安装Cloudera管理器
-用Cloudera管理器安装hadoop
-用Cloudera管理器执行基本的管理任务
10.集群的高级配置
-高级配置参数
-配置Hadoop端口
-显性地添加或移除主机
-配置HDFS的机架认知
-配置HDFS高可用性
11.Hadoop的安全方案
-Hadoop的安全性的重要
-Hadoop的安全系统的概念
-Kerberos是什么,它如何工作
-用Kerberos来守卫Hadoop集群
12.管理,计划工作任务
-管理正在运行的工作
-计划Hadoop工作
-配置FairScheduler
-Impala的查询计划
13.集群的维护
-检查HDFS状态
-在不同集群间拷贝数据
-添加和挪去集群的节点
-重新平衡集群
-集群升级
14.集群的监控和故障诊断
-通用系统监控
-监控Hadoop集群
-常见的HadoopClusters的故障排除
-常见的错误配置
|