云计算hadoop
发布日期:2015-04-24浏览:4092
-
课程背景
现今企业数据仓库和关系型数据库擅长处理结构化数据,并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类,同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。
本课程就重点探讨云计算与Hadoop系统的组成部分,并解释各个组成部分的功能。课程对象
从IT行业和通信行业的构架师、数据分析师、程序员、工程师、产品经理课程时长
12 H课程大纲
第一讲:Hadoop概述
1.什么是Hadoop
2.为什么要选择Hadoop
3.Hadoop关键词和术语
第二讲:Hadoop的单机部署
1.部署条件
支持平台
所需软件
安装软件
2.下载源
3.运行Hadoop集群的准备工作
4.Hadoop单机操作方法
5.伪分布式模式的操作
配置文件
免密码Shh设置
执行程序
第三讲:Hadoop集群搭建
1.Hadoop软件安装
2.Master配置
3.Slave配置
4.初始化和启动Hadoop集群
初始文件系统
启动Hadoop
停止Hadoop
5.测试用例
6.管理界面与命令
第四讲:Hadoop架构分析
1.HDFS特点与角色
2.MapReduce介绍
3.综合架构分析
4.Hadoop应用
第五讲:Hadoop系统维护
1.Hadoop的系统监控
2.Hadoop中的命令总结
3.NameNode与JobTracker单点故障说明
4.经验总结
5.其它日常问题说明