博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
学习hadoop需要具备基础知识
阅读量:4229 次
发布时间:2019-05-26

本文共 902 字,大约阅读时间需要 3 分钟。

首先整体上了解,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题。在有了整体上的了解后,就开始准备系统地学习hadoop。建议:勿一味学习理论知识,要注意理论与实践相结合。在实际操作中查缺补漏,提高针对性、目的性。

总的来说,学习hadoop需要具备:

  • linux
    1、熟练操作linux常用命令以及网络配置;
    2、熟悉用户以及权限管理操作;
    3、熟悉软件包以及系统命令管理;
    4、学习shell编程。
  • java
    1、具备javaSE基础知识;
    2、暂时不需要java Web及各种框架知识。
  • 虚拟机
    1、搭建虚拟机;
    2、安装linux操作系统;
    3、配置虚拟机网络。
  • hadoop
    1、了解hadoop搭建的三种方式(单机模式、伪分布模式和分布式模式);
    2、掌握搭建伪分布式以及完全分布式集群;
    3、认识hadoop生态系统,了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等;
    4、学习MapReduce。MapReduce作为hadoop核心内容,要先易后难,首先了解Mapper、Reducer、Configuration、job等这些类,熟悉MapReduce流程图,然后写简单的单词统计代码,整体上对MapReduce认识,之后学习MapReduce运行机制,熟练掌握MapReduce输入格式,MapReduce输出格式,以及MapReduce优化;
    5、学习hadoop另一个核心内容HDFS。首先明白什么是hdfs,然后再分析hdfs的优点,然后再了解Hdfs的缺点有哪些,HDFS是如何存储数据的,采用什么样的架构,我们如何实现读取和写入HDFS中的文件,以及了解HDFS副本存放策略,同时熟练掌握HDFS的shell访问和java访问;
    6、学习hadoop另一个核心内容Yarn。首先要了解Yarn是什么,为什么使用Yarn,Yarn的构架,Yarn的原理。

转载地址:http://vaiqi.baihongyu.com/

你可能感兴趣的文章
Oracle Linux 6.1 + Oracle 11.2.0.1 RAC + RAW 安装文档
查看>>
Oracle 11g 新特性 -- Online Patching (Hot Patching 热补丁)说明
查看>>
Oracle 11g 新特性 -- ASM 增强 说明
查看>>
Oracle 11g 新特性 -- Database Replay (重演) 说明
查看>>
Oracle 11g 新特性 -- 自动诊断资料档案库(ADR) 说明
查看>>
CSDN博客之星 投票说明
查看>>
Oracle wallet 配置 说明
查看>>
Oracle smon_scn_time 表 说明
查看>>
VBox fdisk 不显示 添加的硬盘 解决方法
查看>>
Java多态性理解
查看>>
【屌丝程序的口才逆袭演讲稿50篇】第一篇:互联网时代U盘化生存方式 【张振华.Jack】
查看>>
CentOS6.4配置Hadoop-2.6.0集群配置安装指南(经过实战演练)【张振华.Jack】
查看>>
【屌丝程序的口才逆袭演讲稿50篇】第二篇:专注的力量 [张振华.Jack]
查看>>
BFS——求矩阵中“块”的个数
查看>>
BFS——走迷宫的最小步数
查看>>
并查集——好朋友
查看>>
关键路径
查看>>
Web前端学习笔记——JavaScript之事件详解
查看>>
Web前端学习笔记——JavaScript之事件、创建元素、节点操作
查看>>
Web前端学习笔记——JavaScript之正则表达式、伪数组、垃圾回收
查看>>