DIV滚动条的问题

Posted on

DIV滚动条的问题

CSDN-CSDN社区-.NET技术-ASP.NET

收藏 不显示删除回复显示所有回复显示星级回复显示得分回复 DIV滚动条的问题[问题点数:50分,结帖人:megshin]

公司简介|广告服务|银行汇款帐号|联系方式|版权声明|法律顾问|问题报告北京创新乐知广告有限公司 版权所有, 京 ICP 证 070598 号世纪乐知(北京)网络技术有限公司 提供技术支持Copyright © 1999-2009, CSDN.NET, All Rights ReservedGongshangLogo

个人空间 帐号:ckpckphaha 昵称:翅膀卷起风暴 心生呼啸 最新帖子:

  1. 100分求助:是否可以实…
  2. 终于发现了这个惊天大咪咪…
  3. 五个裤衩了,小散200分… 更多帖子...

div显示滚动条和控制滚动条属性的css代码

Posted on

div显示滚动条和控制滚动条属性的css代码 - 老吧网 (2)

老吧

  • 疲惫的一天,记录点滴的进步与成长,还在那个老吧,不见不散

首页 网站推广 摄影 创意设计 网站技术 Photoshop教程 营销 艺术图库 小游戏 外贸英语 热播电影 ebay开店技巧 SQL数据库 服务器安全 Alpha原厂定焦广角镜头 Alpha原厂定焦标准镜头 Alpha原厂望远定焦镜头 Alpha原厂广角变焦镜头 索尼单反副厂变焦镜头 Godaddy(GD)美国空间 索尼副厂定焦镜头 || 联合搜索 在线翻译 留言

div显示滚动条和控制滚动条属性的css代码

分类:网站技术 | lao8发表于 2009-6-9 15:44:00

div显示滚动条的css代码

这里是你要显示的内容

效果如下:

显示滚动条的代码

div显示上下滚动条的css代码

这里是你要显示的内容

div只显示上下滚动条

OVERFLOW-Y:scroll;这段是关键

修改div滚动条颜色的css代码

这里是你要显示的内容
修改滚动条颜色的代码

  • SCROLLBAR-FACE-COLOR(立体滚动条凸出部分的颜色)
  • SCROLLBAR-HIGHLIGHT-COLOR(滚动条空白部分的颜色)
  • SCROLLBAR-SHADOW-COLOR(立体滚动条阴影的颜色)
  • SCROLLBAR-ARROW-COLOR(上下按钮上三角箭头的颜色)
  • SCROLLBAR-BASE-COLOR(滚动条的基本颜色)
  • SCROLLBAR-DARK-SHADOW-COLOR(立体滚动条强阴影的颜色)

  • 来源:原创

  • 版权声明:版权所有,转载时必须以链接形式注明作者和原始出处及本声明。
  • 原创作者:lao8
  • 本文链接地址:http://www.lao8.org/html/8/2009-6-9/div_css/
  • 文章名:div显示滚动条和控制滚动条属性的css代码 标签:div 显示滚动条

收藏到收藏夹

相关"div 显示滚动条"文章

网友点评

卢松松 2009-6-12 14:01:00 | [回复]

拜读了老吧的创作。受益匪浅! 股票行情 2009-6-15 11:25:00 | [回复]

学一个是一个 博主好崇拜你哦 本田摩托车 2009-6-15 11:26:00 | [回复]

好想认真学学 亦歌 2009-7-11 8:50:00 | [回复]

不错,不过好像滚动条还是默认的好看。 sknys 2009-7-16 13:51:00 | [回复]

链你一下网页编程专题网www.sknys.cn

发表见解

username(必填) email(必填) website 提交

站内搜索

输入您的搜索字词 Web www.lao8.org 提交搜索表单

按分类归档

lao8 最新文章:

苏ICP备07500238号 | tc_show@126.com 网站统计 1 链向本页

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

Posted on

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

原文出处: 钱五哥の共享空间

今天参加了3个keynotes,42个session中的8个,和一大堆厂商讨论技术,真是信息大爆炸的一天。

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

Hadoop从诞生到今年已经有7个年头,今年出现了很多新的变化:

1、Hadoop被公认是一套行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力(Gartner)。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司,如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入,Teradata还公开展示了一个一体机;另一方面创业型Hadoop公司层出不穷,这次看到的几个是Sqrrl、Wandisco、GridGain、InMobi等等,都推出了开源的或者商用的软件。

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

2、Hadoop生态系统丰富多彩,但是核心已经被Cloudera、HortonWorks牢牢掌控,基本上没有撼动之可能。今年Hortonworks的宣传是100% open source,Cloudera只好干着急,谁叫他不开放Cloudera Enterprise Manager的源代码呢?Hortonworks介绍Ambari的时候,会场至少5个Cloudera的工程师在仔细聆听,有个小伙不停地在iPad上面速记,竞争可见一斑,个人估计,Cloudera早晚将Enterprise Manager开源。Hortonworks目前Ambari的committer是20+,Contributor 50+,后一个数字可能有些水,但是第一个是没有问题的。目前每天有update,1.25版本比1.0x版本明显好用了。其他大小厂商的生存之道就是搞插件,如Wandisco、vmware、mellanox、GridGain,而且插件均是不用修改内核的外挂 – 这些厂商是没有能力动内核的,持续投入可能会有一些作用,如vmware,但是一线hadoop厂商是绝不会松手的。

3、Hadoop 2.0转型基本上无可阻挡。Hortonworks的VPArun在介绍Tez的时候,给出了很多有趣的ppt,主旨就是一个:MapReduce已经是昨日黄花,Yarn将是未来并行计算的基础设施。我自己还没有使用Yarn,但是Hortonworks已经围绕Yarn开发了很多工具,尤其是Tez,这个玩意可以提升查询计划的执行时间,PIG和Hive将被改写并重装上阵。Hortonworks虽然没有搞出来Impala,但是从更底层的技术上包围Impala,两个老大的布局和较量始终没有停止。

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

4、SQL over Hadoop是一个重要的技术趋势。去年Hadoop World时,MPP还吹嘘自己如何牛X。但是Google发布了Dremel和PowerDrill,EMC搞出来HAWQ,Cloudera搞出来Impala之后,所有的MPP都开始反思自己的技术路线。和Parccel技术人员(感觉是售前)讨论了一下,她找出一张卡片说Parccel速度是Hive的100X,领先Impala10年。我感觉这个说话很快就会失灵,首先是Hive的优化一直没有停止,Hortonworks搞出来Tez、Stinger(与Facebook合作)。虽然MPP领先Hadoop很多年,根据80:20原则,如果hadoopSQL只做用户需要的20%特性,那么这个差距最多2年,2年内,hadoopSQL将在部分领域超越MPP。MPP企业的出路就是学习HAWQ。列存储也是推陈出新,近期主要是ORC(MS和Hortonworks合作)、Parquet(Twitter和Cloudera合作),有木有看出来两个巨头PK的身影?有木有看到抱团PK?这些技术在测试中均显示出很大的优势

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

5、IT和开源单位合作广泛。这个不仅仅存在IT厂商和开源之间,实际上开源之间也在密切合作。不太清楚合作的内部信息,但是基本上有两种模式:产品/软件交叉集成(含管理系统集成);合作开发和推广。在技术方面就要求软件有很好的架构,提供开放的接口,这一点Ambari的设计和俺对HT的要求一模一样,可以俺未能如愿,而Amabri已经开发了好几个版本。

6、技术上看,大数据和云的整合也是一个选项(注意,不是趋势,而是选项)。今年新增了OpenStack相关议题,一些集成商和厂商也提出了云上Hadoop的适用场景。这个并不是适用于所有人,但是部分用户可以因此获益。Netflix是一个典型的例子,他们的实例都在AWS上面,显然他们的hadoop是基于虚拟机的,和一个Netflix小伙子(日本人)交流,他们大约有2000个虚拟实例,基于EMR,并开发了Gennie管理系统。

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

要睡觉了,4小时后还有一场信息大爆炸!贴一张在宾馆小院乘凉,看到的小松鼠吧,也就距离我5米不到,真要赞一声美帝的环境!

Hadoop Summit 2013见闻:看完基本了解整个Hadoop生态圈格局和趋势了

相关信息:

  1. Hadoop Summit 2013 Day1:BOF&Meetup 1 vote, average: 5.00 out of 51 vote, average: 5.00 out of 51 vote, average: 5.00 out of 51 vote, average: 5.00 out of 51 vote, average: 5.00 out of 5 (*1 个评分,平均: 5.00*)

Loading ... Loading ...

HDFS写入和读取流程

Posted on

HDFS写入和读取流程

您还未登录!|登录|注册|帮助

guisu,程序人生。

能干的人解决问题。智慧的人绕开问题(A clever person solves a problem. A wise person avoids it)

HDFS写入和读取流程

分类: 云计算hadoop 2012-02-14 23:50 8282人阅读 评论(17) 收藏 举报 存储hadoopimagesystemmysql

目录(?)[+]

  1. 一HDFS
  2. 二HDFS的体系结构
  3. 三读写流程

  4. GFS论文提到的文件读取简单流程

  5. 详细流程
  6. GFS论文提到的写入文件简单流程

  7. 详细流程

  8. 一、HDFS

HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB,GB以及TB,并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改,则并不是十分适合。

目前HDFS支持的使用接口除了Java的还有,Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized chunk组织其文件内容的,默认的block大小为64MB,对于不足64MB的文件,其会占用一个block,但实际上不用占用实际硬盘上的64MB,这可以说是HDFS是在文件系统之上架设的一个中间层。之所以将默认的block大小设置为64MB这么大,是因为block-sized对于文件定位很有帮助,同时大文件更使传输的时间远大于文件寻找的时间,这样可以最大化地减少文件定位的时间在整个文件获取总时间中的比例 。

二、HDFS的体系结构

构成HDFS主要是Namenode(master)和一系列的Datanode(workers)。Namenode是管理HDFS的目录树和相关的文件元数据,这些信息是以"namespace image"和"edit log"两个文件形式存放在本地磁盘,但是这些文件是在HDFS每次重启的时候重新构造出来的。Datanode则是存取文件实际内容的节点,Datanodes会定时地将block的列表汇报给Namenode。

由于Namenode是元数据存放的节点,如果Namenode挂了那么HDFS就没法正常运行,因此一般使用将元数据持久存储在本地或远程的机器上,或者使用secondary namenode来定期同步Namenode的元数据信息,secondary namenode有点类似于MySQL的Master/Salves中的Slave,"edit log"就类似"bin log"。如果Namenode出现了故障,一般会将原Namenode中持久化的元数据拷贝到secondary namenode中,使secondary namenode作为新的Namenode运行起来。

                        ![]()

三、读写流程

GFS论文提到的文件读取简单流程:

**

详细流程:reading data from hdfs

文件读取的过程如下:

  1. 使用HDFS提供的客户端开发库Client,向远程的Namenode发起RPC请求;
  2. Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该block拷贝的DataNode地址;
  3. 客户端开发库Client会选取离客户端最接近的DataNode来读取block;如果客户端本身就是DataNode,那么将从本地直接获取数据.
  4. 读取完当前block的数据后,关闭与当前的DataNode连接,并为读取下一个block寻找最佳的DataNode;
  5. 当读完列表的block后,且文件读取还没有结束,客户端开发库会继续向Namenode获取下一批的block列表。
  6. 读取完一个block都会进行checksum验证,如果读取datanode时出现错误,客户端会通知Namenode,然后再从下一个拥有该block拷贝的datanode继续读。

GFS论文提到的写入文件简单流程:

                                 ![]()             

详细流程:writing data to hdfs

写入文件的过程比读取较为复杂:

  1. 使用HDFS提供的客户端开发库Client,向远程的Namenode发起RPC请求;
  2. Namenode会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会为文件创建一个记录,否则会让客户端抛出异常;
  3. 当客户端开始写入文件的时候,开发库会将文件切分成多个packets,并在内部以数据队列"data queue"的形式管理这些packets,并向Namenode申请新的blocks,获取用来存储replicas的合适的datanodes列表,列表的大小根据在Namenode中对replication的设置而定。
  4. 开始以pipeline(管道)的形式将packet写入所有的replicas中。开发库把packet以流的方式写入第一个datanode,该datanode把该packet存储之后,再将其传递给在此pipeline中的下一个datanode,直到最后一个datanode,这种写数据的方式呈流水线的形式。
  5. 最后一个datanode成功存储之后会返回一个ack packet,在pipeline里传递至客户端,在客户端的开发库内部维护着"ack queue",成功收到datanode返回的ack packet后会从"ack queue"移除相应的packet。
  6. 如果传输过程中,有某个datanode出现了故障,那么当前的pipeline会被关闭,出现故障的datanode会从当前的pipeline中移除,剩余的block会继续剩下的datanode中继续以pipeline的形式传输,同时Namenode会分配一个新的datanode,保持replicas设定的数量。

分享到:

  1. 上一篇:Hadoop Hive sql语法详解
  2. 下一篇:Hadoop HDFS分布式文件系统设计要点与架构

顶 3 踩 1 查看评论

3楼 huangbo1988911 2012-04-09 11:25发表 [回复] [引用] [举报]在写数据的过程中,一个文件被分割成很多blocks,这些block是按顺序一个个操作的,还是并发的进行传输的?Re: 真实的归宿 2012-04-09 12:45发表 [回复] [引用] [举报]回复huangbo1988911:写数据的是以流的方式传输,即管道的方式,一个一个block顺序传输。而不是像树形拓扑结构那样分散传输。Re: huangbo1988911 2012-04-17 18:03发表 [回复] [引用] [举报]回复hguisu:您好,很感谢您回答我,但是我仍有点疑惑,hdfs中的文件大小区分为:chunk<packet<block,在每个packet的传输到多个DN(datanode)的过程中是以pipeline方式,但是当其中一个block在以这种方式传输时,其他的block是要等待还是并发的进行呢?谢谢!Re: 真实的归宿 2012-04-20 16:23发表 [回复] [引用] [举报]回复huangbo1988911:管道方式,即是队列方式传输。只能一个block传完了,接着传下个block。Re: huangbo1988911 2012-04-30 18:18发表 [回复] [引用] [举报]回复hguisu:你好!如果这样,那hdfs的并发写实如何体现的呢?Re: 真实的归宿 2012-05-02 09:29发表 [回复] [引用] [举报]回复huangbo1988911:hdfs没有并发写入。Re: huangbo1988911 2012-05-03 23:39发表 [回复] [引用] [举报]回复hguisu:这样的话,那hadoop是比较适合大数据的处理了,对于文件的写的速度并没有多大的提高了?Re: 真实的归宿 2012-05-04 09:40发表 [回复] [引用] [举报]回复huangbo1988911:hadoop本来就是通往云服务的捷径,为处理超大数据集而准备。Re: huangbo1988911 2012-05-07 10:57发表 [回复] [引用] [举报]回复hguisu:这样hadoop的主要优势是在map/reduce那一块,而其文件系统有什么样的优势呢(在文件的读写方面,和其他的文件系统)?Re: 真实的归宿 2012-05-07 11:50发表 [回复] [引用] [举报]回复huangbo1988911:hdfs可以存储超大数据,而map/reduce要处理的数据存储在hdfs上,即MR分布式运算。Re: huangbo1988911 2012-05-09 22:35发表 [回复] [引用] [举报]回复hguisu: 那多个文件同时向hdfs写入是如何进行的呢?Re: huangbo1988911 2012-05-09 00:39发表 [回复] [引用] [举报]回复hguisu:恩,hdfs相对于其他的文件系统,除了更适合存储大数据以外,而且有很强的容错能力,但是对数据的读写等,没有并发性,只是采用了管道的方式,这可能是它的一个小缺点吧。2楼 CD_xiaoxin 2012-03-19 09:44发表 [回复] [引用] [举报]很详细 很有帮助 谢谢1楼 lin_FS 2012-03-16 10:01发表 [回复] [引用] [举报]client端的那个queue是在内存中,还是写在临时文件里了?Re: 真实的归宿 2012-03-19 09:43发表 [回复] [引用] [举报]回复lin_FS:client分割数据成一个个block(packet)这些数据都不在内存中,你可以想象,如果一个数据是100G,它你那个放进内存吗?Re: lin_FS 2012-03-21 17:26发表 [回复] [引用] [举报]在client端, 多个block(packet)组成一个队列,然后可以想象把文件(100G)分成若干个packet,如果队列满了就根本写不进去数据了,根本不会出现你想象的那种情况。我想了解的是,这个队列在内存中还是以文件的形式,呵呵Re: 真实的归宿 2012-03-31 18:47发表 [回复] [引用] [举报]回复lin_FS:这个队列肯定是文件的形式存在的。 您还没有登录,请[登录][注册]

/* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

hguisu TOP

个人资料

真实的归宿

  • 访问:481035次
  • 积分:6666分
  • 排名:第614名

  • 原创:190篇

  • 转载:1篇
  • 译文:0篇
  • 评论:313条

文章分类

展开

阅读排行

推荐文章 最新评论

ctqctq99: 他的意思可能是阻塞IO和非阻塞IO的区别就在于:应用程序的调用是否立即返回!这句话说反了。应该是非阻...

m1013923728: 写的通俗易懂!

ouwen3536: 很半,转起!

zhangyongbluesky: good

真实的归宿: @u012171806:conf/hbase-site.xml你应该看官方文档的快速入门。安装的东西...

JAVA_小陈: 我把hbase下载了,你上面说的需要配置一个xml文件,请问配置在什么地方呢?然后启动的时候是在什么...

mxhlee: 好东西啊!!!(实际是斜切向运动)这句话让我纠结了很长时间、我自己就感觉是这运动 但是没有一个介绍...

真实的归宿: @liaokailin:并没有反。实际就是这样的。

真实的归宿: @liaokailin:实际就是这样的。

廖凯林: 同步IO和异步IO的区别就在于:数据拷贝的时候进程是否阻塞!阻塞IO和非阻塞IO的区别就在于:应用程...

公司简介|招贤纳士|广告服务|银行汇款帐号|联系方式|版权声明|法律顾问|问题报告QQ客服 微博客服 论坛反馈 联系邮箱:webmaster@csdn.net 服务热线:400-600-2320京 ICP 证 070598 号北京创新乐知信息技术有限公司 版权所有世纪乐知(北京)网络技术有限公司 提供技术支持江苏乐知网络技术有限公司 提供商务支持Copyright © 1999-2012, CSDN.NET, All Rights Reserved GongshangLogo

Hadoop在CentOS下的单机配置

Posted on

Hadoop在CentOS下的单机配置

前言的前言

如果你做某件从未接触过的事的时候很纠结很曲折,那么为你自己高兴吧,你能学到很多东西!

以下的东西都是贴图,所以你们只有手敲了。我也不清楚这个东西是不是应该花很多时间去做,有得有失,某些付出不知道到底值多少。据//说一下午都能配出来,谁叫我傻呢,谁叫我蠢呢,不过该走的路咱还是踏实点走吧,不去跟人比。所以现在我把细节写出来,供大家参考,让你能在两小时内完成。希望它能帮助你学习,而不是让你变得更依赖。如有不对的地方请指正,我也是初学者。谢谢!

前言

做事总有个原因吧,那么我们为什么安装单机的Hadoop呢?因为官网上有安装单机hadoop,因为某权威网站有Ubuntu下安装单机hadoop,但是没有一个网站有CentOS下单机安装,所以我现在CentOS下面单机配置hadoop。

其实单机hadoop的安装没有什么实质的用处,主要用于初学者熟悉指令,以及对hadoop配置有个大致了解,以便于安装分布式。

首先,我们来理清思路。

目的:安装hadoop

Hadoop是需要在java环境下面运行,所以,首先要保证你的系统下面装有JDK。那么步骤是:配置SSH——安装JDK——安装hadoop(当然你愿意先安装它也完全没问题)——配置java的环境变量(需要知道java的安装路径)——配置namenode下面3个配置文件——格式化hadoop——启动hadoop。

我们用一般用户登录,然后切换到root下面,因为权限的问题,这样相比下会更安全点,注意linux下面尽量不要用root登录。

开始了

所需软件

CentOS、Java、Hadoop安装软件。本人用的版本为Linux Cent OS 5.5、jdk1.6.0_13、hadoop-0.20.2.tar.gz。

我们要提醒一下,linux下面很注意权限问题。我们应该以一般用户登录,然后切换至root用户才能使用某些命令,并能使系统处于相对安全的状态。

所以做如下处理,来切换到root用户。 Hadoop在CentOS下的单机配置

  1. SSH无密码验证配置(更建议放到最后一步进行,为非核心步骤,只是方便而已)

Hadoop 需要使用SSH 协议。

namenode 将使用SSH 协议启动 namenode和datanode 进程,配置 SSH localhost无密码验证。

(1)生成密钥对 Hadoop在CentOS下的单机配置

前面是为了切换到root下面

通过以上命令将在/root/.ssh/ 目录下生成id_rsa私钥和id_rsa.pub公钥。

(2)进入/root/.ssh目录在namenode节点下做如下配置: Hadoop在CentOS下的单机配置

可以用键入ssh localhost命令来看已经连接,会有这样的显示

Hadoop在CentOS下的单机配置

注意最后一行!跟第一行比较,发现我们用ssh进入到localhost了!但已不需要输入密码了。(这样说你们也一定不知道,如果把这个放到最后一步做就会更懂。)

本人认为这样设置会发现后面操作不会让你老是输入密码,并非核心步骤,大家可以试试先配置其它的,再到这一步,就明白为什么了。 来源: [http://www.linuxidc.com/Linux/2011-07/37992.htm](http://www.linuxidc.com/Linux/2011-07/37992.htm)

  1. 安装JDK

(1)下载JDK

建议到sun的官网上下载,地址如下:https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewFilteredProducts-SingleVariationTypeFilter

选择jdk-6u24-linux-i586.bin

(2)安装JDK

我把它装在/opt里面,所以切换到/opt下面。在命令行输入如下指令来执行JDK文件:

权限有问题!我们看看它的权限 Hadoop在CentOS下的单机配置

没有可执行的x标志,那么我们可以通过命令改变。如下操作:

Hadoop在CentOS下的单机配置

看到没,变成绿色的了。有人是把所有者、组、其他用户对该文件的权限都设置为可执行,不过我在这就只让它能被所有者执行就行了。(该文件可能不管紧要,其他重要的文件,我认为不能像他们那样设置。)

现在我们再执行它 Hadoop在CentOS下的单机配置

没有问题了吧,在开始解包了。

(1)Java环境变量配置

输入vim /etc/profile,添加如下的内容(在此我建议所有的都编辑都用vim取代vi,因为它有颜色变化,有语法问题的话很容易发现。) Hadoop在CentOS下的单机配置

保存好退出后,我们需要改变一下改文件的权限,并执行一下该文件使配置生效。(注:大家一定要小心版本和路径啊,)

Hadoop在CentOS下的单机配置

配置完后执行java –version

Hadoop在CentOS下的单机配置

显示java的版本

来源: [http://www.linuxidc.com/Linux/2011-07/37992p2.htm](http://www.linuxidc.com/Linux/2011-07/37992p2.htm)

  1. 安装Hadoop

(1)下载hadoop

到如下网址下载hadoop,存到/opt中,当然也可以手动点击下载。 Hadoop在CentOS下的单机配置

(2)解压hadoop到/opt/hadoop下面,当然没有现成的opt/hadoop这个目录,所以要新建。

Hadoop在CentOS下的单机配置

然后解压到/opt/hadoop下

Hadoop在CentOS下的单机配置

3.1 进入/opt/hadoop/hadoop-0.20.2/conf,配置Hadoop配置文件。

(1)配置java环境:修改hadoop-env.sh文件 Hadoop在CentOS下的单机配置

在最后加上这样的内容

Hadoop在CentOS下的单机配置

(2)配置Namenode的三个配置文件core-site.xml, hdfs-site.xml, mapred-site.xml。对应于/src/core/core-default.xml,但不能直接修改它,(hadoop启动时先读取src下面的core/core-default.xml,hdfs/hdfs-default.xml,apred/mapred-default.xml,里面缺失的变量由conf下面的三个-site文件提供)

这部分的配置建议参考官方网站(建议大家多上官网),如下:http://hadoop.apache.org/common/docs/current/single_node_setup.html

(2.1)配置core Hadoop在CentOS下的单机配置

(2.2)配置hdfs

Hadoop在CentOS下的单机配置

(2.3)配置mapred

Hadoop在CentOS下的单机配置

来源: [http://www.linuxidc.com/Linux/2011-07/37992p3.htm](http://www.linuxidc.com/Linux/2011-07/37992p3.htm)

4、启动Hadoop

(1)格式化namenode,(注意看清路径哦) Hadoop在CentOS下的单机配置

(2) 启动Hadoop守护进程

Hadoop在CentOS下的单机配置

这就表示你配置成功了,上面的一个都不能少

这时候你就可以点击进入下面的网站了。

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/

good luck

其实刚刚接触一个东西可能会觉得不好弄,一旦你弄好了以后就会很顺手。那时候你会告诉自己,这个东西装起来怎么这么白痴啊!赶紧开始下一个工作!加油! 来源: [http://www.linuxidc.com/Linux/2011-07/37992p4.htm](http://www.linuxidc.com/Linux/2011-07/37992p4.htm)