- 浏览: 25636 次
最新评论
在Windows下安装Hadoop遇到的几个问题
2010年12月01日
Hdoop的荐部署环境是linux,但是我们想要在windows体验一下还是可以的,尤其是对我这样不是经常使用Linux系统的人。Windows下安装配置Hadoop的教程还是挺多的,这里可以下载。
下面我说说安装配置过程中遇到的一些问题吧,给自己以后提供借鉴。
我的操作系统是Windows 7,使用的Cygwin版本是1.7.7-1,hadoop版本是0.20.2。 1. SSH服务的安装 在安装SSH服务的过程中,如果按照网络教程上的步骤,在Win7下会有问题,安装完成后测试ssh localhost,遇到connection closed by ::1的问题,通过网上搜索,搜索到一片E文的解决方法,里面详细讲解了从卸载已经安装的服务到成功安装的各个步骤,比较详细,我也上传到了这里,其中的vista-cygwin.txt。有些不爽的是经过这些步骤,会给系统增加一个用户。当然SSH服务安装成功的就好啦。 2. SSH连接REMOTE HOST IDENTIFICATION HAS CHANGED解决方法 说到SSH连接,我想到了以前使用SSH连接时候遇到的一个问题,远程一台机器被我重装了,虽然IP地址和用户名都没有变,但是用其他客户端连接就出现上述提示,这里需要将 ~/.ssh/know-hosts文件中和该机器相关的rsa信息删除,然后再添加一下。删除命令:ssh-keygen R XXX.XXX.XXX.XXX。当然也可以手动去删除。 3. Java SDK路径配置的问题--hadoop-env.sh配置 在Hadoop的配置文件,hadoop-env.sh中,需要添加Java SDK的路径。要知道,Cygwin中并没有安装Java,那么只能使用Windows下安装的JDK。看了网上的文章,只是提到说export后面的路径需要用双引号括起来,因为一般JDK都是安装在"Program Files"下的。但是我这么添加以后,就是不行,报错"JAVA_HOME is not set"还是"…Program cannot found"来着,不太记得了,反正就是启动Hadoop的时候报错。经过研究后知道,首先Cygwin下不能使用windows的路径直接访问,需要是Linux风格的目录,如果是访问C盘下安装的JDK的话,不能使用"C:\Program Files\Java\jdk1.6.0_22",而需要使用这样"/cygdrive/c/Program Files/Java/jdk1.6.0_22";其次是hadoop好像不能识别带空格的目录路径,那怎么办呢,想到了符号链接,通过在Cygwin下创建一个符号链接,指向我的JDK安装目录,使用这样的命令:ln "C:\Program Files\Java\jdk1.6.0_22" /usr/local/jdk1.6.0_22. 这样就在/usr/local/下创建了一个Windows下JDK目录的符号链接,如果使用:cd /usr/local/jdk1.6.0_22, 然后ls下,就会发现已经在jdk的安装目录下了。然后在hadoop-env.sh中export JAVA_HOME=/usr/local/jdk1.6.0_22,这样就OK了。 4. hadoop-env.sh:line 2:$'\r':command not found错误 如果将hadoop-env.sh用Windows下的编辑软件编辑以后,再使用的话可能出现上述错误,使用dos2unix工具修正下,在conf/目录下执行"dos2unix hadoop-env.sh"就OK了。 5. Hadoop启动的问题--process information unavailable 好不容易配置好了hadoop,很兴奋,于是在赶紧启动hadoop,"start-all.sh",启动好像没有什么问题。使用jps列举下本机的java进程,发现怎么有几个进程显示"process information unavailable",这是怎么回事?突然想起为什么要安装SSH呢,于是SSH连接到本机,然后再启动hadoop,在jps,OK这下所有进程信息都列举出来了。具体是什么原因,我现在还不太清楚。 6. Hadoop启动的问题--Server at localhost/127.0.0.1:8888 not available yet 经过上面的步骤,好像Hadoop运行没有问题了,TaskTracker、JobTrack、DataNode、NameNode都启动了,好像没有问题了,但是执行"./hadoop fs ls /"命令是,会出现"Retrying connect to server: localhost/127.0.0.1:8888. Already tried X time(s). … Server at localhost/127.0.0.1:8888 not available yet",这又是为什么呢?查找后发现原来是HDFS在第一次用的时候需要初始化,安装完后就直接启动了,使用命令:./hadoop namenode format, 进行文件系统的格式化,然后再"./start-all.sh",再执行"./hadoop fs ls /",看到"Found 1 items
drwxr-xr-x - huangzhtao-pc\cyg_server supergroup 0 2010-11-27 17:26 /tmp",总算成功了。 7. 浏览器访问的说明
浏览器下查看Hadoop系统情况的地址。 配置hadoop真是一个充满挑战的过程,遇到了很多问题,记录下来,供以后参考。
附件:附件是一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明。
发表评论
-
windows下使用gcc编译boost库
2012-01-20 01:02 3533windows下使用gcc编译boost ... -
Visual Studio 2008 SP1 补丁安装时发生严重错误-安装失败-解决方法整合版!-分享
2012-01-20 01:02 2886Visual Studio 2008 SP1 补丁 ... -
编译 boost
2012-01-20 01:02 805编译 boost 2011年05月17日 ... -
将 Flex 3 的应用程序迁移到 Flex 4 ―第 1 部分:将 Flex 3 Dashboard 应用程序导入 Flash Builder 4
2012-01-20 01:02 693将 Flex 3 的应用程序迁移到 Flex 4 ―第 1 部 ... -
网络语言进课堂:上海禁止北京面对
2012-01-19 08:51 662网络语言进课堂:上海禁 ... -
跟着我去流浪
2012-01-19 08:51 621跟着我去流浪 2011年09 ... -
关于非诚勿扰
2012-01-19 08:51 655关于非诚勿扰 2012年01月17日 ... -
全国十大美女城市客观排行 2008/03/08 11:0
2012-01-19 08:51 699全国十大美女城市客观排行 2008/03/08 11:0 2 ... -
CUDA的VISUAL STUDIO 2008环境配置(转)
2012-01-17 01:19 1051CUDA的VISUAL STUDIO 2008环境配置(转) ... -
3dsmax使用哪个版本好
2012-01-17 01:19 37423dsmax使用哪个版本好 20 ... -
关于Android的一些设计
2012-01-17 01:19 657关于Android的一些设计 2012年01月13日 ... -
WMI(Windows管理规范)常见问题解答
2012-01-17 01:19 717WMI(Windows管理规范)常见 ... -
下载安卓源代码过程
2012-01-17 01:19 688下载安卓源代码过程 2011年12月23日 linux和 ... -
学编程的同学看看
2012-01-15 20:02 633学编程的同学看看 2009年11月21日 ... -
三种语言的下载者源代码:C Delphi Vb
2012-01-15 20:02 768三种语言的下载者源代码:C Delphi Vb 2010年0 ... -
发几个vb整人小程序代码.第一次发帖.希望大家多多支持
2012-01-15 20:02 1226发几个vb整人小程序代 ... -
VB制作快捷打开电脑里的应用软件比如:我的电脑 网上邻居 等....
2012-01-15 20:01 627VB制作快捷打开电脑里的应用软件比如:我的电脑 网上邻居 等. ... -
VB如何连接帮助文件
2012-01-15 20:01 786VB如何连接帮助文件 2009年12月04日 VB如何 ... -
关于在后台实现前台表单的格式验证设计(annotation+spring aop)iteye技术网站
2012-01-11 12:12 732关于在后台实现前台表单的格式验证设计(annotation+s ... -
java操作word等
2012-01-11 12:12 504java操作word等 2011年05月01日 1、一个 ...
相关推荐
windows上安装hadoop教程,详细介绍了安装规则。
windows下安装hadoop的依赖库文件 hadoop2.6.5 --- hadoop3.2.1
在Windows上安装Hadoop 使用cygwin模拟使用linux环境 体验hadoop的分布式计算优势
windows下安装hadoop的依赖库文件,将bin和etc文件夹里面的内容替换hadoop解压目录的文件即可!大家好好学习!
Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop Windows安装hadoop
这是本人经过实践总结出来的一套及其详尽的windows下安装hadoop教程,绝对好用!如果配置上有什么问题的话,可以随时联系我。
windows安装需要的Hadoop库文件,windows安装需要的Hadoop库文件.
本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的朋友可以过来看看。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 资源太大,传百度网盘了,...
详细讲述了在windows环境下,如何成功安装Hadoop分布式处理环境,值得学习。
在Windows上安装Hadoop教程-在Windows上安装Hadoop教程
一份Windows上安装hadoop的教程和Vista/Win7上安装sshd服务的说明
windows环境下的hadoop3.1.0依赖,winutils
在windows环境下进行hadoop的安装
Win本地执行Hadoop所需文件,本人博客(邵奈一CSDN)有配套教程:Windows本地安装Hadoop,请自行搜索,谢谢。
windows下hadoop2.7.3环境问题的解决,亲测win10、win7皆可使用
在Windows上安装Hadoop教程.pdf 在Windows上安装Hadoop教程.pdf
在Windows上安装Hadoop1
分布式,Windows下安装Cygwin,安装Hadoop,运行实例。
这是hadoop在windows上运行所需要的组件,欢迎大家下载并使用
hadoop安装时,会遇到不同问题,这里只是列举我自己遇到的问题