搭建Hadoop的Pseudo-Distributed Mode环境

仅供复制

修改配置文件

<!--修改conf/core-site.xml-->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost/</value>  <!--默认的文件系统是本机hdfs系统-->
  </property>
</configuration>

<!--修改conf/hdfs-site.xml-->
<configuration>
<property>
    <name>dfs.replication</name>  
    <value>1</value> <!--pseudo-distributed模式下没法做replication-->
</property>
</configuration>

<!--修改conf/mapred-site.xml-->
<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>
</configuration>

使本机可以免密码登录本机

$ssh-add
$ssh localhost #测试一下要不要输入密码

格式化HDFS文件系统

$hadoop namenode -format #经测试，文件系统创建在/tmp/hadoop-kent/dfs/name中

启动Hadoop后台服务

$start-dfs.sh
$start-mapred.sh

通过浏览器察看状态

http://localhost:50070/

http://localhost:50030/

操纵一下hdfs中的文件

$hadoop fs -copyFromLocal 1k.log hdfs://localhost/firsttry/1k.log
$hadoop fs -ls / #列出hdfs的根目录

停止hadoop服务

$stop-dfs.sh
$stop-mapred.sh