首页 > 软件开发 > 编程语言 >

hadoop2初学者入门使用教程

来源:互联网 2023-03-17 00:14:58 版权归原作者所有,如有侵权,请联系我们

下面将演示快速完成在单节点上的 Hadoop 安装与配置:D1x办公区 - 实用经验教程分享!

工具/原料

  • hadoop
  • 安装JDK/JRE的windows或linux系统

方法/步骤

  • 1

    1. 先决条件D1x办公区 - 实用经验教程分享!

    支持平台:D1x办公区 - 实用经验教程分享!

    GNU/Linux:已经证实了 Hadoop 在 GNU/Linux 平台上可以支持 2000 个节点的集群;D1x办公区 - 实用经验教程分享!

    Windows。本文所演示的例子都是在 GNU/Linux 平台上运行,若在 Windows 运行D1x办公区 - 实用经验教程分享!

  • 2

    下载D1x办公区 - 实用经验教程分享!

    下载地址在apache网站,百度上也有D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

  • 3

    解压所下载的 Hadoop 。编辑etc/hadoop/hadoop-env.sh文件,定义如下参数:D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

  • 4

    4. 单机模式的操作方法D1x办公区 - 实用经验教程分享!

    默认情况下,Hadoop 被配置成以非分布式模式运行的一个独立 Java 进程。这对调试非常有帮助。D1x办公区 - 实用经验教程分享!

    下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

  • 4本页面未经授权抓取自百度经验
  • 5

    . 伪分布式模式的操作方法D1x办公区 - 实用经验教程分享!

    Hadoop 可以在单节点上以所谓的伪分布式模式运行,此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。D1x办公区 - 实用经验教程分享!

    配置D1x办公区 - 实用经验教程分享!

    使用如下的:D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

    hadoop2初学者入门使用教程D1x办公区 - 实用经验教程分享!

  • 注意事项

    • 免密码 ssh 设置 现在确认能否不输入口令就用 ssh 登录 localhost: $ ssh localhost
    • 如果不输入口令就无法用 ssh 登陆 localhost,执行下面的命令:$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys

    以上方法由办公区教程网编辑摘抄自百度经验可供大家参考!D1x办公区 - 实用经验教程分享!


    标签: 编程语言

    办公区 Copyright © 2016-2023 www.bgqu.net. Some Rights Reserved. 备案号:湘ICP备2020019561号