首页 > 电脑专区 > windows >

启动 Hadoop 和 关闭 Hadoop

来源:互联网 2023-02-20 17:43:37 450

Hadoop 的基本操作、常见问题、替代软件93Q办公区 - 实用经验教程分享!

方法/步骤

  • 1

    执行 ./start-all.sh 可以启动hadoop了,如图所示。93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 2

    在使用完毕后执行./stop-all.sh即可关闭Hadoop。93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 2该信息未经授权抓取自百度经验
  • 不要使用Eclipse运行全分布模式的Hadoop程序

  • 1

    尽管Eclipse中显示程序正在运行,但 jobtracker.jsp中并没有显示群集中有Hadoop程序,如图所示;93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 2

    执行过程中显示的一直是mapred.LocalJobRunner,貌似是本地模式。93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 3

    解决办法:弃用Eclipse,将程序打包成jar,然后在Hadoop群集上运行。93Q办公区 - 实用经验教程分享!

  • 控制Killed Tasks的数量

  • 1

    关闭Hadoop群集,在Master节点的mapred-site.xml的文件中增添如图所示的设置,即设置mapred.map.tasks.speculative.execution = true。93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 2

    然后将该设置同步至所有Slave节点,格式化DFS,重新启动Hadoop群集。93Q办公区 - 实用经验教程分享!

  • 其它可行的软件

  • 1

    Spyder 也可以用于替代 Eclipse93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 2

    但是需要注意的是 Visual Studio 不能用于替代93Q办公区 - 实用经验教程分享!

    启动 Hadoop 和 关闭 Hadoop93Q办公区 - 实用经验教程分享!

  • 以上方法由办公区教程网编辑摘抄自百度经验可供大家参考!93Q办公区 - 实用经验教程分享!


    标签: 操作系统启动关闭

    办公区 Copyright © 2016-2023 www.bgqu.net. Some Rights Reserved. 备案号:湘ICP备2020019561号统计代码