hadoop配置（4） --在每次运行时自动删除输出目录

运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：

    

  1. Configuration conf = new Configuration();
    2. 

  2. Job job = new Job(conf);
    3. 

  3.  
    4. 

  4. /* 删除输出目录 */
    5. 

  5. Path outputPath = new Path(args[1]);
    6. 

  6. outputPath.getFileSystem(conf).delete(outputPath, true);
    7.

若要关闭 Hadoop，则运行

    

  1. ./sbin/stop-dfs.sh
    2.

注意

下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

来自为知笔记(Wiz)

时间： 2024-10-13 12:41:08

hadoop配置（4） --在每次运行时自动删除输出目录的相关文章

使用vue-cli构建 webpack打包工具时，生产环境下，每次build时，删除dist目录，并重新生成，以防dist目录文件越来越多。

首先,需要使用webpack的插件CleanWebpackPlugin,安装命令如下: npm install --save-dev clean-webpack-plugin 其次,需要在生产环境提供的文件:build/webpack.prod.conf.js的plugins节点下添加如下代码: new CleanWebpackPlugin( ['dist'], //匹配删除的文件 { root:path.resolve(__dirname,'../')     //根目录 verbose:tr

FireFox每次刷新时自动检查网页更新，无需手动清空缓存的设置方法

做技术,经常在写页面的时候需要多次刷新测试,可是浏览器都有自己的 缓存机制,一般CSS和图片都会被缓存在本地,这样我们修改的CSS就看不到效果 了,每次都去清空缓存,再刷新看效果,这样操作太麻烦了.在IE下我们可以直接 去修改internet选项/常规/浏览历史记录/到internet临时文件选项的设置中,将检查网页中的较新版 本改成每次访问此页时检查.这样我们就不用去清空缓存,每次刷新都能看到最新 的网页内容了. 以下内容由BIWEB网站系统创始人ArthurXF倾情奉献,那么在firefox

IE/Firefox每次刷新时自动检查网页更新，无需手动清空缓存的设置方法

浏览器都有自己的 缓存机制,一般CSS和图片都会被缓存在本地,这样我们修改的CSS就看不到效果 了,每次都去清空缓存,再刷新看效果,这样操作太麻烦了.在IE下我们可以直接 去修改internet选项/常规/浏览历史记录/到internet临时文件选项的设置中,将检查网页中的较新版 本改成每次访问此页时检查.这样我们就不用去清空缓存,每次刷新都能看到最新 的网页内容了. 在firefox我们找遍 了所有的设置选项,竟然没有发现向IE那样的每次访问此页检查的选项.那么我们 怎么办呢?看到很多朋友在f

kubernetes实战-交付dubbo服务到k8s集群（三）安装配置maven和java运行时环境的底包镜像

maven 官方地址: 官方地址 下载maven,shdd7-200 # cd /opt/src # wget https://archive.apache.org/dist/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz # mkdir /data/nfs-volume/jenkins_home/maven-3.6.1-8u232 # tar -zxf apache-maven-3.6.1-bin.tar.gz -C /da

eclipse中开发android程序。每次运行都自动打开新的avd模拟器。怎么才能下次运行时用已经打开的？

选择 run configuration -> target -> Automatic -> 在 launch a new Android Virtual Device 选择你需要的版本启动,等待启动完成如果启动后,Choose a running Android device里没有出现选择项运行 cmd 运行命令 adb kill-server 然后 eclipse 控制台(Console)出现 Adb connection Error:远程主机强迫关闭了一个现有的连接.等待 Conn

【转载】 IE/Firefox每次刷新时自动检查网页更新，无需手动清空缓存的设置方法

[参考了别人的文章]我们做技术,经常在写页面的时候需要多次刷新测试,可是浏览器都有自己的 缓存机制,一般CSS和图片都会被缓存在本地,这样我们修改的CSS就看不到效果 了,每次都去清空缓存,再刷新看效果,这样操作太麻烦了.在IE下我们可以直接 去修改internet选项/常规/浏览历史记录/到internet临时文件选项的设置中,将检查网页中的较新版 本改成每次访问此页时检查.这样我们就不用去清空缓存,每次刷新都能看到最新 的网页内容了. 以下内容由BIWEB网站系统创始人ArthurXF倾情奉

MyEclipse运行时自动保存

今天第一次用MyEclipse,我发现我的代码明明修改了,但运行结果发现总是修改前的代码结果.后来发现,是代码修改后必须保存,再点运行.这个功能明显不合适,所以需要更改MyEclipse的配置.红框是修改后的结果.

C#在运行时自动引入正确的Dlls

设置程序Dlls的搜索路径 1.导入Native函数 /// <summary> /// 设置Dlls的搜索路径 /// </summary> /// <param name="path"></param> /// <returns></returns> [DllImport("kernel32.dll", CharSet = CharSet.Auto, SetLastError = true)

visual studio installer 卸载时不能删除安装目录问题

? 在vs中可以制作安装程序,但是这个安装程序默认卸载的时候不会把安装目录卸载,如果想在卸载的时候删除这个目录,那就要费点周折了.此方法同时适应于程序自删除以及工作目录删除. 基本思路是在程序要退出的时候启动一个脚本,该脚本会做好善后工作,删除所有不必要的东西.注意这个脚本应该是在程序完全退出以后再去删工作目录. 直接贴代码了,思路也很简单,主要是通过一个ping来进行延时,保证程序退出以后再删. protected override void OnAfterUninstall(IDiction