spark上 spark-shell和java -jar访问hdfs路径问题

1.Shell执行/调用Java/Jar程序 #!/bin/bash JAVA_HOME="$HOME/jdk" BASE_DIR=`dirname $0` if [ "$BASE_DIR" = '.' ] then BASE_DIR=`pwd` fi PROCESS_HOME=`dirname $BASE_DIR` MY_DIR="$PROCESS_HOME/gasarchiveprocess" RUN_DIR="$MY_DIR/ru

用java些的脚本,然后打成jar包运行,jar包里的程序需要读配置文件的一些参数,所以需要确定读配置文件的路径.一般配置文件和jar包放置在同一目录下,这个时候就需要jar包里的代码,取到jar包存放的路径,以便读配置文件:取jar包存放路径的代码如下: String jarWholePath =         DbfImport.class.getProtectionDomain().getCodeSource().getLocation().getFile();  jarWholePat

通过java程序访问hdfs: hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定,而这个值默认位于/tmp/hadoop-${user.name}下面, 由于/tmp目录在系统重启时候会被删除,所以应该修改目录位置. 修改core-site.xml(在所有站点上都修改) 1 2 3 4 5 <property>     <name>hadoop.tmp.dir</name>     <value>/var/had

 记得在操作系统中了解到文件读取有两种方式,当然这在各编程语言中也是通用的,所以java路径也分,相对和绝对路径.上章我们分享了Java研究之学习设计模式-组合模式详解有兴趣的朋友可以去看下. 绝对路径 绝对路径URI ,听着和URL很相似,那我们就来看看吧. URI(Uniformresource Identifier)统一资源标示符.URL统一资源定位符,是一个定位器,还说明了具体如何找到资源.所以他们就有一种抽象和继承的关系.URI抽象的说明了统一资源表示符号,而URL是具体的标识符的

错误信息: ..... 14/11/23 06:04:10 ERROR TaskSetManager: Task 2.0:1 failed 4 times; aborting job 14/11/23 06:04:10 INFO DAGScheduler: Failed to run sortByKey at Main.scala:29 Exception in thread "main" org.apache.spark.SparkException: Job aborted: Ta

为了在IDEA中编写scala,今天安装配置学习了IDEA集成开发环境.IDEA确实很优秀,学会之后,用起来很顺手.关于如何搭建scala和IDEA开发环境,请看文末的参考资料. 用Scala和Java实现WordCount,其中Java实现的JavaWordCount是spark自带的例子($SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java) 1.环境 OS:Red Hat Enterp

1.本地运行出错及解决办法 当运行如下命令时: ./bin/spark-submit --class org.apache.spark.examples.mllib.JavaALS --master local[*] /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar /user/data/netflix_rating 10 10 /u

第0章 预备知识0.1 Scala0.1.1 Scala 操作符0.1.2 拉链操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享变量0.3 Spark SQL0.3.1 RDD.DataFrame 与 DataSet0.3.2 DataSet 与 RDD 互操作0.3.3 RDD.DataFrame 与 DataSet 之间的转换0.3.4 用户自定义聚合函数(UDAF)0.3.5 开窗函数0.4 Spark Streaming0.4.1 Dst

来自 Gitbook上的"Spark访问HDFS" http://chenzhongpu.gitbooks.io/bigdatanotes/content/SparkAccessHDFS/README.html 该书是关于大数据读书笔记的,目前在Gitbook上持续更新 .  Github地址:https://github.com/ChenZhongPu/BigDataGitBook 完成的部分有 : 本地模式下运行Hadoop 和 Spark访问HDFS