2020寒假生活学习日记(二)

使用 Spark Shell 编写代码

启动Spark Shell:

加载txt文件:

简单的RDD操作:

//获取RDD文件textFile的第一行内容
textFile.first()

//获取RDD文件textFile所有项的计数
textFile.count()

//抽取含有“Spark”的行,返回一个新的RDD
val lineWithSpark = textFile.filter(line => line.contains("Spark"))

//统计新的RDD的行数
lineWithSpark.count()

原文地址:https://www.cnblogs.com/jccjcc/p/12251599.html

时间: 2024-10-10 01:36:13

2020寒假生活学习日记(二)的相关文章

2020寒假生活学习日记(三)

安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后,执行如下命令拷贝至 /usr/local/sbt 中: 接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容: 为 ./sbt 脚本增加可执行权限: 最后运行如下命令,检验 sb

2020寒假生活学习日记(四)

安装mavenubuntu中没有自带安装maven,需要手动安装maven. 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录 在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下: 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包.在./sparkapp2中新建文件pom.xml(vi

2020寒假生活学习日记(六)

在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成,因此,需要掌握如何把Windows系统中 的文件上传到Linux系统,以及如何把Linux系统中的文件下载到Windows系统中. 首先,到本教程官网的“下载专区”中的“软件”目录中,下载FTP软件FileZilla的安装 文件FileZilla_3.17.0.0_win64_setup.exe,把FileZilla安装到Windows系统中:然后,请参考 本教程官网“实验指南”栏目的“在Windows

2020寒假生活学习日记(十四)

爬取北京市信件内容: 下载webmagic-0.7-libs.tar.gz压缩包,解压缩.没有压缩包可以加QQ:893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/edu1/ 新建Java Project,命名为 点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到lib

2020寒假在家学习,抗击新型病毒!!!

1月30日 发现了一个非常有意思的博主,她好像也是学习前端的,她的博客不仅有学习体会,还有生活体会,日常感想等等,然后真的写了超级多超级多!!!我突然意识到如果可以像这样将自己的学习.生活记录下来,定时的翻看,也一定会有诸多感悟. 2月1日 今天和爸妈.姐姐弟弟一起上山,山路险阻,光是走一圈就已精疲力竭,但是走路的感觉真的是很爽呀,每天只能呆在家里抗击病毒,心情难免会郁闷.回到家后,从来不午睡的弟弟竟也破天荒睡了一个午觉,真是难得呀.接下来的一个星期我只能靠着5G流量坚强的生活下去QAQ,但我是

微信开发学习日记(二):3个案例

上次是调通了"消息来自微信请求"一个请求验证接口.    今天下午,正式进军微信开发,完成了3个案例的demo,测试通过. 上次,提到读了5本书,4本PHP描述的,一本Java描述的.个人专注Java开发7年了,更倾向于用Java,当然PHP也要立即着手深入学习了.今天好几个PHP的外包项目,感觉太麻烦,都拒绝了. Java的书,柳峰写的那本就非常好,至少可以用Good描述,Perfect的话,要看是否还有更多更优秀Java语言相关的微信书籍. 那本书的源码,网上都有,下载下来之后,全

Linux学习日记(二)

在linux上运行.Net程序 并安装Linux网站 一.环境 ubuntu14.10(桌面版 官网下载的最新版) jexus5.6.3 正式版 MonoDevloper (安装完后里面有个Ubuntu软件中心 搜一下点击安装它会自动帮你把需要的环境装好) 注:我所有程序都是基于DotNet FrameWork4.0的 二.愉快的玩耍 2.1 运行一般的应用程序 由于我是用的virtualbox 开的是桥接网络,所以我在自己本机假设一个FileZillaServer(ftp的服务器),便于把网站

暑期学习日记二—利用扩展欧几里得求逆元

最近学习了扩展欧几里得和乘法逆元的关系,在这里写一下巩固一下记忆 扩展欧几里得是什么呢,在这就不详解了,可以自行百度,主要来说,对于 求解ax ≡ 1(mod n)来说,当gcd(a,n)=1时,证明逆元存在,若不等于1,则证明逆元不存在. 那么当逆元存在时,我们要如何求它的逆元呢? 首先是扩展欧几里得定理,先将式子转换成 ax-ny = 1 的形式,然后我们要通过扩展欧几里得定律去获得它的最大公约数,还有它的一组解 X0,Y0 1 int exgcd(int a, int b, int &x,

JSP学习日记(二)

JSP 指令 (JSP Directive) page指令 include指令 taglib指令 语法:<%@ 指令名称  属性值  属性值 --- %> page指令用来定义JSP文件的全局属性<%page 属性="值" %> include指令,用来静态包含页面----------将页面公共部分提取出来,通过include完成页面布局 语法:<%@ include file="文件路径" %> include包含目标页面整个内