2020寒假在家学习，抗击新型病毒！！！

1月30日

发现了一个非常有意思的博主,她好像也是学习前端的,她的博客不仅有学习体会,还有生活体会,日常感想等等，然后真的写了超级多超级多！！！我突然意识到如果可以像这样将自己的学习、生活记录下来，定时的翻看，也一定会有诸多感悟。

2月1日

今天和爸妈、姐姐弟弟一起上山，山路险阻，光是走一圈就已精疲力竭，但是走路的感觉真的是很爽呀，每天只能呆在家里抗击病毒，心情难免会郁闷。回到家后，从来不午睡的弟弟竟也破天荒睡了一个午觉，真是难得呀。接下来的一个星期我只能靠着5G流量坚强的生活下去QAQ，但我是不会放弃我的学习的！！！

原文地址：https://www.cnblogs.com/yizhiran/p/12244361.html

时间： 2024-10-08 10:28:06

2020寒假在家学习，抗击新型病毒！！！的相关文章

2020寒假生活学习日记（二）

使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件: 简单的RDD操作: //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行,返回一个新的RDDval lineWithSpark = textFile.filter(line => line.contains("Spark")) //统计新的RDD的行数lin

2020寒假生活学习日记（三）

安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar 下载后,执行如下命令拷贝至 /usr/local/sbt 中: 接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容: 为 ./sbt 脚本增加可执行权限: 最后运行如下命令,检验 sb

2020寒假生活学习日记（四）

安装mavenubuntu中没有自带安装maven,需要手动安装maven. 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录 在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下: 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包.在./sparkapp2中新建文件pom.xml(vi

2020寒假生活学习日记（六）

在Windows系统和Linux系统之间互传文件 本教程大量实验都是在Linux虚拟机上完成,因此,需要掌握如何把Windows系统中 的文件上传到Linux系统,以及如何把Linux系统中的文件下载到Windows系统中. 首先,到本教程官网的“下载专区”中的“软件”目录中,下载FTP软件FileZilla的安装 文件FileZilla_3.17.0.0_win64_setup.exe,把FileZilla安装到Windows系统中:然后,请参考 本教程官网“实验指南”栏目的“在Windows

2020寒假生活学习日记（十四）

爬取北京市信件内容: 下载webmagic-0.7-libs.tar.gz压缩包,解压缩.没有压缩包可以加QQ:893225523 通过Filezilla上传到/home/hadoop/下载 sudo tar -zxf ~/下载/webmagic-0.7.3-all.tar.gz -C /data/edu1/ 新建Java Project,命名为 点击项目名pachong1,新建一个目录,命名为libs,并将/data/edu1/webmagic-0.7-libs下的所有的jar包,拷贝到lib

窦小凤2020寒假学习心得

2020年1-2月寒假学习心得—窦小凤 一.学习成果 赛事准备上,每天坚持做题,完成代码量6000行(其中还包括了很多知识点学习上的代码). 学习python基础,对python有了基本认识,完成代码1500行(但其中基本都是python中的基础语法) 选择性学习了一些用Java语言讲的数据结构与算法. 前期主要是将Java的基础视频重看了一遍(主要是在学校的时候没认真),然后从最基础入门开始做起,到寒假末来看,自身在Java方面跟在大一上学期还是有较大进步,但仍还有很长的路要走. Python

【2020/1/18】寒假自学——学习进度报告2

写博客是时隔两天,但学习并没有停止. 这一篇博客还是写一下关于Spark基础知识的,上次只是总体名词的理解. Spark的核心是建立在统一的抽象RDD之上,使得Spark的各个组件可以无缝进行集成,在同一个应用程序中完成大数据计算任务 于是RDD——由DAG图帮助形成的分布式内存的数据集帮助Spark达成了能比Hadoop快100倍的成就.每个RDD可以分成多个分区,每个分区就是一个数据集片段,并且一个RDD的不同分区可以被保存到集群中不同的节点上,从而可以在集群中的不同节点上进行并行计算——这

【2020/1/25】寒假自学——学习进度报告6

这篇准备尝试RDD的编程操作. spark运行用户从文件系统中加载数据.通过并行集合(数组)创建RDD,两种都是很方便的操作方式. 应对实验,我在创建了一个文本文件.内容包括—— 之后就是尝试创建RDD. 在pyspark中使用—— >>> students=sc.textFile("file:///usr/local/spark/mycode/exp4/chapter5-data1.txt") 处理之后得到—— 然后就可以进行我们所需要的操作了,例如统计学生和统计课

【2020/2/2】寒假自学——学习进度报告9

因为想要通过hive作为数据库来保存爬取后和处理完成的数据,需要添加spark的hive支持,这方面还没编译完,所以今天暂时没有这方面的进度,所以写写SparkSteaming. 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端,没法应对大流量的实时数据,MR这类离线处理并不能很好地解决问题. 流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点.而Spark中能很好地处理流计算的就是Spar