DT大数据梦工厂,插上大数据的翅膀

2015.7.9

DT大数据梦工厂scala 深入浅出实战经典 再也没有这样好的视频了,只要每天看一点,你就会有一点收获,讲的并不只是代码,而且还有一些看待事物的哲理,通过真实场景来思考代码,这是这个视频的精华所在,要想学好大数据,并没有什么可犹豫的,直接看就可以了,你的成功不在于你努力了多少,而是你做了成功的事。shihttp://pan.baidu.com/s/1kTotMQz

今天先讲一下File这个传输的过程吧,自己敲了一下代码试试,这是我通过看视频,散发出的一些正能量,绝对刚出炉,还热乎的呢。

首先,上代码:

package com.dt.scala.basic

import scala.io.Source

import java.io.File

import java.io.PrintWriter

import java.io.FileWriter

import java.io.BufferedWriter

import java.util.Scanner

object FileOps {

def main(args: Array[String]): Unit = {

//    val file=Source.fromFile("E:\\hehe.txt","utf8")

//    for(line <- file.getLines){println(line)}

//    file.close();

//    val webFile = Source.fromURL("http://spark.apache.org/")

//    webFile.foreach(print)

//    webFile.close

//    val webFile=Source.fromURL("http://spark.apache.org/")

//    for(line<-webFile.getLines()){println(line)}

//    println("**********************************************************")

//    webFile.foreach { print }

//    webFile.close()

//    val writer = new PrintWriter(new File("scalaFile.txt" ))

//        for (i <- 1 to 100) writer.println(i)

//        writer.close()

//    val writer=new PrintWriter(new File("scalaFile.txt"))

//    for(i<-1 to 50) writer.println(i)

//    writer.close()

//    val filll=new File("scalaFile.txt")

//    if(!filll.exists()){

//         filll.createNewFile();

//      }

//    val hehe=new FileWriter(filll.getAbsoluteFile,true)

//    val buffer=new BufferedWriter(hehe)

//    for(i<-1 to 50){

//      buffer.write(""+i)

//    }

//    buffer.close()

//        print("Please enter your input : " )

//        val line = readLine

//        println("Thanks, you just typed: " + line)

print("Please enter your input : ")

val line=readLine()

println("Thanks,you just typed: " +line)

val scan = new Scanner(System.in);

println(scan.next())

}

}

首先就是file的获取和输出file的内容,

1)如果文件是用utf8格式的方式输入的,那个Source.fromFile就应该加一个参数,就是“utf8”,如果不加默认是按照项目的编码格式来判断的,项目用的是utf8,文件用的是gbk,如果不加第二个参数,就会出现乱码,

2)for循环中,如果用不到循环第几次数,则最好用foreach()这样中间变量都省了。最好不要用for(line<-file.getLines).但是如果需要用到循环次数,比如写入1到50到一个文件,应该用for(i<-1 to 50).

3)但是用PrintWriter不能追加文件,要是想在一个文件文字的末尾追加一段文字,就得用FileWriter,这个的第二个参数是true,就可以追加。

4)因为scala的readLine是过期的方法,被画横线了,所以推荐大家还是用Scanner吧

时间: 2024-10-12 21:03:43

DT大数据梦工厂,插上大数据的翅膀的相关文章

DT大数据梦工厂免费实战大数据视频全集 分享

接触大数据有几年,以前一直都是对hadoop的使用.相比于日新月异的前端技术,我还是比较喜欢大数据--这个已经被热炒多年的课题,也相信从事大数据方面的技术研究是IT从业者的一条光明坦途. 2010年hadoop开始进入我的视野, 不断自学,使用,感谢hadoop国内还是有很多书籍.去年开始各大社区开始讨论spark,也开始学习scala语言,断断续续没有坚持,没多久也会忘掉.今年初看到了王老师的<Spark亚太研究院Spark公益大讲堂>视频,一些实时性需求在工作中出现让我不得不对比hadoo

DT大数据梦工厂第三十五课 Spark系统运行循环流程

本节课内容: 1.     TaskScheduler工作原理 2.     TaskScheduler源码 一.TaskScheduler工作原理 总体调度图: 通过前几节课的讲解,RDD和DAGScheduler以及Worker都已有深入的讲解,这节课我们主要讲解TaskScheduler的运行原理. 回顾: DAGScheduler面向整个Job划分多个Stage,划分是从后往前的回溯过程:运行时从前往后运行的.每个Stage中有很多任务Task,Task是可以并行执行的.它们的执行逻辑完

底层战详解使用Java开发Spark程序(DT大数据梦工厂)

Scala开发Spark很多,为什么还要用Java开发原因:1.一般Spark作为数据处理引擎,一般会跟IT其它系统配合,现在业界里面处于霸主地位的是Java,有利于团队的组建,易于移交:2.Scala学习角度讲,比Java难.找Scala的高手比Java难,项目的维护和二次开发比较困难:3.很多人员有Java的基础,确保对Scala不是很熟悉的人可以编写课程中的案例预测:2016年Spark取代Map Reduce,拯救HadoopHadoop+Spark = A winning combat

Eclipse下开发Scala(DT大数据梦工厂)

本讲主要内容:环境安装.配置.本地模式.集群模式.自动化脚本.web状态监控 ==========单机============ 开发工具开发 下载最新版Scala For Eclipse 1.建立工程,修改scala编译版本 2.加入Spark1.6.0的jar文件依赖 下载 http://apache.opencas.org/spark/spark-1.6.0/spark-1.6.0-bin-hadoop2.6.tgz spark-assembly-1.6.0-hadoop2.6.0.jar

IDEA下Spark的开发(DT大数据梦工厂)

IDEA越使用效果越好,快捷键方便,阅读源码方便 一般阅读Spark或者Scala的源码都采用IDEA使用 下载IDEA最新版本的社区版本即可, 安装的时候必须安装Scala,这个过程是IDEA自动化的插件管理,所以点击后会自动下载(跳过在setting plugins里面也可以安装) 本地JAVA8和Scala2.10.4软件套件的安装和Eclipse不同 打开 打开之后点击File->Project Structure来设置工程的Libraries 核心是添加Spark的jar依赖 代码拷贝

DT大数据梦工厂Spark机器学习相关视频资料

大数据未来几年发展的重点方向,大数据战略已经在十八届五中全会上作为重点战略方向,中国在大数据方面才刚刚起步,但是在美国已经产生了上千亿的市场价值.举个例子,美国通用公司是一个生产飞机发动机的一个公司,这家公司在飞机发动机的每一个零部件上都安装了传感器,这些传感器在飞机发动机运作的同时不断的把发动机状态的数据传到通用公司的云平台上,通用公司又有很多数据分析中心专门接受这些数据,根据大数据的分析可以随时掌握每一家航空公司发动机的飞行状况,可以告知这些航空公司发动机的哪些部件需要检修或保养,避免飞机事

DT大数据梦工厂 第54讲

王家林亲授<DT大数据梦工厂>大数据实战视频“Scala深入浅出实战经典”视频.音频和PPT下载!第54讲:Scala中复合类型实战详解百度云盘:http://pan.baidu.com/s/1pJP1CNp腾讯微云:http://url.cn/a92alj360云盘:http://yunpan.cn/ccuS9PEpnkb9F 访问密码 d999本节,王老师讲了scala中复合类型的使用.复合类型就是一个类型既继承类A,又继承类B,可以表示为 class Compound extends A

DT大数据 梦工厂57讲

今日[DT大数据梦工厂视频]<第57讲:Scala中Dependency Injection实战详解> 土豆:http://www.tudou.com/programs/view/5LnLNDBKvi8/ 百度网盘:http://pan.baidu.com/s/1c0no8yk (DT大数据梦工厂scala的所有视频.PPT和代码在百度云盘的链接地址:http://pan.baidu.com/share/home?uk=4013289088#category/type=0&qq-pf-

DT大数据梦工厂 第72,73讲

王家林亲授<DT大数据梦工厂>大数据实战视频“Scala深入浅出实战经典”视频.音频和PPT下载!第72讲:Scala界面事件处理编程实战详解百度云:http://pan.baidu.com/s/1qWsq6Jy腾讯微云:http://url.cn/g6En3l360云盘:http://yunpan.cn/cchw9EZAp2rKd 访问密码 05d1本节王老师讲了scala界面的事件处理就是当用户操作一个行为,GUI将做出一个反应.比如点击一个按钮事件.def top=new MainFra