[日常] Go语言圣经-匿名函数习题2

练习5.13: 修改crawl,使其能保存发现的页面,必要时,可以创建目录来保存这些页面。只保存来自原始域名下的页面。假设初始页面在golang.org下,就不
要保存vimeo.com下的页面。

package main

import (
        "fmt"
        "io"
        "io/ioutil"
        "links"
        "log"
        "net/http"
        "net/url"
        "os"
)
/*
练习5.13: 修改crawl,使其能保存发现的页面,必要时,可以创建目录来保存这些页面。只保存来自原始域名下的页面。假设初始页面在golang.org下,就不要保存vimeo.com下的页面。
*/
var sum int
func main() {
        breadthFirst(crawl, os.Args[1:])
}

/*
抓取页面的所有连接
*/
func crawl(url string) []string {
        sum++

        go save(url)
        fmt.Printf("%d|%s\n", sum, url)
        list, err := links.Extract(url)
        if err != nil {
                log.Print(err)
        }
        return list
}

/*
保存页面到文件
*/
func save(u string) bool {

        urlObj, _ := url.Parse(u)
        path := "/tmp/crawl/" + urlObj.Host
        if urlObj.Path == "" || urlObj.Path == "/" {
                urlObj.Path = "/index.html"
        }
        filename := path + urlObj.Path //重点注意文件名
        fmt.Println(filename)
        //打开文件
        f, _ := os.OpenFile(filename, os.O_CREATE|os.O_APPEND|os.O_RDWR, 0755)
        //读取链接
        resp, geterr := http.Get(u)

        if geterr != nil || resp.StatusCode != http.StatusOK {
                //resp.Body.Close()
                return false
        }
        body, _ := ioutil.ReadAll(resp.Body)
        //fmt.Println(body)
        //创建保存目录
        _, err := os.Stat(path)
        if err != nil {
                os.MkdirAll(path, 0755)
        }

        io.WriteString(f, string(body))
        resp.Body.Close()
        body = nil
        return true
}

/*
广度优先算法
*/
// breadthFirst calls f for each item in the worklist.
// Any items returned by f are added to the worklist.
// f is called at most once for each item.
func breadthFirst(f func(item string) []string, worklist []string) {
        seen := make(map[string]bool)
        for len(worklist) > 0 {
                items := worklist
                worklist = nil
                for _, item := range items {
                        if !seen[item] {
                                seen[item] = true
                                worklist = append(worklist, f(item)...)
                        }
                }
        }
}

  

原文地址:https://www.cnblogs.com/taoshihan/p/8875218.html

时间: 2024-10-03 19:17:09

[日常] Go语言圣经-匿名函数习题2的相关文章

[日常] Go语言圣经--接口约定习题

Go语言圣经-接口1.接口类型是对其它类型行为的抽象和概括2.Go语言中接口类型的独特之处在于它是满足隐式实现的3.Go语言中还存在着另外一种类型:接口类型.接口类型是一种抽象的类型4.一个类型可以自由的使用另一个满足相同接口的类型来进行替换被称作可替换性(LSP里氏替换) 练习 7.1: 使用来自ByteCounter的思路,实现一个针对对单词和行数的计数器.你会发现bufio.ScanWords非常的有用. package main import ( "bufio" "f

[日常] Go语言圣经--接口约定习题2

练习 7.3: 为在gopl.io/ch4/treesort (§4.4)的*tree类型实现一个String方法去展示tree类型的值序列. package main import( "fmt" "bytes" ) func main(){ //定义数组 arr:=[...]int{6,2,1,3,4,5} var t *tree for i:=0;i<len(arr);i++{ t=add(t,arr[i]) } //t1:=Sort(arr[:],t)

[日常] Go语言圣经--复数,布尔值,字符串习题

go语言圣经-复数 1.我们把形如a+bi(a,b均为实数)的数称为复数,其中a称为实部,b称为虚部,i称为虚数单位.两种精度的复数类型:complex64和complex128,分别对应float32和float64两种浮点数精度 2.complex函数用于构建复数,real和imag函数分别返回复数的实部和虚部 go语言圣经-布尔型 1.布尔值可以和&&(AND)和||(OR)操作符结合,并且有短路行为 2.&&的优先级比||高 go语言圣经-字符串 1.一个字符串是一

C语言实现匿名函数

在C语言中可以通过宏定义的方式实现匿名函数,具体如下: 1 2 3 4 5 6 #define lambda(return_type, function_body) \ ({ \       return_type $this function_body \           $this; \ }) #define $ lambda 该定义利用了GCC对C语言的扩展(被一对花括号包起来的代码块能够返回一个值),该宏定义能够返回$this(函数指针),如果我们需要一个返回两整数的和的函数,那么我

[日常] Go语言圣经--作用域,基础数据类型,整型

go语言圣经-作用域 1.一个声明语句将程序中的实体和一个名字关联,比如一个函数或一个变量 2.一个变量的生命周期是指程序运行时变量存在的有效时间段;声明语句的作用域对应的是一个源代码的文本区域,它是一个编译时的属性 3.句法块是由花括弧所包含;我们可以把块(block)的概念推广到包括其他声明的群组,这些声明在代码中并未显式地使用花括号包裹起来,我们称之为词法块. 4.全局作用域 包级语法域 源文件级的作用域 局部作用域 函数级的作用域 5.从最内层的词法域向全局的作用域查找.内部的会覆盖外部

[日常] Go语言圣经-指针对象的方法-bit数组习题2

练习 6.3: (*IntSet).UnionWith会用|操作符计算两个集合的交集,我们再为IntSet实现另外的几个函数IntersectWith(交集:元素在A集合B集合均出现),DifferenceWith(差集:元素出现在A集合,未出现在B集合),SymmetricDifference(并差集:元素出现在A但没有出现在B,或者出现在B没有出现在A). *练习6.4: 实现一个Elems方法,返回集合中的所有元素,用于做一些range之类的遍历操作. 练习 6.2: 定义一个变参方法(*

[日常] Go语言圣经--Channel习题

练习 8.3: 在netcat3例子中,conn虽然是一个interface类型的值,但是其底层真实类型是*net.TCPConn,代表一个TCP连接.一个TCP连接有读和写两个部分,可以使用CloseRead和CloseWrite方法分别关闭它们.修改netcat3的主goroutine代码,只关闭网络连接中写的部分,这样的话后台goroutine可以在标准输入被关闭后继续打印从reverb1服务器传回的数据.(要在reverb2服务器也完成同样的功能是比较困难的:参考练习 8.4.) 1.n

[日常] Go语言圣经--示例: 并发的Clock服务习题

练习 8.1: 修改clock2来支持传入参数作为端口号,然后写一个clockwall的程序,这个程序可以同时与多个clock服务器通信,从多服务器中读取时间,并且在一个表格中一次显示所有服务传回的结果,类似于你在某些办公室里看到的时钟墙.如果你有地理学上分布式的服务器可以用的话,让这些服务器跑在不同的机器上面:或者在同一台机器上跑多个不同的实例,这些实例监听不同的端口,假装自己在不同的时区.像下面这样: $ TZ=US/Eastern ./clock2 -port 8010 & $ TZ=As

[日常] Go语言圣经-基于select的多路复用习题

练习 8.8: 使用select来改造8.3节中的echo服务器,为其增加超时,这样服务器可以在客户端10秒中没有任何喊话时自动断开连接. reverb3.go package main import ( "bufio" "fmt" "log" "net" "strings" "sync" "time" ) func main() { listener, err :=