读取生产环境go语言的最佳实践展示

近期看了一篇关于go产品开发最佳实践的文章,go-in-procution。作者总结了他们在用go开发过程中的非常多实际经验,我们非常多事实上也用到了。鉴于此,这里就简单的写写读后感,兴许我也争取能将这篇文章翻译出来。后面我用soundcloud来指代原作者。

开发环境

在soundcloud,每一个人使用一个独立的GOPATH,而且在GOPATH直接依照go规定的代码路径方式clone代码。

$ mkdir -p $GOPATH/src/github.com/soundcloud
$ cd $GOPATH/src/github.com/soundcloud
$ git clone [email protected]:soundcloud/roshi

对于go来说,通常的project管理应该是例如以下的文件夹结构:

proj/
    src/
        modulea/
            a.go
        moudleb/
            b.go
        app/
            main.go
    pkg/
    bin/

然后我们在GOPATH里面将proj的路径设置上去。这样就能够进行编译执行了。

这本来没啥,可是假设我们要将其代码提交到github。并同意另外的开发人员使用。我们就不能将整个proj的东西提交上面,假设提交了,就非常蛋疼了。外面的开发人员可能这么引用:

import "github.com/yourname/proj/src/modulea"

可是我们自己在代码里面就能够直接:

import "github.com/yourname/proj/modulea"

假设外面的开发人员须要依照去掉src的引用方式,仅仅能把GOPATH设置到proj文件夹,假设import的多了,会让人崩溃的。

我曾今也被这事情给折腾了好久,最终再看了vitess的代码之后。发现了上面这样的方式。认为非常不错。

project文件夹结构

假设一个项目中文件数量不是非常多,直接放在main包里面即可了,不须要在拆分成多个包了。譬如:

github.com/soundcloud/simple/
    README.md
    Makefile
    main.go
    main_test.go
    support.go
    support_test.go

假设真的有公共的类库,在拆分成单独的包处理。

有时候,一个project可能会包含多个二进制应用。

譬如,一个job可能须要一个server,一个worker或者一个janitor,在这样的情况下,建立多个子文件夹作为不同的main包,分别放置不同的二进制应用。

同一时候使用另外的子文件夹实现公共的函数。

github.com/soundcloud/complex/
README.md
Makefile
complex-server/
    main.go
    main_test.go
    handlers.go
    handlers_test.go
complex-worker/
    main.go
    main_test.go
    process.go
    process_test.go
shared/
    foo.go
    foo_test.go
    bar.go
    bar_test.go

这点我的做法略微有一点不一样,主要是參考vitess,我喜欢建立一个总的cmd文件夹,然后再在里面设置不同的子文件夹,这样外面就不须要推測这个文件夹是库还是应用。

代码风格

代码风格这没啥好说的,直接使用gofmt解决,通常我们也约定gofmt的时候不带不论什么其它參数。

最好将你的编辑器配置成保存代码的时候自己主动进行gofmt处理。

Google近期公布了go的代码规范,soundcloud做了一些改进:

  • 避免命名函数返回值,除非能明白的表明含义。
  • 尽量少用make和new。除非真有必要。或者预先知道须要分配的大小。
  • 使用struct{}作为标记值,而不是bool或者interface{}。

    譬如set我们就用map[string]struct{}来实现。而不是map[string]bool。

假设一个函数有多个參数,而且单行长度非常长,须要拆分。最好不用java的方式:

// Don‘t do this.
func process(dst io.Writer, readTimeout,
    writeTimeout time.Duration, allowInvalid bool,
    max int, src <-chan util.Job) {
    // ...
}

而是使用:

func process(
    dst io.Writer,
    readTimeout, writeTimeout time.Duration,
    allowInvalid bool,
    max int,
    src <-chan util.Job,
) {
    // ...
}

相似的,当构造一个对象的时候,最好在初始化的时候就传入相关參数,而不是在后面设置:



f := foo.New(foo.Config{

Site: "zombo.com",

Out:  os.Stdout,

Dest: conference.KeyPair{

Key:   "gophercon",

Value: 2014,

},

})

// Don‘t do this.
f := &Foo{} // or, even worse: new(Foo)
f.Site = "zombo.com"
f.Out = os.Stdout
f.Dest.Key = "gophercon"
f.Dest.Value = 2014

假设一些变量是兴许通过其它操作才干获取的,我认为就能够在兴许设置了。

配置

soundcloud使用go的flag包来进行配置參数的传递,而不是通过配置文件或者环境变量。

flag的配置是在main函数里面定义的。而不是在全局范围内。

func main() {
    var (
        payload = flag.String("payload", "abc", "payload data")
        delay   = flag.Duration("delay", 1*time.Second, "write delay")
    )
    flag.Parse()
    // ...
}

关于使用flag作为配置參数的传递。我持保留意见。

假设一个应用须要特别多的配置參数,使用flag比較让人蛋疼了。这时候,使用配置文件反而比較好,我个人倾向于使用json作为配置。原因在这里

日志

soundcloud使用的是go的log日志。他们也说明了他们的log并不须要太多的其它功能,譬如log分级等。对于log,我參考python的log写了一个,在这里。该log支持log级别。支持自己定义loghandler。

soundcloud还提到了一个telemetry的概念。我真没好的办法进行翻译,据我的了解可能就是程序的信息收集,包含响应时间。QPS,内存执行错误等。

通常telemetry有两种方式,推和拉。

推模式就是主动的将信息发送给特定的外部系统,而拉模式则是将其写入到某一个地方。同意外部系统来获取该数据。

这两种方式都有不同的定位。假设须要及时,直观的看到数据,推模式是一个非常好的选择,可是该模式可能会占用过多的资源,尤其是在数据量大的情况以下。会非常消耗CPU和带宽。

soundcloud貌似採用的是拉模型。

关于这点我是深表赞同,我们有一个服务。须要将其信息发送到一个统计平台共兴许的信息,開始的时候,我们使用推模式。每产生一条记录,我们直接通过http推给后面的统计平台。最终,随着压力的增大。整个统计平台被我们发挂了。拒绝服务。

最终,我们採用了将数据写到本地,然后通过还有一个程序拉取再发送的方式解决。

測试

soundcloud使用go的testing包进行測试,然后也使用flag的方式来进行集成測试,例如以下:

// +build integration

var fooAddr = flag.String(...)

func TestToo(t *testing.T) {
    f, err := foo.Connect(*fooAddr)
    // ...
}

由于go test也支持相似go build那种flag传递,它会默认合成一个main package,然后在里面进行flag parse处理。

这样的方式我如今没有採用。我都是在測试用例里面直接写死了一个全局的配置,主要是为了方便的在根文件夹进行 go test ./...处理。

只是使用flag的方式我认为灵活性非常大,后面假设有可能会考虑。

go的testing包提供的功能并不强。譬如没有提供assert_equal这类东西,可是我们能够通过reflect.DeepEqual来解决。

依赖管理

这块事实上也是我非常想解决的。

如今我们的代码就是非常暴力的用go get来解决依赖问题。这个事实上非常有风险的,假设某一个依赖包更改了接口,那么我们go get的时候可能会出问题了。

soundcloud使用了一种vendor的方式进行依赖管理。事实上非常easy。就是把依赖的东西所有复制到自己的project以下,当做自己的代码来使用。

只是这个就须要定期的维护依赖包的更新了。

假设引入的是一个可执行包。在自己的project文件夹以下建立一个_vendor文件夹(这样go的相关tool比如go test就会忽略该文件夹的东西)。

把_vendor作为单独的GOPATH,比如,拷贝github.com/user/dep到_vendor/src/github.com/user/dep以下。

然后将_vendor增加自己的GOPATH中,例如以下:

GO ?= go
GOPATH := $(CURDIR)/_vendor:$(GOPATH)

all: build

build:
    $(GO) build

假设引入的是一个库。那么将其放入vendor文件夹中。将vendor作为package的前缀,比如拷贝github.com/user/dep到vendor/user/dep,并更改所有的相关import语句。

由于我们并不须要频繁的对这些引入的project进行go get更新处理。所以大多数时候这样做都非常值。

我開始的时候也採用的是相似的做法,仅仅只是我不叫vendor,而叫做3rd,后来为了方便还是决定改成直接go get,尽管知道这样风险比較大。没准兴许使用godep可能是一个不错的解决的方法。

构建和部署

soundcloud在开发过程中直接使用go build来构建系统,然后使用一个Makefile来处理正式的构建。

由于soundcloud主要部署非常多无状态的服务,相似Heroku提供了非常easy的一种方式:

$ git push bazooka master
$ bazooka scale -r <new> -n 4 ...
$ # validate
$ bazooka scale -r <old> -n 0 ...

这方面,我们直接使用一个简单的Makefile来构建系统,例如以下:

all: build 

build:
    go install ${SRC}

clean:
    go clean -i ${SRC}

test:
    go test ${SRC}

应用程序的公布採用最原始的scp到目标机器在重新启动的方式,只是如今正在測试使用salt来公布应用。而对于应用程序的启动,停止这些,我们则使用supervisor来进行管理。

总结

总的来说,这篇文章非常具体的解说了用go进行产品开发过程中的非常多经验。希望对大家有帮助。

版权声明:本文博客原创文章。博客,未经同意,不得转载。

时间: 2024-10-24 11:03:25

读取生产环境go语言的最佳实践展示的相关文章

java文件读取的路径问题解惑和最佳实践,让你远离FileNotFoundException

使用java读取jar或war下的配置文件,是开发者经常需要处理的事情,大家是不是经常遇到FileNotFoundException呢?java读取文件的方式也有很多,比如new File(),Class.getResource(),ClassLoader.getResource(),这些方式的差别是什么呢?开源框架struts2的ClassLoaderUtils和Spring提供ClassPathResource,都提供了对资源读取进行封装的工具类,你是否了解他们的实现原理呢?本文结合网上的一

51CTO视频课程上线:如何快速搭建IT试验环境?-VMWare Workstations 最佳实践

51CTO视频课程上线:如何快速搭建IT试验环境?-VMWare Workstations 最佳实践 最近花了一些时间,将同学们在日常自学时常碰到搭建试验环境问题上录了一门课程,希望可以帮到. 课程链接:https://edu.51cto.com/course/17271.html 课程介绍 这是一门手把手指导你基于VMWare Workstation快速搭建满足IT运维试验环境的视频课程. 如果你有过看了N多学习课程后感觉自己好像都会了,但实际操作时脑海瞬间一片空白不知从哪下手.这一点都不奇怪

OBJECTIVE-C语言的最佳实践和高阶技术期刊OBJC的章节目录

CSDN博客: forlong401 邮件地址:[email protected] 微博:@forlong401 第一章 轻量级视图控制器 第一节.介绍 第二节.轻量级视图控制器 [Chris Eidhof] 第三节.清理表视图的代码[Florian Kugler] 第四节.测试试图控制器[Daniel Eggert] 第五节.视图控制器容器[Ricki Gregersen] 第二章 并发编程 第一节.编辑语 第二节.并发编程:API接口和挑战[Florian Kugler] 第三节.一般的后台

探寻ASP.NET MVC鲜为人知的奥秘(3):寻找多语言的最佳实践方式

如果你的网站需要被世界各地的人访问,访问者会使用各种不同的语言和文字书写习惯,那么创建一个支持多语言的网站就是十分必要的了,这一篇文章就讲述怎么快速合理的创建网站对多语言的支持.接下来通过一个实例来讲述实践方式. 首先创建一个ASP.NET MVC5应用程序,命名为Internationalization: 然后在Models中添加一个示例的模型类: public class Employee { [Display(Name = "Name", ResourceType = typeo

生产SparkStreaming数据零丢失最佳实践(含代码)

MySQL创建存储offset的表格 mysql> use test mysql> create table hlw_offset( topic varchar(32), groupid varchar(50), partitions int, fromoffset bigint, untiloffset bigint, primary key(topic,groupid,partitions) ); Maven依赖包 <scala.version>2.11.8</scala

用HAWQ轻松取代传统数据仓库(十七) —— 最佳实践

一.HAWQ参数配置最佳实践 (原文地址:http://hawq.incubator.apache.org/docs/userguide/2.1.0.0-incubating/bestpractices/config_hawq_bestpractices.html)        在$GPHOME/etc/hawq-site.xml文件中维护HAWQ的配置参数.该文件存在于所有HAWQ实例上,并可以通过Ambari或使用HAWQ命令行接口进行修改.使用一致的策略(Ambari或命令行接口)维护h

Google Web开发最佳实践(一)

这篇文章最初是在阿里通信前端团队的github博客(http://aliqin.github.io)上看到的,原文地址https://developers.google.com/web/fundamentals/(要翻墙).既然要去阿里了,就得先熟悉熟悉环境,既然是最佳实践,就得自己亲自实践一下. 1.创建网站的内容和结构 内容是任何网站最重要的部分.所以让我们为内容而设计,而不要让设计支配内容.在这个手册中,我们首先确定我们需要的内容,基于这个内容创建一个页面结构,然后在简单的线性布局里呈现页

[活动]开发者最佳实践日·第11期-HTML5与Native App应用技术实战

在移动互联网时代大放异彩的不止原生应用,最近一段时间HTML5火热发展一片繁荣,从大家认为HTML标准不需要升级到HTML5正式定稿.随着硬件的升级.OS厂商策略变化,软件技术的成熟,用户需求的不断推动,针对HTML5与Native App 孰胜孰劣之争也由此拉开. 产业在同步演进,作为开发者应该选用什么样的应用以适应自己的产品更快速地传播与迭代.如何实现APP构建和发布的极致效率?如何做跨平台设计?如何快速地创建HTML5类型的移动游戏? 开发者最佳实践日第11期,七牛云存储邀请了成都当地明星

读生产环境下go语言最佳实践有感

最近看了一篇关于go产品开发最佳实践的文章,go-in-procution.作者总结了他们在用go开发过程中的很多实际经验,我们很多其实也用到了,鉴于此,这里就简单的写写读后感,后续我也争取能将这篇文章翻译出来.后面我用soundcloud来指代原作者. 开发环境 在soundcloud,每个人使用一个独立的GOPATH,并且在GOPATH直接按照go规定的代码路径方式clone代码. $ mkdir -p $GOPATH/src/github.com/soundcloud $ cd $GOPA