Golang并发中channel的分析

问题:面对并发问题,是用channel解决,还是用Mutex解决?

如果自己心里还没有清晰的答案,那就读下这篇文章,你会了解到:

  • 使用channel解决并发问题的核心思路和示例
  • channel擅长解决什么样的并发问题,Mutex擅长解决什么样的并发问题
  • 一个并发问题该怎么入手解解决
  • 一个重要的plus思维

前戏

前面很多篇的文章都在围绕channel介绍,而只有前一篇sync的文章介绍到了Mutex,不是我偏心,而是channel在Golang是first class级别的,设计在语言特性中的,而Mutex只是一个包中的。这就注定了一个是主角,一个是配角。

并且Golang还有一个并发座右铭,在《Effective Go》的channel介绍中写到:

Share memory by communicating, don‘t communicate by sharing memory.
通过通信共享内存,而不是通过共享内存而通信。

Golang以如此明显的方式告诉我们:面对并发问题,你首先想到的应该是channel,因为channel是线程安全的并且不会有数据冲突,比锁好用多了。

既生瑜,何生亮。既然有channel了,为啥还提供sync.Mutex呢?

主角不是万能的,他也需要配角。在Golang里,channel也不是万能的,这是由channel的特性和局限造成的。

下面就给大家介绍channel的特点、核心方法和缺点。

channel解决并发问题的思路和示例

channel的核心是数据流动,关注到并发问题中的数据流动,把流动的数据放到channel中,就能使用channel解决这个并发问题。这个思路是从Go语言的核心开发者的演讲中学来的,然而视频我已经找不到了,不然直接共享给大家,他提到了Golang并发的核心实践的4个点:

DataFlow -> Drawing -> Pipieline -> Exiting

DataFlow指数据流动,Drawing指把数据流动画出来,Pipeline指的是流水线,Exit指协程的退出。DataFlow + Drawing就是我提到到channel解决并发问题的思路,Pipeline和Exit是具体的实践模式,Pipeline和Exit我都写过文章,有需要自取:

下面我使用例子具体解释DataFlow + Drawing。借用《Golang并发的次优选择:sync包》中银行的例子,介绍如何使用channel解决例子中银行的并发问题:银行支持多个用户的同时操作。顺便看下同一个并发问题,使用channel和Mutex解决是什么差别。

一起分析下多个用户同时操作银行的数据流动:

  1. 每个人都可以向银行发起请求,请求可以是存、取、查3种操作,并且包含操作时必要的数据,包含的数据只和自身相关。
  2. 银行处理请求后给用户发送响应,包含的数据只和操作用户相关。

image

你一定发现了上面的数据流动:

  1. 请求数据:个人请求数据流向银行。
  2. 响应数据:银行处理结果数据流向用户。

channel是数据流动的通道/管道,为流动的数据建立通道,这里需要建立2类channel:

  1. reqCh:传送请求的channel,把请求从个人发送给银行。
  2. retCh:传送响应的channel,把响应从银行发给个人。

我们把channel添加到上图中,得到下面的图:

image

以上就是从数据流动的角度,发现如何使用channel解决并发问题。思路有了,再思考下代码层面需要怎么做:

  1. 银行:

    1. 定义银行,只保存1个map即可
    2. 银行操作:接收和解析请求,并把请求分发给存、取、查函数
    3. 实现存、取、查函数:处理请求,并把结果写入到用户提供的响应通道
  2. 定义请求和响应
  3. 用户:创建请求和接收响应的通道,发送请求后等待响应,提取响应结果
  4. mian函数:创建银行和用户间的请求通道,创建银行、用户等协程,并等待操作完成

以上,我们这个并发问题的逻辑实现和各块工作就清晰了,写起来也方便、简单。代码实现有200多行,公众号不方便查看,可以点阅读原文,一键直达。

代码不能贴了,运行结果还是可以的,为了方便理解结果,介绍下示例代码做了什么。main函数创建了银行、小明、小刚3个并发协程:

  1. 银行:从reqCh接收请求,依次处理每个请求,直到通道关闭,把请求交给处理函数,处理函数把结果写入到请求中的retCh
  2. 用户小明:创建了存100、取20、查余额的3个请求,每个请求得到响应后,再把下一个请求写入到reqCh
  3. 用户小刚:流程和小明相同,但存100取200,造成取钱操作失败,他查询下自己又多少钱,得到100。

main函数最后使用WaitGroup等待小明、小刚结束后退出。

下面是运行结果:

$ go run channel_map.go
xiaogang deposite 100 success
xiaoming deposite 100 success
xiaogang withdraw 200 failed
xiaoming withdraw 20 success
xiaogang has 100
xiaoming has 80
Bank exit

这一遭搞完,发现啥没有?用Mutex直接加锁、解锁完事了,但channel搞出来一坨,是不是用channel解决这个问题不太适合?是的。对于当前这个问题,和Mutex的方案相比,channel的方案显的有点“重”,不够简洁、高效、易用。

但这个例子展示了3点:

  1. 使用channel解决并发问题的核心在于关注数据的流动
  2. channel不一定是某个并发问题最好的解决方案
  3. map在并发中,可以不用锁进行保护,而是使用channel

现在,回到了开篇的问题:同一个并发问题,你是用channel解决,还是用mutex解决?下面,一起看看怎么选择。

channel和mutex的选择

面对一个并发问题的时候,应当选择合适的并发方式:channel还是mutex。选择的依据是他们的能力/特性:channel的能力是让数据流动起来,擅长的是数据流动的场景,《Channel or Mutex》中给了3个数据流动的场景:

  1. 传递数据的所有权,即把某个数据发送给其他协程
  2. 分发任务,每个任务都是一个数据
  3. 交流异步结果,结果是一个数据

mutex的能力是数据不动,某段时间只给一个协程访问数据的权限擅长数据位置固定的场景,《Channel or Mutex》中给了2个数据不动场景:

  1. 缓存
  2. 状态,我们银行例子中的map就是一种状态

提供解决并发问题的一个思路:

  1. 先找到数据的流动,并且还要画出来,数据流动的路径换成channel,channel的两端设计成协程
  2. 基于画出来的图设计简要的channel方案,代码需要做什么
  3. 这个方案是不是有点复杂,是不是用Mutex更好一点?设计一个简要的Mutex方案,对比&选择易做的、高效的

channel + mutex思维

面对并发问题,除了channel or mutex,你还有另外一个选择:channel plus mutex。

一个大并发问题,可以分解成很多小的并发问题,每个小的并发都可以单独选型:channel or mutex。但对于整个大的问题,通常不是channel or mutex,而是channel plus mutex。

如果你是认为是channel and mutex也行,但我更喜欢plus,体现相互配合

总结

读到这里,感觉这篇文章头重脚轻,channel的讲了很多,而channel和mutex的选择却讲的很少。在channel和mutex的选择,实际并没有一个固定答案,也没有固定的方法,但提供了一个简单的思路:设计出channel和Mutex的简单方案,然后选择最适合当前业务、问题的那个。

思考比结论更重要,希望你有所收获:

  1. 关注数据的流动,就可以使用channel解决并发问题。
  2. 不流动的数据,如果存在并发访问,尝试使用sync.Mutex保护数据。
  3. channel不一定某个并发问题的最优解。
  4. 不要害怕、拒绝使用mutex,如果mutex是问题的最优解,那就大胆使用。
  5. 对于大问题,channel plus mutex也许才是更好的方案。

原文引用:https://www.jianshu.com/p/df973e890663

参考资料

  1. Effective Go》,https://golang.org/doc/effective_go.html#sharing
  2. Mutex Or Channel》,https://github.com/golang/go/wiki/MutexOrChannel

文章推荐

  1. Golang并发模型:轻松入门流水线模型
  2. Golang并发模型:轻松入门流水线FAN模式
  3. Golang并发模型:并发协程的优雅退出
  4. Golang并发的次优选择:sync包
  1. 如果这篇文章对你有帮助,请点个赞/喜欢,感谢。
  2. 本文作者:大彬
  3. 如果喜欢本文,随意转载,但请保留此原文链接:http://lessisbetter.site/2019/01/14/golang-channel-and-mutex/

原文地址:https://www.cnblogs.com/show58/p/12672326.html

时间: 2024-08-29 01:50:29

Golang并发中channel的分析的相关文章

Golang适合高并发场景的原因分析

典型的两个现实案例: 我们先看两个用Go做消息推送的案例实际处理能力. 360消息推送的数据: 16台机器,标配:24个硬件线程,64GB内存 Linux Kernel 2.6.32 x86_64 单机80万并发连接,load 0.2~0.4,CPU 总使用率 7%~10%,内存占用20GB (res) 目前接入的产品约1280万在线用户 2分钟一次GC,停顿2秒 (1.0.3 的 GC 不给力,直接升级到 tip,再次吃螃蟹) 15亿个心跳包/天,占大多数. 京东云消息推送系统 (团队人数:4

golang中channel的超时处理

并发中超时处理是必不可少的,golang没有提供直接的超时处理机制,但可以利用select机制来解决超时问题. func timeoutFunc() { //首先,实现并执行一个匿名的超时等待函数 timeout := make(chan bool, 1) go func() { time.Sleep(1e9) //等待1秒钟 timeout <- true }() //然后,我们把timeout这个channel利用起来 select { case <- ch: //从ch中读到数据 cas

马蜂窝搜索基于 Golang 并发代理的一次架构升级

搜索业务是马蜂窝流量分发的重要入口.很多用户在使用马蜂窝时,都会有目的性地主动搜索与自己旅行需求相关的各种信息,衣食住行,事无巨细,从而做出最符合需求的旅行决策. 因此在马蜂窝,搜索业务交互的下游模块非常多,主要有目的地.POI.热门景点.美食.商场.酒店.问答.攻略.机票火车票等等,通过实时.精准地返回搜索结果,帮助用户做出个性化旅行决策. 面对越来越高的流量,马蜂窝技术团队积极尝试对搜索架构进行优化和升级,来保证搜索业务的稳定和性能. 方案背景 由于历史原因,优化前的搜索服务与下游模块交的互

【转】Java并发中正确使用volatile

Java并发中正确使用volatile 原文链接 http://ifeve.com/how-to-use-volatile/ 作者:一粟   整理和翻译自Twitter实时搜索的PPT 前几天并发编程群里有同学对volatile的用法提出了疑问,刚好我记得Twitter有关实时搜索的这个PPT对这个问题解释的很清晰并有一个实际的应用场景,于是周末把这个问题摘录了一些和并发相关的内容如下: 并发 – 定义 悲观锁 – Pressimistic locking 一个线性在执行一个操作时持有对一个资源

netstat--查看服务器[有效]连接数--统计端口并发数--access.log分析

简介 Netstat 命令用于显示各种网络相关信息,如网络连接,路由表,接口状态 (Interface Statistics),masquerade 连接,多播成员 (Multicast Memberships) 等等. 输出信息含义 执行netstat后,其输出结果为 ? ? Active Internet connections (w/o servers) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 2 210.

golang并发编程

golang并发编程 引子 golang提供了goroutine快速实现并发编程,在实际环境中,如果goroutine中的代码要消耗大量资源时(CPU.内存.带宽等),我们就需要对程序限速,以防止goroutine将资源耗尽.以下面伪代码为例,看看goroutine如何拖垮一台DB.假设userList长度为10000,先从数据库中查询userList中的user是否在数据库中存在,存在则忽略,不存在则创建. //不使用goroutine,程序运行时间长,但数据库压力不大 for _,v:=ra

x86服务器中网络性能分析与调优 转

x86服务器中网络性能分析与调优 2017-04-05 巨枫 英特尔精英汇 [OpenStack 易经]是 EasyStack 官微在2017年新推出的技术品牌,将原创技术干货分享给您,本期我们讨论 [x86服务器中网络性能分析与调优] 那些事! >> 网络性能理论极限 网络数据包处理的性能指标,一般包括吞吐.延时.丢包率.抖动等. 数据包有大有小,数据包的大小对这些性能指标有很大的影响. 一般认为服务器处理能力很强,不是数据包处理的瓶颈,而通过物理线路能够传送数据包的最大速率,即线速(Wir

[netty4][netty-transpot]Channel体系分析

Channel体系分析 接口与类结构体系 -- [I]AttributeMap, ChannelOutboundInvoker, Comparable -- [I]AttributeMap ---- [I]Channel ---- [C]DefaultAttributeMap -- [I]Channel, [C]DefaultAttributeMap ---- [AC]AbstractChannel ------ [AC]AbstractNioChannel -------- [AC]Abstr

golang的缓冲channel简单使用

目录 golang的缓冲channel简单使用 阻塞型 非阻塞 golang的缓冲channel简单使用 我们常用的是无缓冲channel : make(chan type) 其实make() 创建chan的第二个参数可设置缓冲channel的大小. 上述语句等价于 make(chan type, 1) 即创建了一个缓冲区大小为1channel 下面看有缓冲channel的两个例子. 阻塞型 demo : 协程1 :每隔1s 往有10个缓冲的channel里面写一条msg, 协程2:每隔3s 取