求 go 并发限制的最佳实现

[monkeyWie]

情况如下： 有 N 个任务，每个任务执行完都会返回结果或者 error，通过固定的(M)协程去执行，如果其中有一个任务返回 error 时立即结束，否则全部执行完成时返回结果列表。

我自己写了一版，感觉有点复杂：https://play.golang.org/p/ono1S04XupK

不知道各位有没有什么更简单的实现。

[ToPoGE]

context 不就可以实现吗

[cloudfstrife]

errgroup 了解一下

[xylophone21]

一起探讨，如果 M 不是大到离谱，是否需要控制 M ？还是无脑 go 就好了，因为这样感觉就是 go 程池 /线程池了，有点像把 go 程当线程用了？

[sunorg]

不是 channel 就可以实现了吗？

[monkeyWie]

@ToPoGE context 实现不了等待任务全部执行完成吧

[monkeyWie]

@xylophone21 现在就是 M 如果太大了服务器会顶不住，比如并发查询 sql

[monkeyWie]

@cloudfstrife errgroup 我试了下，第一不能限制并发数，第二不能在发生错误时立即返回。

[baodaren8]

借楼问一下，我怎么不能发帖了。。

[coool]

@baodaren8 我也不能发了

[ToPoGE]

@monkeyWie context 配合 waitGRoup，就可以做到失败一个全干掉，全完成，返回

[MadbookPro]

一个 err chan 用来通知 root goroutine 发生错误，然后 root context 退出； wait group 用来做全部完成检查。
这样何如？

[fatedier]

可以参考或者直接用 https://github.com/kubernetes/client-go/blob/master/util/workqueue/parallelizer.go#L46

[MadbookPro]

哦还有并发控制。
taskChannel + workerChannel，这样 wait group 也不需要了

[mogg]

线程池+channel，收到错误消息停止向队列里发送消息。
想要立刻回收，主线程直接 stop 线程池里所有线程，否则等待运行中线程跑完

[monkeyWie]

@ToPoGE @MadbookPro @mogg
直接上代码吧，这样说不明白🤣

[LoNeFong]

errgroup + 1

[Claar]

并发控制：协程池
消息传递：channel
还有等待协程结束再结束 main 函数：sync.
甚至可以子任务报错直接 exit

[ToPoGE]

@monkeyWie 那你用 errgroup 把，go 官方标准库中的，看文档直接用，就是 context 和 waitGroup 结合的

[ppphp]

看不到代码。。。我的思路是，for 循环几个 goroutine，select 的时候，先从 errchannel 里看 err，然后 default 里从 taskchannel 里拿 task

[mogg]

```go
var wg sync.WaitGroup
pool := makePool(pollSize)
func() {
for i := 0; i < runTimes; i++ {
select {
case <-errChan:
fmt.Println("error")
pool.Stop()
return
default:
wg.Add(1)
poll.Submit(task)
}
}
}()
if pool.IsRunning()
wg.Wait()
```
我觉得核心就是这样一个结构，不过 go 没用过线程池，可以看看有什么库