大佬们，用 go 同时发起几万个 get 请求，怎么优化请求函数呢？

[biuyixia]

代码如下：

func check_url(url string) {
    client := &http.Client{
        Timeout: time.Second * 5,
    }
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36")
    resp, err := client.Do(req)
    if err == nil {
        defer resp.Body.Close()

        status := resp.Status
        if strings.Contains(status, "200") {
            fmt.Println(url,"===请求成功===")
        }
    }
}

小弟刚学 go ，我需要同时并发几万个 url 请求，调用 check_url 函数，发现有时候明明可以访问的端口，却报 context deadline exceeded (Client.Timeout exceeded while awaiting headers) 错误，怎么优化这个 check_url 函数呢？

[hxysnail]

你的 Client 设置了 5 秒钟超时，把时间调长一点呗

[biuyixia]

内网请求，大佬。不需要那么长的超时时间

[biuyixia]

@hxysnail

需要对内网进行扫描，单个请求的时候如 8888 ，可以正常请求到判断为 200 状态，当对这个 ip 并发全端口进行扫描的时候，通过打印 resp, err := client.Do(req)的 err 可知：
Get "...192.168.100.126:8888": context deadline exceeded (Client.Timeout exceeded while awaiting headers)

[licoycn]

https://stackoverflow.com/questions/64619970/preventing-context-deadline-exceeded-client-timeout-exceeded-while-awaiting-hea

[biuyixia]

@licoycn 看样子还是需要调整下函数的超时时间，，服务端没法控制。不知道还没有更优解。。

[morri]

https://github.com/go-resty/resty
试试用这个 http 工具呢？

[Nazz]

需要限制并发协程数量

[biuyixia]

@morri 谢谢大佬。我试试哈

[coderxy]

go 的 http client 默认有连接池限制的， 先把那个限制调大一点再试试

[d29107d]

也有可能被请求端承受不了啊

[biuyixia]

@Nazz 我是通过 Ants github.com/panjf2000/ants ，因为用的同一个函数，通过 NewPoolWithFunc 创建了一个 20000 的协程池。

[seers]

系统的 open file 数没打开吧，连接满了后面的 tcp 连接没发出去所以超时了，ulimit 确认下

[seers]

你最后 err 打印下看看错误是啥，不要是 nil 后就不管了

[dcalsky]

optimize your http client transport, increase the number of idle connection for each host in the connection pool.

[runningman]

go routine

[fyooo]

@Nazz +1 大概率是服务器扛不住了，内网服务扛不住那么大并发的。

[shawndev]

堪比 ddos

[sadfQED2]

```
var client *http.Client = &http.Client{
Timeout: time.Second * 5,
}

func check_url(url string) {

go func() {
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36")
resp, err := client.Do(req)
if err == nil {
defer resp.Body.Close()

status := resp.Status
if strings.Contains(status, "200") {
fmt.Println(url, "===请求成功===")
}
}
}()

}

```


试试这个？你每次都 new 一个 httpclient 我记得好像是不能用上 keepalive 的，使用同一个 client ，保证 keepalive 。然后开协程疯狂请求就完事了。

但是你确定服务器扛得住？

[aino]

go 同时发起几万个 get 请求并发这么猛的吗，请教下 java 能做到吗，具体怎么做呢

[biuyixia]

@shawndev 太真实了，哈哈。看来得另想他法了。。。