大佬们，用 go 同时发起几万个 get 请求，怎么优化请求函数呢？

[biuyixia]

代码如下：

func check_url(url string) {
    client := &http.Client{
        Timeout: time.Second * 5,
    }
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36")
    resp, err := client.Do(req)
    if err == nil {
        defer resp.Body.Close()

        status := resp.Status
        if strings.Contains(status, "200") {
            fmt.Println(url,"===请求成功===")
        }
    }
}

小弟刚学 go ，我需要同时并发几万个 url 请求，调用 check_url 函数，发现有时候明明可以访问的端口，却报 context deadline exceeded (Client.Timeout exceeded while awaiting headers) 错误，怎么优化这个 check_url 函数呢？

[biuyixia]

@sadfQED2 谢大佬。那就 client 共用。

[wheeler]

@sadfQED2 #18 keepalive 不是 transport 维护的吗？不指定 transport 都是复用默认的 transport 吧？

[wheeler]

@wheeler #22

// Transport specifies the mechanism by which individual
HTTP requests are made.
If nil, DefaultTransport is used.

https://pkg.go.dev/net/http

[a132811]

Client.Timeout exceeded while awaiting headers
可能服务端超时、或者带宽不够吧。
1. 确认你的网络有没有瓶颈
2. 确认你的服务真实并发：用 ab/vegeta/gowrk 等工具压测一下

[monkeyWie]

@aino #19 能啊,上 nio 、或者直接 netty

[derrick1]

也可能是目标服务器瓶颈, 或者 seers 说的问题

[biuyixia]

@derrick1 好的大佬。估计就是了

[zbatman]

刑啊

[sadfQED2]

@wheeler 额，确实是。是我记错了

[lysS]

接口扫描是吧？不用 GET 、用 HEAD ，更好的方法其实还是用 tcp 请求

[lysS]

还有啊，扫描不同的地址，连接池是没用的

[iceiceice]

用 fasthttp

[aladdinding]

用同一个 client transport 调节大点

[bthulu]

带宽打满了吧, 后面的请求只能排队了, 然后就超时了

[biuyixia]

@seers 大佬，我想问问你说的 open file 数是什么？还有 ulimit ，跟 http 请求有关系吗，小弟刚学。请指教

你说的第二个，最后 err 打印下，那个异常端口就是报的 context deadline exceeded (Client.Timeout exceeded while awaiting headers)

[seers]

@biuyixia 不严谨简单的说，在 Linux 里面发起一个 HTTP 请求等同于打开一个文件（一切皆文件，Unix 哲学），系统打开文件数是有上限的，由 ulimit 查看修改，如果限制数太低，后面发起的连接就会进入队列，然后进入队列的请求会超时报错，当然这只是猜测，还需要你多分析。

[biuyixia]

@seers 谢谢大佬。我这个 windows