请教一个问题，怎么提高 python 爬虫的爬取效率？

[BBrother]

写了个简单的协程爬虫爬取 B 站用户信息，代码如下：

import requests
import re
import json 
import datetime
import asyncio

def get_info(uid):
    url_info = "http://space.bilibili.com/ajax/member/GetInfo?mid=" #基本信息
    uid = str(uid)
    return loop.run_in_executor(None, requests.get, url_info+uid)

    
async def user_info(num):
    for uid in range(num, num+10):
        info = await get_info(uid)
        info = json.loads(info.text)["data"]
        try:
        # print(datetime.datetime.fromtimestamp(info['regtime']))
            print("ok", uid)
            print(info)
        except UnicodeEncodeError as e:
            print("UnicodeEncodeError:", e)
        except TypeError:
            print(info)
            
loop = asyncio.get_event_loop()
try:
    loop.run_until_complete(asyncio.wait([user_info(x) for x in range(1, 1000, 10)]))
except Exception as e:
    print("Error:", e)

爬取 1000 条需要 50 秒左右，而且带宽占用也只有 220Kbps 左右的样子，有没有什么办法提高爬取的速度？ B 站用户有 3800 万左右。

谢谢指教。

ps:1. 没机器做分布式 2. 我知道多进程，但我想问问协程能不能更有效率一点。

[jason0916]

为啥不用 aiohttp 要用 requests 呢？不会被阻塞住么？

[wmjie]

requests 会被阻塞，换成 aiohttp 试试；
https://github.com/aosabook/500lines/tree/master/crawler

[soulmine]

不挂代理池+搞分布式然后多线程 你跑到下个月也跑不完

[pncltp]

为什么要重新造轮子，用 scrapy 库呗。

[mutalisk]

requests+gevent

[hard2reg]

你好，我是 B 站的运维。我打算在后端加入反爬虫代码了！

[BBrother]

@hard2reg 不！住手！ 尔康.jpg

[Shliesce]

我是 B 站的研发，我要取消这个接口了。

[hard2reg]

@BBrother 笑尿

[BBrother]

@Shliesce 你不会真是 B 站的吧？接口真没了啊。