首页   注册   登录
 Cy86 最近的时间轴更新
Cy86

Cy86

V2EX 第 316181 号会员,加入于 2018-05-14 04:55:35 +08:00
今日活跃度排名 18234
Python 爬虫并发极限是多少呢?
Python  •  Cy86  •  119 天前  •  最后回复来自 lithbitren
25
如何自学 Vue 呢
Vue.js  •  Cy86  •  139 天前  •  最后回复来自 Hanggi
70
从 WSL1 换到 WSL2 ,整体速度上去了, 但没法通过公网链接
Windows  •  Cy86  •  144 天前  •  最后回复来自 Cy86
14
光猫的 Lan 口和路由器的 Lan 口做级联,会增加带宽么
分享创造  •  Cy86  •  126 天前  •  最后回复来自 Cy86
10
朋友公司买了网站 1W 元,请大家看看,提些意见
程序员  •  Cy86  •  126 天前  •  最后回复来自 Cy86
118
用 阿里云和域名(已备案) 反向代理国外 vps 的网站 可以么
Chamber  •  Cy86  •  2018-09-02 23:58:50 PM  •  最后回复来自 ThirdFlame
1
如果在网页嵌入别人的网页然后刷流量可行么
浏览器  •  Cy86  •  2018-08-27 19:00:45 PM  •  最后回复来自 night98
3
Cy86 最近回复了
test_datas:
-
- "输入正确的用户名 1"
- username: test1
password: 123456
- expect_msg: success
-
- "输入错误的用户名"
- username: test2
password: 123456
- expect_msg: failed
-
- "输入正确的用户名 2"
- username: test3
password: 123456
- expect_msg: success

我改成这样输出比较接近你要的格式, 但需要修改 YAML 格式
1. 貌似没有, 我都是 try 保护自己写换 ip 逻辑
2. 最好不要, 如果有反爬注意这块的话 会翻车, 可以先测试下容忍度
3. Github 上搜 ip 代理池, 有一堆, 最好从中获取这些网站, 然后自己爬下来写代理池
老白建议:
先给你个 开放代理:ip.ihuan.me
最好按一楼说的试一下, 比如爬 91 这招就贼好使, 但也要控制速度, 每秒 1000 的话 会封 ip
如果要爬的域名是大厂 or 比较有价值,这种反爬比较严重,那还是直接买代理吧, 开放代理都差不多封完了
28 天前
回复了 fasionchan 创建的主题 程序员 小菜成长之路:警惕沦为 API 调用侠
从头看到尾, 受益了, 难得有文章给带学习思路走的
牛逼是什么颜色

-->你都这么夸我了,我就小小骄傲一把。
120 天前
回复了 Cy86 创建的主题 Python Python 爬虫并发极限是多少呢?
目前猜测是运营商的限制, 偶尔能突破 500 限制, 但阿里云和国外 VPS 测试依旧并发不满意, 服务器端可能是网络抖动的原因
目前:
国外: VPS 测试代理 IP 端口是否开放,过滤一波虚假的
家里: 单线程 异步 每秒 400 并发来使用, 3 秒能测试 1200 个代理 IP(GET 国内匿名测试服务器), 准确率达到百分之 98+%
120 天前
回复了 Cy86 创建的主题 Python Python 爬虫并发极限是多少呢?
@lithbitren 目前用 grequests 能达到 13377min/s 但 timeout 的几率有点大, 很难控制在百分之 98 以下, 我再研究研究
120 天前
回复了 Cy86 创建的主题 Python Python 爬虫并发极限是多少呢?
@qsnow6 好吧... 我用协成单进程 9410min/s
@9hills 哈哈,来挖坟了, 现在拉了两个光纤 买了交换机和新路由器, 你这句话让我回想到当时 当时的钱一天只够吃一顿饭
126 天前
回复了 Cy86 创建的主题 程序员 朋友公司买了网站 1W 元,请大家看看,提些意见
@yzkcy 已被挂马, 售后失踪
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3457 人在线   最高记录 5168   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 10:31 · PVG 18:31 · LAX 03:31 · JFK 06:31
♥ Do have faith in what you're doing.