z1421012325's recent timeline updates z1421012325's recent timeline updates |
z1421012325V2EX member #406253, joined on 2019-04-25 23:23:06 +08:00 |
| redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?
1 Python • z1421012325 • Jan 4, 2021 • Lastly replied by no13bus
|
6 |
| 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?
1 Python • z1421012325 • Jul 10, 2020 • Lastly replied by gxlonline
|
49 |
| 关于手机 app 抓包一般流程是不是使用 fiddler 或者 Charles 来查找接口,在使用 mitmproxy 的 mitmdunmp 对接口所含有的数据进行提取,再用自动化 appium 或者 AirtestIDE 控制? Python • z1421012325 • Jul 5, 2019 • Lastly replied by locoz | 39 |
| 爬虫在 winxp 上弄一个 adsl vps 拨号器 其中 ip 的端口咋弄????,跟着 squid 设置端口,不行
1 Python • z1421012325 • Jun 20, 2019 • Lastly replied by z1421012325
|
14 |
| 关于在 winxp 上做个 adsl vps 拨号器 xp 的 ip 端口怎么设置? VPS • z1421012325 • Jun 18, 2019 |
z1421012325's recent replies
Jul 7, 2019 Replied to a topic by harley27 › Python › 用 Python 开发 APP 有什么好处和坏处？ |
@Trim21 我想问一下 python web 现在用怎么样?我在学
Jul 2, 2019 Replied to a topic by z1421012325 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗? |
Jul 1, 2019 Replied to a topic by z1421012325 › Python › redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗? |
更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过..
Jun 23, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@zzy578 详情页没啥反爬,只是列表页不好弄
Jun 22, 2019 Replied to a topic by liugene › Python › 有人知道最新的淘宝详情页面的销量数据怎么爬吗？ |
源码爬不到,不过有接口,刚看了下有天猫的月销量在内,你全局搜索一下就找到了
Jun 22, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@www6688w 真实模式也没用啊,根据用户习惯分析就能轻松反爬,毕竟一个人不可能一天之内浏览这么多页面的
Jun 22, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@akira ip 倒是没啥问题,问题是账号,再说了如果被发现是爬虫,那么这个账号短时间内不能使用了,还有貌似每天都会让你登陆一次获取 cookies..
Jun 22, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@Baboonowen 也对,但是爬虫就是要反反爬吧
Jun 22, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@daquandiao2 都算是构想,第一种我机器配置不行,在模拟器中开淘宝直接卡死,第二种还在想怎么弄,这不来 v2 上看看大家有什么思路不?
Jun 22, 2019 Replied to a topic by z1421012325 › Python › 现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗? |
@shanlan 学习不商用,试试爬爬,加强技能
Select Language