私活,需要抗比较复杂反爬虫策略的爬虫

2017-10-03 18:11:40 +08:00
 nonesuccess

工作量不算大,但反爬虫比较复杂

感兴趣的话,加企鹅私聊:二 431 五零一五 79

5517 次点击
所在节点    程序员
25 条回复
iiduce
2017-10-03 18:31:34 +08:00
就一句话,还前后矛盾,这活怎么接?
laoyur
2017-10-03 18:35:54 +08:00
标题和正文需要这么断句:
私活,需要(做) 「抗-比较复杂反爬虫策略」的爬虫
工作量不算大,但(实现)反爬虫 比较复杂
a87150
2017-10-03 18:38:10 +08:00
怎么搞的跟犯罪分子接头一样?
AlwaysBee
2017-10-03 18:40:00 +08:00
比较复杂的反爬虫策略和工作量真的不存在关联吗,哈哈
nonesuccess
2017-10-03 18:40:19 +08:00
@iiduce 要爬的内容不算多,但是每一个都不太简单
iannil
2017-10-03 18:55:01 +08:00
举个例子看看先?
ericgui
2017-10-03 19:03:02 +08:00
@iiduce 我现在也遇到要给网站,才 1000 多条信息,但这是一个大牛逼网站的一个小部分,全站的反爬虫策略非常复杂,从来没有完整下载过这 1000 多条信息。

另一个网站 6W+条,反爬虫策略很简单,2 小时搞定。
ericgui
2017-10-03 19:05:24 +08:00
@AlwaysBee 应该指的是数据量不大。
jint
2017-10-03 19:06:51 +08:00
工作量不算大。所以没费用或者极少。至于难度,难度也能叫工作量?搞不定是你水平不行。
hugee
2017-10-03 19:11:13 +08:00
把目标站发出来看看
HYSS
2017-10-03 19:17:39 +08:00
总有这种逗逗的需求

”工作量不算大,但反爬虫比较复杂“
mxi1
2017-10-03 19:21:08 +08:00
@HYSS 哈哈。都知道工作量了,还找什么人呀,自己做就行了,反正工作量不算大,233。
steve007
2017-10-03 19:25:13 +08:00
能贴下网址吗
iConnect
2017-10-03 19:30:40 +08:00
爬虫也知道工作量?还会感觉累?
ioven
2017-10-03 19:47:33 +08:00
既然工作量不大直接手工好了
torbrowserbridge
2017-10-03 20:51:52 +08:00
爬 1 万条和 10 万条对爬虫来说区别很大吗?
binux
2017-10-03 21:13:54 +08:00
@ericgui #7 找 N 个人手动复制粘贴 1000 次,一次 1 元。
hcnhcn012
2017-10-03 21:21:08 +08:00
说实话,这句话我读了 10 多遍。。。。
oszlso
2017-10-03 21:33:33 +08:00
怎么反爬虫的,难道是混淆数据么~~爬出来的数据也是废的~~
kangkang
2017-10-03 21:43:34 +08:00
工作量不大--别指望太多钱
比较复杂--别指望太简单

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/395300

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX