打算搞一个在线爬虫平台

2020-11-09 15:38:10 +08:00
 alexchinatests

打算搞一个在线爬虫平台,就是最近在爬租房数据,然后百度了下在线爬取,不是付费就是功能比较简单 支持在线编辑代码,执行,直接获取到结果下载 不同用户数据,代码隔离 有一个公共爬虫库,点击后可以直接使用

希望大家多多提意见。

5455 次点击
所在节点    奇思妙想
27 条回复
FaceBug
2020-11-09 15:48:01 +08:00
是爬房租的价格么
efaun
2020-11-09 15:55:28 +08:00
从入门到坐牢?
alexchinatests
2020-11-09 15:56:34 +08:00
@FaceBug 不是,就是一个在线爬虫系统,不需要搭建环境,不需要部署。前期可能需要一点代码基础,后面功能完善了就不需要代码基础了。
alexchinatests
2020-11-09 15:57:09 +08:00
@efaun 面向监狱编程
qfdk
2020-11-09 15:57:36 +08:00
早就有了啊 好像是 binux 还是谁写的
alexchinatests
2020-11-09 16:00:47 +08:00
icedir
2020-11-09 16:02:57 +08:00
这是面向监狱编程啊
pckillers
2020-11-09 16:02:58 +08:00
然后贵产品各 IP 被各大网站疯狂屏蔽?
alexchinatests
2020-11-09 16:07:57 +08:00
@pckillers
@icedir
不是,不提供代理服务。他们自己实现
alexchinatests
2020-11-09 16:09:05 +08:00
写好声明不就行了。。。
实在不行就私有部署吧
em70
2020-11-09 16:13:15 +08:00
就是采集器嘛,十年前就已经很多类似产品了,即刻不也是采集器的变种么
alexchinatests
2020-11-09 16:15:45 +08:00
@em70 叫这个名呀。我搜了下好像蛮多的
madlifer
2020-11-09 16:56:56 +08:00
其实如果你能写出来个开源的无代码采集器肯定火爆,参考火车头
flicking2015
2020-11-09 16:58:42 +08:00
不推荐做,了解下 crawlab,你能短时间内做一个比他更好的就去弄吧
lazycat353
2020-11-09 17:04:36 +08:00
面向牢饭
yolee599
2020-11-09 17:25:31 +08:00
爬虫写得好,牢饭吃得早
tikazyq
2020-11-09 17:26:37 +08:00
westoy
2020-11-09 17:32:06 +08:00
提供软件没事

提供采集规则和平台是找死
agdhole
2020-11-09 17:43:18 +08:00
曾经有人搞过,叫“造数”
刚才去官网已经打不开了
graetdk
2020-11-09 17:50:13 +08:00
@agdhole 造数转企业服务了,活得可滋润了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/723240

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX