排名查询工具原理

2016-03-14 16:24:12 +08:00
 aliseree

电商公司有这样的需求:输入一个关键词,查询指定产品或卖家在产品搜索结果显示在第几页
功能类似于: http://www.taodaxiang.com/
请问这个原理是什么?要考虑到平台会屏蔽频繁访问而封锁 IP 的问题,如何做到?
请指教,或者业余时间能帮我把功能做出来,有偿,谢谢

1620 次点击
所在节点    问与答
4 条回复
Strikeactor
2016-03-14 16:27:05 +08:00
爬虫前边加个代理池
aliseree
2016-03-14 16:30:05 +08:00
@Strikeactor 如果做在 web 上,给访客使用的话,实现上会不会导致服务器负担很重,代理池成本多少?
mhycy
2016-03-14 16:33:20 +08:00
@aliseree
每次请求都依赖服务器发起,数据抽取也依赖服务器,负担的确很重
代理池成本需要看有多少个用户访问频率如何,速度要求如何不能一概而论
aliseree
2016-03-14 16:49:01 +08:00
@mhycy 供客户使用,每天至多大约 1 万次关键词查询,有朋友能做出来吗?
大约需要多少经费,有空的话留个联系方式或者联系我微信 598①81851

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/263402

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX