linux nginx 如何实现蜘蛛抓取与用户访问不同的 VPS 节点?

2016-10-14 22:05:58 +08:00
 GreenJoson

标题写得有点复杂,大神可能看不太懂。我详细说下!

网站: xxxx.com ,因没有 beian,放不了国内 VPS ,用的香港 VPS 速度快,但因为香港小水管的问题,为了减轻带宽的问题,以及刚好手上有两台日本的 VPS ,想实现以下这种效果。 当让百度,谷歌,360 等蜘蛛抓取的时候,是到源站 IP 抓取,也就是香港的 VPS 。而用户访问的时候,则轮询到另两台日本的 VPS ,这样可以分散,而且用户访问的时候,不会暴露源站的 IP 。

我知道可能会有人说 CDN ,但国内的 CDN 都是要备案的。而且我刚好手上有多余的 VPS ,就想看下怎么实现。

目前知道的一点就是: nginx 的反向代理,还有 DNSPOD 有智能分析搜索引擎回源的功能,但有一个问题,如何做到源站 IP 上的数据更新,另外两台日本 VPS 上的数据或者静态文件也会同步呢? 后端用的是 PHP+mysql 的一般 CMS 。 linux 搭的 lnmp 一键包。 请求高手,给个思路,看下如何实现,会点 PHP 皮毛。

292 次点击
所在节点    VPS
4 条回复
GreenJoson
2016-10-14 22:06:34 +08:00
沙发……在线等高手。谢谢!!
GreenJoson
2016-10-14 22:39:16 +08:00
说明一下~~站点都伪静态的文件,最多的就是图片了。。。这种情况!
yylzcom
2016-10-15 18:02:44 +08:00
dnspod 分国别解析就好了
yylzcom
2016-10-16 00:02:16 +08:00
同步就用 inotify+rsync ,你这个需求简单
不暴露源站 ip 这个意义不大
但是我觉得不如都解析到日本好了,反正用户的访问速度都可以牺牲掉,搜索引擎那点速度所谓
或者考虑七牛云存储静态文件的方案

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/312897

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX