如何在日本 v -ps 上做个 url 劫-持 把 goo-gle jp 的返回结果改成 goo-gle.com 的?

2016-07-16 11:17:20 +08:00
 google456
大牛给的爬-虫 抓取 goo-gle 结果。
我本机挂了日本的 s-s 抓包发现程序请求的是 goo-gle.com/xxxx
经过日本 s-s 后 返回的是 goo-gle jp 的结果 程序就抓不到了。

我想在 s-s 的 v -p-s 上做点 url 劫-持 把 goo-gle jp 的 url 劫-持成 goo-gle.com 的 然后再返回给我的本机上的程序。
这样程序就能抓到结果了。


===============不要给我自动转移板块 我加了- ======================
2286 次点击
所在节点    问与答
11 条回复
odirus
2016-07-16 11:20:38 +08:00
解决方法:打开 chrome -> 设置 -> 管理搜索引擎 -> 添加搜索引擎 Google.com | google.com | http://www.google.com/#newwindow=1&q=%s
odirus
2016-07-16 11:22:21 +08:00
如果你的爬虫是利用浏览器辅助的话,可以参考这个

命令行的我没试过
google456
2016-07-16 11:36:21 +08:00
@odirus 3Q 但是可惜 不是浏览器的问题。 我把 IE 用策略禁止 爬虫仍然正常工作。 应该是独立的
所以感觉在本地实在是解决不了了 必须在 vps 上动手了。
让数据在 vps 传回本机前 就被改成 google.com 的了
aprikyblue
2016-07-16 12:02:44 +08:00
一堆-看起来真费劲
7timesonenight
2016-07-16 12:31:25 +08:00
www.google.com/ncr

ncr=not change region
imn1
2016-07-16 12:43:35 +08:00
就算.com 也是日语结果多,带一个只搜汉语英语的 cookie 爬可能好点
Pastsong
2016-07-16 12:53:17 +08:00
你不需要自我审查
Pastsong
2016-07-16 12:54:04 +08:00
@7timesonenight 这个缩写是 no country redirection
7timesonenight
2016-07-16 13:49:51 +08:00
@Pastsong
多谢指正
lksltjw
2016-07-16 14:46:36 +08:00
v2 不打下划线没事,又不是 ss
google456
2016-07-16 22:16:36 +08:00
@7timesonenight 这个参数我当然知道 问题是程序我改不了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/292843

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX