douban 的 www 域名 request 抓不到吗?

[firhome]

在cnodejs 上发过,没人回复,再到这里问下.


看了很多例子都是拿douban做爬虫的例子..

然后我也试试.

发现
request('http://movie.douban.com/') 有用

request('http://www.douban.com/') 没用

是什么原因呢?

[khowarizmi]

var request = require('request');
request.get({
url: 'http://www.douban.com',
headers: {
'User-Agent': 'request'
}
}, function(err, res, body){
console.log(body)
})

[rails3]

require 'net/http'
Net::HTTP.get('www.douban.com','/')

毫无鸭梨

[firhome]

@rails3 能说说为什么吗.

[firhome]

@khowarizmi 能告诉我为什么吗? www 的不行

[dorentus]

@rails3 你这明明是 ruby 的代码……


@firhome 什么叫「www 的不行」，有什么错误信息么？

[khowarizmi]

@firhome 豆瓣认为你是爬虫，直接爬就403了呗 。加上user-agent，装成浏览器。。

[firhome]

@khowarizmi 感谢, 那么我以后怎么判断/分析 是这个原因呢?

[YouXia]

@firhome 可以参考下HTTP协议的状态码。