请教一个抓取tweets的问题

[sutar]

比如现在有个URL：https://twitter.com/#!/sutar/status/170814521433276416
我使用Python的urllib2库进行抓取，设定了Cookie和UA信息。

由于该页面载入的时候twitter使用了跳转，所以用urlopen读取的页面不是所需要的页面，而是一个提示登录的页面。估计是twitter为了防止采集所采取的方式吧。

可是现在的确需要抓取该页面的信息，请问我该怎么做呢？
目前对于跳转的页面完全没思路啊，看response的信息也看不到门道。。求助！

[laiwei]

嗯，twitter的消息，都是要经过用户授权的。

你可以申请一个appkey，然后做一个应用，让用户授权，然后你访问数据。

就是这么个过程，没有捷径^^

[sutar]

@laiwei 是啊，原先也想过使用API，但是API的访问限制不满足需要啊。昨天不到半小时就采集了几千条tweets。用API肯定超额了。 :(
谢谢你了。

[laiwei]

哈，你采集的是什么tweets呢？是自己的？其他用户的？

[sutar]

@laiwei 当然不是自己的，自己的就好办了。。= =#

[run2]

twitterfeed之类的服务呢，再采集他们的feed

[toothpaste]

twitter提供RSS输出，可以试试抓取RSS,不许要认证
http://api.twitter.com/1/statuses/user_timeline.rss?screen_name={USERNAME}

例如：
http://api.twitter.com/1/statuses/user_timeline.rss?screen_name=google

[tuoxie007]

redirecthandler

[wynemo]

是不是该抓https://twitter.com/sutar/status/170814521433276416 呢

$ wget https://twitter.com/#!/sutar/status/170814521433276416 之后

cat 170814521433276416 |grep -P '<span class="entry-content">'

<span class="entry-content">I'm at 华联商厦(五道口店) (北京海淀区成府路28号  , 北京) <a href="http://t.co
/hKED0mQ9" target="_blank" class="tweet-url web" rel="nofollow noopener" class="twitter-timeline-link">t.co/hKED0mQ9</a></span>

直接抓那个带#的估计就是抓的首页吧。。。

[tuoxie007]

@wynemo 同学，这个地址怎么和我在一栋呀

[wynemo]

@tuoxie007 这个你就问楼主了

[wynemo]

8l 写错了 wget https://twitter.com/sutar/status/170814521433276416即可

[sutar]

@wynemo 啊 谢谢你啊！貌似可以的！ :)

[sutar]

@tuoxie007 咦？你在五道口购物中心？

[tuoxie007]

@sutar ，我就是地下一层楼梯口卖糖葫芦的