requests 或者 urllib2 能不能模拟手机端抓取网页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4099 days ago, the information mentioned may be changed or developed.

RT。因为需要抓取手机页面的信息。不知道如何模拟手机端。谢谢

抓取

urllib2

Requests

12 replies • 2015-02-21 13:03:33 +08:00

ryd994

Feb 18, 2015

能，无非就是UA而已

fising

Feb 18, 2015

就是发送手机的request 可能不止ua

binbex

Feb 18, 2015 via Android

搜下fiddler.然后自己搞

killerv

Feb 18, 2015

应该是可以的吧，header里面的信息都可以伪造。

jianghu52

Feb 18, 2015

可以。我做过一个页面，就是专门判断手机还是PC端的，但是同事写了一个伪造的request，就把我的页面给欺骗了T_T

icedx

Feb 18, 2015 via Android

能

zwzmzd

Feb 18, 2015 via Android

@fising 手机request除了UA还有啥特别的吗？

icedx

Feb 18, 2015

http://paste.ubuntu.com/10284562/

9hills

Feb 18, 2015 via iPhone

@zwzmzd 如果不是专门防抓取移动网页，一般就只有ua判断。

如果做了防抓取，方法就多了，比如分辨率等……

clino

Feb 18, 2015 via Android

@9hills 分辨率也能配置吧？

9hills

Feb 18, 2015 via iPhone

@clino 当然能，所有的防抓取都有破解办法………只是简单一点就UA好了，不行再对症下药

taobeier

Feb 21, 2015

一般只是UA区别，伪造头就好了