首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

58 同城爬虫出了问题只爬了几十条数据,以前能上千条的

  •  
  •   koekoekoe · 7 天前 · 541 次点击
    import ...

    def get_links():
    urls = []
    for page in range(1, 71):
    list_view = 'http://sz.58.com/tech/pn{}'.format(page)
    url_1 = 'http://sz.58.com/tech/'
    url_2 = 'x.shtml'
    wb_data = requests.get(list_view, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'html.parser')
    for link in soup.select('div.job_name a'):
    urls.append(url_1+str(link.get('urlparams').split('=')[-1].strip('_q'))+url_2)
    return urls


    def get_info():
    urls = get_links()
    try:
    for url in urls:
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'html.parser')
    time.sleep(2)
    data = {
    'job': soup.select('.pos_title')[0].text,
    'salary': soup.select('.pos_salary')[0].text,
    'condition': soup.select('.item_condition')[1].text,
    'exprience': soup.select('.item_condition')[2].text
    }
    print(data)
    except IndexError:
    pass
    except requests.exceptions.ConnectionError:
    pass

    get_info()
        1
    cuzfinal   7 天前
    肯定是 58 更新了反爬策略呗。还有并不想看你的代码。
        2
    beforeuwait   7 天前
    楼上+1
        3
    JCZ2MkKb5S8ZX9pq   7 天前
    是有一点反爬,但不算严格。正在跑,稳得一比。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   1106 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 23ms · UTC 23:53 · PVG 07:53 · LAX 16:53 · JFK 19:53
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1