美团(猫眼)电影票价/信息爬虫

2017-08-10 16:15:24 +08:00
 hiddenstrawberry

美团电影爬虫 /美团电影价格图片混淆破解

https://github.com/HiddenStrawberry/meituan-movie-price-crawler

项目难点:


让我们先来随便打开一个美团电影的页面

真是美滋滋啊,这个价格就写在上面!爬下来不就得了。

定睛一看代码,我了个擦,这是个什么东西。

打开图片 URL,才明白过来,原来是一张大图一堆数字,用 CSS 定位的具体数字,美团你为了反爬真是煞费苦心啊……


Cracked


requirement:

bs4 requests Pillow/PIL

需要独立安装 tesseract-ocr

使用方法:

  1. 安装 tesseract-ocr
  2. 将 num.traineddata 复制粘贴到 tesseract 的 tessdata 目录中
  3. 修改 meituan_price_img.py 中的 TESSERACT_PATH 变量定位到 tesseract.exe (绝对路径)
  4. 打开 meituan.py ,Enjoy it !

Example:

print get_city_url('上海') #获取城市的地址
print get_all_cinema('sh.meituan.com') #获取城市所有电影院信息
print get_cinema_movie('http://sh.meituan.com/shop/58174') #获取指定电影院所有电影场次信息

原理:

你都看到 tesseract-ocr 了原理还用我废话嘛?机器学习了所有数字的样本(精准到 1px ),然后自动识别并输出咯。 PS:如果价格有手机专享价,会自动输出手机专享价!

1922 次点击
所在节点    Python
1 条回复
sunwei0325
2017-08-12 13:17:18 +08:00
验证码是不是也可以用这个库来搞事呢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/381958

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX