V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
iOS 开发实用技术导航
NSHipster 中文版
› http://nshipster.cn/
cocos2d 开源 2D 游戏引擎
› http://www.cocos2d-iphone.org/
CocoaPods
› http://cocoapods.org/
Google Analytics for Mobile 统计解决方案
› http://code.google.com/mobile/analytics/
WWDC
› https://developer.apple.com/wwdc/
Design Guides and Resources
› https://developer.apple.com/design/
Transcripts of WWDC sessions
› http://asciiwwdc.com
Cocoa with Love
› http://cocoawithlove.com/
Cocoa Dev Central
› http://cocoadevcentral.com/
NSHipster
› http://nshipster.com/
Style Guides
› Google Objective-C Style Guide
› NYTimes Objective-C Style Guide
Useful Tools and Services
› Charles Web Debugging Proxy
› Smore
This topic created in 2750 days ago, the information mentioned may be changed or developed.
建设通的爬虫程序如何设计？
产品有：小程序、App、网站
- 网站的话分析网络看不到接口调用，应该是 Node 中间层对接口和网页做了处理，返回给浏览器端的效果就是已经渲染好的页面。跟早期前后端未分离的效果一样
- App、小程序：都是有接口的。Charles 抓包后发现有些数据是需要登陆才可以肯定，并且是 VIP 才可以，一年 5000RMB。所以不敢拿账号去尝试，爬被封
各位大佬，这种情况如何解决啊？如何爬取账号且 VIP 可见的数据
 |
1
dingyaguang117 Oct 25, 2018
selenium + chrome headless 啦
|
 |
2
uminokoe Oct 25, 2018 via Android
selenium ＋ firefox headless 啦
|
 |
3
stephenliubp OP @dingyaguang117 为什么他可以解决呢？？请求的时候对方会限制请求次数，只要次数多了就会封 VIP
|
 |
4
shawndev Nov 2, 2018
selenium + headless chrome
|
|
5
stephenliubp OP @shawndev 不行的。正常用户操作多了都封锁账号。「 selenium + headless chrome 」 做到的就是模拟浏览器加载出来，这对于这个情景根本不适用
|
 |
6
kangzlong Nov 30, 2018
@stephenliubp 如果你要的内容必须登录才能爬到而且一个账号操作频繁就会被锁住的话，我感觉你应该在注册账号这块想想办法，自动注册一堆账号。因为我要是这么设计的话，我的 API 也必然要求账号信息，所以你怎么都绕不过去
|
|
7
stephenliubp OP @kangzlong 注册不可以的。注册必须购买 VIP 才可以，5000 RMB
|
Select Language