iOS 开发实用技术导航
NSHipster 中文版
› http://nshipster.cn/
cocos2d 开源 2D 游戏引擎
› http://www.cocos2d-iphone.org/
CocoaPods
› http://cocoapods.org/
Google Analytics for Mobile 统计解决方案
› http://code.google.com/mobile/analytics/
WWDC
› https://developer.apple.com/wwdc/
Design Guides and Resources
› https://developer.apple.com/design/
Transcripts of WWDC sessions
› http://asciiwwdc.com
Cocoa with Love
› http://cocoawithlove.com/
Cocoa Dev Central
› http://cocoadevcentral.com/
NSHipster
› http://nshipster.com/
Style Guides
› Google Objective-C Style Guide
› NYTimes Objective-C Style Guide
Useful Tools and Services
› Charles Web Debugging Proxy
› Smore
stephenliubp
V2EX  ›  iDev

建设通网站的爬虫设计

  •  
  •   stephenliubp ·
    FantasticLBP · Oct 25, 2018 · 4955 views
    This topic created in 2944 days ago, the information mentioned may be changed or developed.

    建设通的爬虫程序如何设计?

    产品有:小程序、App、网站

    • 网站的话分析网络看不到接口调用,应该是 Node 中间层对接口和网页做了处理,返回给浏览器端的效果就是已经渲染好的页面。跟早期前后端未分离的效果一样
    • App、小程序:都是有接口的。Charles 抓包后发现有些数据是需要登陆才可以肯定,并且是 VIP 才可以,一年 5000RMB。所以不敢拿账号去尝试,爬被封

    建设通网站网址

    各位大佬,这种情况如何解决啊?如何爬取账号且 VIP 可见的数据

    7 replies  •  2018-11-30 09:14:09 +08:00
    dingyaguang117
    dingyaguang117
    Oct 25, 2018
    1
    selenium + chrome headless 啦
    uminokoe
    uminokoe
    Oct 25, 2018 via Android
    2
    selenium + firefox headless 啦
    stephenliubp
    stephenliubp
    OP
    Oct 25, 2018
    3
    @dingyaguang117 为什么他可以解决呢??请求的时候对方会限制请求次数,只要次数多了就会封 VIP
    shawndev
    shawndev
    Nov 2, 2018
    4
    selenium + headless chrome
    stephenliubp
    stephenliubp
    OP
    Nov 3, 2018
    5
    @shawndev 不行的。正常用户操作多了都封锁账号。「 selenium + headless chrome 」 做到的就是模拟浏览器加载出来,这对于这个情景根本不适用
    kangzlong
    kangzlong
    Nov 30, 2018
    6
    @stephenliubp 如果你要的内容必须登录才能爬到而且一个账号操作频繁就会被锁住的话,我感觉你应该在注册账号这块想想办法,自动注册一堆账号。因为我要是这么设计的话,我的 API 也必然要求账号信息,所以你怎么都绕不过去
    stephenliubp
    stephenliubp
    OP
    Nov 30, 2018
    7
    @kangzlong 注册不可以的。注册必须购买 VIP 才可以,5000 RMB
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   938 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 21:43 · PVG 05:43 · LAX 13:43 · JFK 16:43
    ♥ Do have faith in what you're doing.