请教一个 Flask 控制 selenium 的思路

2018-01-27 13:47:23 +08:00
 tbag781623489

本人正在做一个练手的爬虫项目,主要是用 flask 充当 selenium 爬虫的控制面板,初步渣代码如下:

from flask import Flask,render_template,request,redirect,url_for
from Control import control  ## selenium 的 class

app = Flask(__name__)
app.secret_key = 'dqwer235r*tbqew4r1$1232~@'
test = control()    ##启动后会启动两个 selenium 实例。。。

@app.route('/dashboard/',methods=['GET','POST'])
def dashboard():
    if request.method == 'GET':
        return render_template('dashboard.html')
    elif request.method == 'POST':
        if request.form['submit'] == 'Start':
            msg = 'Started.'
            qrSrc = test.qr()   ## 返回 selenium 中获取的二维码链接
            return render_template('dashboard.html',msg=msg,qrSrc=str(qrSrc))
        else:
            msg = 'no'
            return render_template('dashboard.html',msg=msg)

if __name__ == '__main__':
    app.run(host='0.0.0.0',port=80,debug=True)

from selenium import webdriver
import time

class control:
    def __init__(self):
        self.driver = webdriver.Chrome()

    def qr(self):
        self.driver.get('http://example.com')
        time.sleep(2)
        qr_src = self.driver.find_element_by_id('js_login_qrcode_img').get_attribute('src')
        return qr_src   ##扫描二维码登陆

if __name__ == '__main__':
    test = control()
    print(test.qr())

想请教下如何实现 selenium 的持久化,即浏览器一直不关闭并且能接收 flask 传入的命令?感觉要把 flask 嵌入另一个 selenium 的 class 中,但我比较想把 flask 和爬虫两者分离。另外上面的代码会弄出两个浏览器实例,暂时未知道原因。。 谢谢大家 :)

4144 次点击
所在节点    Python
6 条回复
xuyl
2018-01-27 14:03:01 +08:00
这个时候就要用到 flask 的上下文机制了
1314258
2018-01-27 14:49:43 +08:00
selenium 变成 http server,flask 发参数过去就可以了。
tbag781623489
2018-01-27 15:31:40 +08:00
@1314258 多谢,selenium-rc 看起来不错,研究一下

@xuyl 多谢指点,不过这个有点复杂,可能我要理解一段时间,而且网上也搜不到上下文的应用例子。。
zeq
2018-01-27 15:42:15 +08:00
两个实例的问题,你可以试一下 debug=False 或者 debug=True, use_reloader=False
hareandlion
2018-01-27 15:46:37 +08:00
请问 selenium server 长期运行对硬件资源有限制吗?没看到这方面的资料
tbag781623489
2018-01-27 23:18:54 +08:00
@zeq 谢谢,的确是 debug=False 后变回一个实例了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/426369

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX