V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
qazwsxkevin
V2EX  ›  Python

使用 webdriver.Chrome 打开某些网页,有很大机率提示“<customErrors> 标记"报错

  •  
  •   qazwsxkevin · 2020-08-08 22:47:10 +08:00 · 1562 次点击
    这是一个创建于 1346 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在公司的内网里面,有一个页面用普通的浏览器,IE,firefox,Chrome 打开,加载一点儿问题都没有

    而写 Python,用了 webdriver.Chrome 去 get 这个 url,会出现这样的提示:

    “/”应用程序中的服务器错误。
    运行时错误
    说明: 服务器上出现应用程序错误。此应用程序的当前自定义错误设置禁止远程查看应用程序错误的详细信息(出于安全原因)。但可以通过在本地服务器计算机上运行的浏览器查看。
    
    详细信息: 若要使他人能够在远程计算机上查看此特定错误消息的详细信息,请在位于当前 Web 应用程序根目录下的“web.config”配置文件中创建一个 <customErrors> 标记。然后应将此 <customErrors> 标记的“mode”特性设置为“Off”。
    
    
    <!-- Web.Config 配置文件 -->
    
    <configuration>
        <system.web>
            <customErrors mode="Off"/>
        </system.web>
    </configuration>
    
    注释: 通过修改应用程序的 <customErrors> 配置标记的“defaultRedirect”特性,使之指向自定义错误页的 URL,可以用自定义错误页替换所看到的当前错误页。
    
    
    <!-- Web.Config 配置文件 -->
    
    <configuration>
        <system.web>
            <customErrors mode="RemoteOnly" defaultRedirect="mycustompage.htm"/>
        </system.web>
    </configuration>
    

    以一个 selenium 进程寿命来讲,chrome 有时候地一次能打开,而后面 N 次都打不开,报上面的错误。。
    有时候是一个 selenium 进程寿命无论多少次尝试,始终都打不开网页
    看了一下普通浏览器的交互过程,看各个 js 内容,似乎也没有什么反"webdriver"的操作。
    而用 selenium Chromedriver 的 console 过程,什么信息都没有提示。。。
    请教大家,这种情况,是网页服务器的问题,还是 selenium 的问题?

    2 条回复    2020-08-09 23:43:52 +08:00
    dorothyREN
        1
    dorothyREN  
       2020-08-09 18:58:09 +08:00
    这是 IIS 服务器的报错吧。跟你用的啥没关系
    qazwsxkevin
        2
    qazwsxkevin  
    OP
       2020-08-09 23:43:52 +08:00
    今天摸鱼,有时间就琢磨了一下,加了个
    options.add_argument('--disable-javascript') # 禁用 javascript
    结果,网页 100 次 get,100 次都能正常打开,但就是部分区域未能渲染好,
    应该是有 js 搞鬼了,不是正常的访问,都引导成"IIS 服务器故障“,
    事情涉及到前端的专业技术,认知基本空白,目前不了解原理,只能把绕开反爬 js 的事情押后以后再学习了,
    反正也拿到了要的东西
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3282 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 13:55 · PVG 21:55 · LAX 06:55 · JFK 09:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.