V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
ArchiTech
V2EX  ›  分享创造

分享自己做的一个自动检测网站变化的工具 - Web Watchman

  •  
  •   ArchiTech · 2017-12-21 13:14:05 +08:00 · 26014 次点击
    这是一个创建于 2289 天前的主题,其中的信息可能已经有所发展或是发生改变。
    开始写这个工具是因为自己会用到,比如看某些番剧有没有更新,小说有没有更新,想买的产品价格有没下降等等等等。每次针对特定的任务专门写一个脚本的话太麻烦了,所以就做了这个比较通用的工具,原理就是简单的截图然后比较有没有变化。

    做之前我先看了看网上已经存在的一些工具,感觉多少都有些限制,比如查询的频率一天只能查一次,没有保存网页变化的历史等等,要么就是 UI 我不喜欢。。。所以,最后还是自己动手了,做完后加上了个注册系统支持多用户,各位如果想用也欢迎来试试~

    webwatchman.com
    55 条回复    2020-10-31 23:15:44 +08:00
    touzi
        1
    touzi  
       2017-12-21 13:57:51 +08:00   ❤️ 1
    很是需要, 先来一个美剧试试
    pywilhelm
        2
    pywilhelm  
       2017-12-21 14:05:52 +08:00
    截图之后选取区域后对区域进行监控这个是怎么实现的?只是截图吗?如果网页不定长怎么处理?
    nfroot
        3
    nfroot  
       2017-12-21 14:14:10 +08:00
    bootstrap.css 花了 17 秒才载入完成,能不能套个 CDN 啊,免费的 CF 也比这个快吧……
    SevenJ
        4
    SevenJ  
       2017-12-21 14:17:23 +08:00

    但是 http://webwatchman.com/task.html 里头图片没有 load 出来
    ArchiTech
        5
    ArchiTech  
    OP
       2017-12-21 14:22:13 +08:00
    @nfroot O__O "…我本身离服务器近,完全没注意到速度问题,我尽快换成 cdn 哦...哈哈哈
    ArchiTech
        6
    ArchiTech  
    OP
       2017-12-21 14:28:23 +08:00
    @SevenJ 奇怪。。。你的邮箱或者你监测的网站是哪个?我看看去?
    ArchiTech
        7
    ArchiTech  
    OP
       2017-12-21 14:30:20 +08:00
    @pywilhelm 对,单纯截图。如果你关心的区域距离网页顶部的高度会变化,那就跪了。。。如果你关心的区域以下的页面长度变化的话就无所谓。
    qfdk
        8
    qfdk  
       2017-12-21 15:24:28 +08:00
    根据上面的评论,感觉可以浏览一些奇怪的网页 或者图片 斜眼笑

    ![Snipaste_2017-12-21_08-23-59.png]( https://i.loli.net/2017/12/21/5a3b6199b9545.png)
    timothyye
        9
    timothyye  
       2017-12-21 15:38:31 +08:00
    @qfdk 老司机
    ArchiTech
        10
    ArchiTech  
    OP
       2017-12-21 15:45:37 +08:00
    @qfdk 花式翻墙...
    SaulLawliet
        11
    SaulLawliet  
       2017-12-21 16:15:12 +08:00

    借地贴一个类似功能的本地脚本
    https://github.com/SaulLawliet/watchdog
    lloovve
        12
    lloovve  
       2017-12-21 16:25:07 +08:00 via iPhone
    邮件炸弹
    ArchiTech
        13
    ArchiTech  
    OP
       2017-12-21 16:36:48 +08:00
    @SaulLawliet 不错,你是 css_selectors 的思路,得到的结果最准确,就是开始设置的时候非专业人士可能不会怎么选取元素
    ArchiTech
        14
    ArchiTech  
    OP
       2017-12-21 16:37:04 +08:00
    @lloovve 啊?
    mskf
        15
    mskf  
       2017-12-21 17:21:21 +08:00   ❤️ 1
    不错不错,个人觉得这个可以开源一哈,因为很多页面是需要登陆才可以看到具体内容的,可以做成一个本地化的工具(例如浏览器插件)
    solobat
        16
    solobat  
       2017-12-21 18:09:43 +08:00
    不错,mark 一下
    SevenJ
        17
    SevenJ  
       2017-12-21 20:51:58 +08:00
    @ArchiTech 过了大概几分钟后图才刷出来,图片是放 S3 还是?
    qianyi0129
        18
    qianyi0129  
       2017-12-21 21:30:57 +08:00
    需要登录的网站呢?
    Zzde
        19
    Zzde  
       2017-12-21 21:40:26 +08:00
    等待时候的动画不错
    nendors
        20
    nendors  
       2017-12-21 22:09:04 +08:00   ❤️ 1
    支持下 顺便测试下
    maemolee
        21
    maemolee  
       2017-12-22 00:58:26 +08:00
    动态加载的网页也能跟踪吗?那就很厉害了。
    maemolee
        22
    maemolee  
       2017-12-22 00:58:54 +08:00
    啊,失败了。
    ArchiTech
        23
    ArchiTech  
    OP
       2017-12-22 02:21:56 +08:00
    @SevenJ 加州服务器上....我周末就加 cdn👌
    ArchiTech
        24
    ArchiTech  
    OP
       2017-12-22 02:26:12 +08:00
    @maemolee
    我试了你那个 url, 没问题呀~
    https://imgur.com/a/3gkMy
    ArchiTech
        25
    ArchiTech  
    OP
       2017-12-22 02:30:23 +08:00
    @qianyi0129 我没想清楚怎么做呢,您有想法可以讨论讨论~
    maemolee
        26
    maemolee  
       2017-12-22 04:00:33 +08:00
    @ArchiTech #24 这就很微妙了。。。
    cdlixucd
        27
    cdlixucd  
       2017-12-22 04:36:39 +08:00 via Android
    php 吗
    xuanyuanaosheng
        28
    xuanyuanaosheng  
       2017-12-22 08:14:12 +08:00 via Android
    看着不错~
    buseni
        29
    buseni  
       2017-12-22 08:18:20 +08:00 via Android
    不错
    ORZRRR
        30
    ORZRRR  
       2017-12-22 09:26:21 +08:00
    牛 b
    xxx.com 可以快照
    楼主用的哪家服务器啊?
    qianyi0129
        31
    qianyi0129  
       2017-12-22 09:26:45 +08:00
    @ArchiTech 你这功能要是不能检测登录网站的话其实 mac 系统自带你这个功能 在 dashboard 中
    nameryan
        32
    nameryan  
       2017-12-22 09:32:12 +08:00   ❤️ 1
    以前用过一款 chrome 插件的,不太好用。
    这个做的还不错,至少前端界面设计还是挺带感的,楼主应该也懂一些设计吧。
    先用着,后面可以加一些 chrome 插件等。
    xuanyuanaosheng
        33
    xuanyuanaosheng  
       2017-12-22 09:47:28 +08:00
    测试了,刷不出来啊
    ArchiTech
        34
    ArchiTech  
    OP
       2017-12-22 13:43:42 +08:00
    @ORZRRR aws
    ArchiTech
        35
    ArchiTech  
    OP
       2017-12-22 13:51:16 +08:00
    @qianyi0129 web clip 这个么?好像不会提醒诶。。
    ArchiTech
        36
    ArchiTech  
    OP
       2017-12-22 13:53:15 +08:00
    @nameryan 真的假的,哈哈,就是追求比较简单的 UI, 以后还是会找专业设计师帮忙改改.
    ORZRRR
        37
    ORZRRR  
       2017-12-22 14:31:52 +08:00
    楼主
    那个 微信公众号文章图片首张是可以显示的 / 我有过 绕不开微信的图片盗链
    后面的懒加载图片就 loading 了,能解决这个问题嘛?并分享下方法 [人工提前点赞]
    BadReese
        38
    BadReese  
       2017-12-22 15:13:12 +08:00
    截图有点慢..试了下微博
    ArchiTech
        39
    ArchiTech  
    OP
       2017-12-22 17:03:29 +08:00
    @ORZRRR 可以设置页面打开后等待几秒再截图,也可以保证所有 ajax call 的返回后再截图。前者好一些,后者可能永远等不到完。
    ihciah
        40
    ihciah  
       2017-12-22 17:08:41 +08:00
    emmmm 所以如果页面里包含 coinhive 会怎么样。。
    ArchiTech
        41
    ArchiTech  
    OP
       2017-12-22 17:46:22 +08:00
    @ihciah
    程序每次打开一个页面截完图就关了,不会停留在那里很久的~
    不过,哇。。还有 coinhive 这种东西,好神奇的想法,拿用户的 cpu 挖矿,长见识了。。。
    droiz
        42
    droiz  
       2017-12-22 17:57:29 +08:00
    一直在等待响应。。是不是 v2 的人打死了。。。
    magensky
        43
    magensky  
       2017-12-22 17:59:33 +08:00
    楼主啥时候开源呢?这里根本显示不出来,一直转圈,很久后显示失败
    Ginson
        44
    Ginson  
       2017-12-22 18:43:41 +08:00
    我现在在用一个类似的 Chrome 插件,叫 Distill Web Monitor。
    楼主说的 查询频率、保留历史这个插件都有实现,具体这样的
    ![1]( )
    ![2]( )
    ![3]( )

    PS:没有拆台的意思,只是觉得这个工具好像刚好能符合楼主需求
    ArchiTech
        45
    ArchiTech  
    OP
       2017-12-23 03:44:06 +08:00
    @Ginson 哈哈,欢迎讨论,这个还有 visualping 我都用过,他们做的都挺好的,我只是觉得一些细微的地方和我理想中的工具稍微有点偏差,就自己动手了~
    ArchiTech
        46
    ArchiTech  
    OP
       2017-12-23 03:48:11 +08:00
    @droiz 是被打的够呛,不过还没死呀。。。
    yearliny
        47
    yearliny  
       2017-12-24 09:57:13 +08:00 via Android
    我这里运营商劫持非常严重,你的网页打开满屏广告根本看不了,建议上 SSL。
    kitty7030
        48
    kitty7030  
       2017-12-30 12:20:22 +08:00
    "Failed - INTERNAL SERVER ERROR"
    随便一个网址都不行 下线了吗?
    leihejing
        49
    leihejing  
       2018-01-11 10:10:15 +08:00
    对不起,你找的文件服务器上找不到 !

    收到邮件 点击确认链接后显示。。。。。
    ArchiTech
        50
    ArchiTech  
    OP
       2018-01-11 13:11:21 +08:00
    @leihejing 点确认邮件应该会到改密码的页面呀,被劫持了?
    头像棒棒哒~
    ArchiTech
        51
    ArchiTech  
    OP
       2018-01-11 13:11:45 +08:00
    @kitty7030 没有啊,再来试试?
    ArchiTech
        52
    ArchiTech  
    OP
       2018-01-11 13:12:42 +08:00
    @yearliny 恩恩,尽快尽快,谢谢!
    leihejing
        53
    leihejing  
       2018-01-12 09:01:51 +08:00 via iPhone
    @ArchiTech 不是劫持,看看其他大佬有没有这现象
    ArchiTech
        54
    ArchiTech  
    OP
       2019-07-11 05:26:07 +08:00
    这个没有继续维护了,抱歉。
    因为很耗费服务器资源,开销太大,最麻烦的是这种图像比较的方法错误率太高。
    docx
        55
    docx  
       2020-10-31 23:15:44 +08:00
    网站打不开了。
    请问有开源的打算吗?想自己部署一个,很需要。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3623 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 00:11 · PVG 08:11 · LAX 17:11 · JFK 20:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.