V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
SlipStupig
V2EX  ›  程序员

关于网络节点智能调度算法问题

  •  
  •   SlipStupig · 2018-03-08 21:36:06 +08:00 · 2516 次点击
    这是一个创建于 2212 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟需要做一个项目需要求,需要做一个离线下载功能, 就是用户请求 API 服务器,然后 API 把任务发给下载服务器,然后缓存起来,然后用户再去从我们的下载服务器上下载。

    • 我们目前采用的调度是查询IP 归属地然后调度当地的服务器下载,但是由于经费有限,不可能像一些土豪公司那样,全世界部署节点,当不在我们服务器归属地的资源,有什么办法可以调度下载速度最快的节点呢?

    比如我们有三个国家的服务器:中国 /美国 /日本,下载资源在英国,该怎么决定用拿个节点去下载呢?

    12 条回复    2018-03-11 10:09:13 +08:00
    inflationaaron
        1
    inflationaaron  
       2018-03-09 00:22:13 +08:00
    不应该先想想怎么规避版权要求吗……同时下载 1M 测试一下然后再决定喽
    ovear
        2
    ovear  
       2018-03-09 00:23:06 +08:00
    proxychain
    Tianao
        3
    Tianao  
       2018-03-09 01:06:04 +08:00
    如果文件不大的话就先 ping 一遍,如果足够大的话就直接客户端测速喽。
    fatedier
        4
    fatedier  
       2018-03-09 01:25:01 +08:00
    采集数据,例如延迟,丢包率之类,建立相关的选择模型,迭代优化,根据实际运行的数据再做调整。
    realpg
        5
    realpg  
       2018-03-09 09:51:58 +08:00
    利用经验…… 或者实际测速
    只要不涉及一些奇奇怪怪的国家(包含我朝) 且你的机房不设限 基本 ping 值跟下载速度正相关的概率超过 90%
    SlipStupig
        6
    SlipStupig  
    OP
       2018-03-09 10:20:50 +08:00
    @realpg 很多资源网站的禁用 PING 了
    @Tianao
    @inflationaaron 我都开始下载了然后放弃下载这样没有什么用
    Tianao
        7
    Tianao  
       2018-03-09 10:51:30 +08:00 via iPhone
    @SlipStupig 那就路由跟踪到最远的一个跃点再 ping 它。
    realpg
        8
    realpg  
       2018-03-09 11:15:11 +08:00
    @SlipStupig #6
    你这是盗链?

    你说的明白 从你们服务器下载
    你们自己服务器让不让 ping 还不是自己说了算……
    SlipStupig
        9
    SlipStupig  
    OP
       2018-03-10 12:21:35 +08:00
    @realpg 你没明白我意思,流程是这样
    用户提交资源任务->API 服务器->下载服务器->下载任务资源->用户下载已经被缓存的资源
    我要解决的是 API 服务器调度下载服务器

    @Tianao 很多 VPS trace 到 IDC 出口就没有路由信息了
    realpg
        10
    realpg  
       2018-03-10 12:25:30 +08:00
    哦 还是盗链性质项目嘛
    SlipStupig
        11
    SlipStupig  
    OP
       2018-03-10 12:39:03 +08:00
    @realpg 你这么说也对,但是问题是很多资源按我现在的调度方式拿不到,怎么才能解决才是关键
    inspiron530s
        12
    inspiron530s  
       2018-03-11 10:09:13 +08:00 via iPhone
    tcping
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1234 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 105ms · UTC 18:00 · PVG 02:00 · LAX 11:00 · JFK 14:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.