高并发如何保证微信 access_token 的有效

2016-09-23 09:45:47 +08:00
 swfbarhr

本文源地址:高并发如何保证微信 access_token 的有效,求 star

前言

消失了快 2 个月,俺又回来了。最近换比较忙,好久没写博客,但是学习的脚步一直没停下。前段时间在cnode上看到一个关于微信 access_token 的问题:高并发如何保证微信 token 的有效。其中本人也在上面回复了一下,但是觉得解决方案还是不够好,于是就有了本篇:本文主要以渐进的方式,来一步一步解决高并发情况下 access_token 的获取与保存。

前提条件

由于本文讨论是基于微信公众平台开发展开的,所以如果对微信公众平台开发不熟悉的同学可以先去看下微信公众平台的开发文档

需要解决的问题

本文讨论的其实是 access_token 获取与保存在高并发情况下的边界问题:

(单进程模式下)思路

首先我们来讨论,如何解决单进程模式下高并发遇到的问题。

具体实现代码:

var Emitter = require('events').Emitter;
var util = require('util');

var access_token, flag;

function TokenEmitter() {
  Emitter.call(this);
}
util.inherits(TokenEmitter, Emitter);

myEmitter = new TokenEmitter();
// 消除警告
myEmitter.setMaxListeners(0);

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 判断 access_token 是否过期
  if (!isValid(access_token) && !flag) {
    // 标记已经向微信服务器发送获取 access_token 的请求
    flag = true;

    // 向微信服务器请求新的 access_token
    requestForAccessToken(appID, appSecret, function(err, newToken) {
      if (err) {
        // 通知出错
        return myEmitter.emit('token', err);
      }

      // 更新 access_token
      access_token = newToken;
      // 触发所有监听回调函数
      myEmitter.emit('token', null, newToken.access_token);
      // 还原标记
      flag = false;
    });
  } else {
    process.nextTick(function(){
      callback(null, access_token.access_token);
    });
  }
}

以上代码主要的思路就是利用, node 自带的事件监听器,也就是代码中的'myEmitter.once()'方法,在 access_token 失效的情况下把所有调用的回调方法添加为'token'事件监听函数。并且只有第一个调用者可以去更新 access_token 的值(主要用 flag 来控制)。当获得新的 access_token 后,以新 access_token 为参数,去触发'token'事件。此时,所有监听了'token'事件的函数都会被调用,也就是说,所有调用者的回调函数都会被调用。这样,我们就实现了高并发情况下,防止 access_token 被多次更新的问题,也就是解决了问题 1 。

(多进程模式下)思路

解决了单进程模式下的问题,可以说我们多进程问题也解决了一部分。在多进程模式下,我们的主题思路还是与单进程一直,将调用缓存到事件队列中。但是,多进程的各个进程是不共享内存的,所以我们的 access_token 和 flag 标记不可以存储在变量中,因此需要引入外部存储: redis 。使用 redis 作为外部存储有以下几个原因:

统一存储 access_token

这一点大家都应该没什么疑问, access_token 统一存储的好处就是不需要面对复杂的进程见通信。

锁媒介

当我们标记“正在请求微信服务器”的 flag 标志不可以放在代码的变量中时,那就要寻求代码之外的解决方法,其实我们可以存在 mongodb 、 mysql 等等可以存储的媒介中,甚至可以存放在文本文件中。但是为了保证速度,我还是考虑将其存放在速度更快的 redis 中。

redis 发布订阅功能

当然,如果我们的程序使用的是 node 的 cluster 模块开启的多进程模式,进程间通信还是相对容易一些:每个 worker 都可以向 master 发送 message ,利用这一点把 master 当做中心,来交换数据。但是如果我们是使用 pm2 开启了多实例, pm2 虽然提供了实例间通信的 API ,但是使用起来各种不顺畅,最终选择 redis 来作为各个实例接受通知的发起方。

以上思路的实现代码大致如下:

1.第一步需要做的就是判断 access_token 是否过期(为了方便起见,直接用 appID + appSecret 作为存储 access_token 的键):从 redis 获取键为 appID + appSecret 的内容,因为我们在设置 access_token 时,是将其设为了过期键(设置过程涉及到锁,将在之后给出),所以只要能取到值,就说明 access_token 没有过期。代码如下:

function isValid(appID, appSecret, callback) {
  redis.get(appID + appSecret, function(err, token) {
    if (err) {
      return callback(err);
    }

    // 可以取到值
    if (tokenInfo) {
      return callback(null, token);
    }

    // 未取到值
    callback(null);
  });
}

2.如果在第一步的判断中,我们得出结论: access_token 已经过期,那么我们需要做的下一步就是设置一个代码级别的锁,防止之后的程序访问之后的代码:

function aquireLock(callback) {
  redis.setnx('lock', callback);
}

function releaseLock(callback) {
  redis.del('lock', callback);
}

这 2 个函数,一个用于设置锁,一个用于释放锁。我们设置锁是利用了 redis 的 setnx 命令原理: setnx 只可以设置不存在的 key ,即使同一时间有多个 setnx 命令来设置同一个 key ,最终只有一个客户端可以成功设置'lock'键,也就是说只有一个请求获得了锁的权限。这样就控制了并发产生的问题。

3.最后我们将所有程序写入主函数中:

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 处理订阅消息
  subscribe.on('message', (channel, message) => {
    switch (channel) {
      case 'new_token':
        myEmitter.emit('token', null, message);
        break;
      case 'new_token_err':
        myEmitter.emit('token', new Error(message));
        break;
      default:
        break;
    }
  });

  // 判断 access_token 是否过期
  isValid(appID, appSecret, function(err, token) {
    // 出错
    if (err) {
      return myEmitter.emit('token', err);
    }

    // token 正常
    if (token) {
      return myEmitter.emit('token', null, token.access_token);
    }

    // token 已过期,获取锁
    aquireLock(function(err, result) {
      // 如果获取锁成功,则开始更新 access_token ,如果未得到锁,等待'token'触发
      if (result) {
        // 向微信服务器请求新的 access_token
        requestForAccessToken(appID, appSecret, function(err, newToken) {
          if (err) {
            // 释放锁标记
            releaseLock();
            // 通知出错
            return myEmitter.emit('token', err);
          }

          // 更新 access_token ,将新的 access_token 保存到 redis ,并且提前 5 分钟过期
          redis.setex(appID + appSecret, (newToken.expires_in - 300), newToken.access_token);
          // 发布更新
          publish.publish('new_token', newToken.access_token);
          // 释放锁标记
          releaseLock();
        });
      }
    });

    // 订阅
    subscribe.subscribe('new_token');
  });
}

进一步思考

到此,一个简单多进程控制 access_token 并发的解决方法已经呈现在眼前,但是我们还需要考虑一下边界情况:

function aquireLock(callback) {
  redis.watch('lock');
  redis.multi().setnx('lock').expire('lock', 2).exec(callback);
}

由于设置锁和设置锁的过期时间需要同一时间完成,所以这里我使用了 redis 的事务来保证了原子性。

更进一步的思考

虽然我们解决了锁问题,但是此时所有未获得锁的请求还处于 pending 状态,等待着 access_token 的到来,但是由于获得锁的请求已经走在天堂的路上,已经无法再来给其他这些个请求触发事件了。所以为了解决此类问题,我们需要引入另一个超时,那就是函数调用超时,在一定时间内未完成的话,我们就回调超时错误给调用者:

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 设置函数调用超时
  setTimeout(function () {
    callback(null, new Error('time out'));
  }, 2000);
  
  // ...
}

总结

其实在使用 redis 的订阅功能之前,我还考虑过tjaxon作为进程通信的手段,但是由于 axon 初始化过程有一定的延迟,不符合我的预期,所以放弃了。但是不得不说 axon 是一个非常好的项目,有条件的话可以用在项目当中。好了,以上就是我对高并发下处理 access_token 的一些自己的看法。

24577 次点击
所在节点    Node.js
54 条回复
paicha
2016-09-24 00:41:57 +08:00
想复杂了。
z5864703
2016-09-24 12:03:40 +08:00
把一个简单的问题复杂化,本来只要一个程序可用性高即可,现在又做这么多降低可用性的事。
楼主应该这样想,本来一个计算器就可以完成的事,你要用台超算来完成同样时间产生同样的结果,哪个可维护性与可靠性高?
headin
2016-09-25 08:57:49 +08:00
@tairan2006 觉得你的方案最好,能展开说一下吗?
ryd994
2016-09-25 11:04:25 +08:00
向中控获取,中控直接进队列,然后检查过期,过期就刷新,中控单机队列上锁很简单
或者异步定时更新
40 楼说的就是定时更新而已,只不过让系统服务来做定时触发。真要 crontab 挂了,这台服务器一般也没了

你担心脚本挂,应该考虑怎样做监控做报错做自动重启,不如考虑一下如果其他服务器发现过期时怎样触发中控强制更新,或者如何向运维报警,而不是重新发明分布式锁。
ryd994
2016-09-25 11:20:01 +08:00
而且还不是真正的分布式锁,因为 Redis 单点
crontab 单点和 Redis 单点,我宁可相信 crontab
最近在上分布式系统课,最近刚讲过分布式锁,还是在假设所有进程存活且没有通讯故障的前提下
tairan2006
2016-09-25 12:49:31 +08:00
@headin 还是建议用微信官方的方法… crontab 的思路的缺陷是官方可能修改 token 的过期时间,这样你无法确认更新周期; cron 可能跑挂; redis 集群也不能用这种方法更新。。
yutian2211
2016-09-26 09:34:02 +08:00
我不太懂 nodejs,不过楼主的线程模式下解决方案:
if (!isValid(access_token) && !flag) {
// 标记已经向微信服务器发送获取 access_token 的请求
flag = true;

这里没有并发问题么?

----------------------------------------------------------
2.之前很多的 V 友提了的:单脚本更新 token 的方法 更加的简单可靠,完全没有并发的问题,楼主强行上并发,然后思考各种解决方案,岂不是增加代码的复杂度与降低可维护性?
zuotech
2016-09-26 13:50:04 +08:00
定期刷新的有没有想过高并发的问题?
当刷新的那刻有很多高并发访问, 那此时访问的已经是过期的 token, 那这些访问将直接导致不可用...
zuotech
2016-09-26 13:57:34 +08:00
楼上的一些人说的, 一小时更新一次, 那一天就是更新 24 次, 那么在这 24 次更新中的高并发的脏读问题是没有解决的?
还有人说一个时更新一次, token 过期是 2 小时, 有一小时的处理时间, 但并未考虑到有些情况是, 更是请求更新成功了, 但是没有返回,或者是没有写入数据库中, 那程序将立即变的不可用啊...
qianbaooffer
2016-09-27 15:30:23 +08:00
@zuotech 可以在微信 token 过期之前,比如 token 过期时间 7200 秒,提前一段时间做定时更新
iamcc
2016-09-29 09:02:33 +08:00
定期刷新的有没有想过高并发的问题?
当刷新的那刻有很多高并发访问, 那此时访问的已经是过期的 token, 那这些访问将直接导致不可用...

-----


@zuotech 微信官方文档明确说明,再刷新过程中,两个新老 token 会共存。
swfbarhr
2016-09-29 10:31:32 +08:00
@iamcc 微信官方没有说明旧的 access_token 会在什么时候失效,根据我的测试,成功获取新的 access_token 后,前一个 access_token 会在 10 分钟左右的时间过期(如果按次数算,多次获取 access_token ,第一次获取的有效 access_token 差不多会在我们获取第 8-10 次的时候失效),所以如果我们提前 1 个小时刷新 access_token ,其实就是我们需要在 10 分钟左右处理完所有的事(如果出叉子的话,留给我们解决问题的时间其实不是 1 个小时)
iamcc
2016-09-29 11:41:11 +08:00
@swfbarhr 你所指的出岔子是指挂掉了重启刷新进程吗?

如果只是防止异常退出,那用 supervisor 之类的应该就没啥问题了。

再假如你真的对自己写的刷新进程的稳定性那么不信任,那就开多几个进程,分开不同的物理机,然后用一个分布式锁去实现直有单一进程成功执行的效果。
c0ming
2017-08-16 18:14:42 +08:00
这是典型的为了解决问题而引入了其他问题然后为了解决新问题而引入更多其他东西(逃

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/308349

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX