高并发如何保证微信 access_token 的有效

2016-09-23 09:45:47 +08:00
 swfbarhr

本文源地址:高并发如何保证微信 access_token 的有效,求 star

前言

消失了快 2 个月,俺又回来了。最近换比较忙,好久没写博客,但是学习的脚步一直没停下。前段时间在cnode上看到一个关于微信 access_token 的问题:高并发如何保证微信 token 的有效。其中本人也在上面回复了一下,但是觉得解决方案还是不够好,于是就有了本篇:本文主要以渐进的方式,来一步一步解决高并发情况下 access_token 的获取与保存。

前提条件

由于本文讨论是基于微信公众平台开发展开的,所以如果对微信公众平台开发不熟悉的同学可以先去看下微信公众平台的开发文档

需要解决的问题

本文讨论的其实是 access_token 获取与保存在高并发情况下的边界问题:

(单进程模式下)思路

首先我们来讨论,如何解决单进程模式下高并发遇到的问题。

具体实现代码:

var Emitter = require('events').Emitter;
var util = require('util');

var access_token, flag;

function TokenEmitter() {
  Emitter.call(this);
}
util.inherits(TokenEmitter, Emitter);

myEmitter = new TokenEmitter();
// 消除警告
myEmitter.setMaxListeners(0);

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 判断 access_token 是否过期
  if (!isValid(access_token) && !flag) {
    // 标记已经向微信服务器发送获取 access_token 的请求
    flag = true;

    // 向微信服务器请求新的 access_token
    requestForAccessToken(appID, appSecret, function(err, newToken) {
      if (err) {
        // 通知出错
        return myEmitter.emit('token', err);
      }

      // 更新 access_token
      access_token = newToken;
      // 触发所有监听回调函数
      myEmitter.emit('token', null, newToken.access_token);
      // 还原标记
      flag = false;
    });
  } else {
    process.nextTick(function(){
      callback(null, access_token.access_token);
    });
  }
}

以上代码主要的思路就是利用, node 自带的事件监听器,也就是代码中的'myEmitter.once()'方法,在 access_token 失效的情况下把所有调用的回调方法添加为'token'事件监听函数。并且只有第一个调用者可以去更新 access_token 的值(主要用 flag 来控制)。当获得新的 access_token 后,以新 access_token 为参数,去触发'token'事件。此时,所有监听了'token'事件的函数都会被调用,也就是说,所有调用者的回调函数都会被调用。这样,我们就实现了高并发情况下,防止 access_token 被多次更新的问题,也就是解决了问题 1 。

(多进程模式下)思路

解决了单进程模式下的问题,可以说我们多进程问题也解决了一部分。在多进程模式下,我们的主题思路还是与单进程一直,将调用缓存到事件队列中。但是,多进程的各个进程是不共享内存的,所以我们的 access_token 和 flag 标记不可以存储在变量中,因此需要引入外部存储: redis 。使用 redis 作为外部存储有以下几个原因:

统一存储 access_token

这一点大家都应该没什么疑问, access_token 统一存储的好处就是不需要面对复杂的进程见通信。

锁媒介

当我们标记“正在请求微信服务器”的 flag 标志不可以放在代码的变量中时,那就要寻求代码之外的解决方法,其实我们可以存在 mongodb 、 mysql 等等可以存储的媒介中,甚至可以存放在文本文件中。但是为了保证速度,我还是考虑将其存放在速度更快的 redis 中。

redis 发布订阅功能

当然,如果我们的程序使用的是 node 的 cluster 模块开启的多进程模式,进程间通信还是相对容易一些:每个 worker 都可以向 master 发送 message ,利用这一点把 master 当做中心,来交换数据。但是如果我们是使用 pm2 开启了多实例, pm2 虽然提供了实例间通信的 API ,但是使用起来各种不顺畅,最终选择 redis 来作为各个实例接受通知的发起方。

以上思路的实现代码大致如下:

1.第一步需要做的就是判断 access_token 是否过期(为了方便起见,直接用 appID + appSecret 作为存储 access_token 的键):从 redis 获取键为 appID + appSecret 的内容,因为我们在设置 access_token 时,是将其设为了过期键(设置过程涉及到锁,将在之后给出),所以只要能取到值,就说明 access_token 没有过期。代码如下:

function isValid(appID, appSecret, callback) {
  redis.get(appID + appSecret, function(err, token) {
    if (err) {
      return callback(err);
    }

    // 可以取到值
    if (tokenInfo) {
      return callback(null, token);
    }

    // 未取到值
    callback(null);
  });
}

2.如果在第一步的判断中,我们得出结论: access_token 已经过期,那么我们需要做的下一步就是设置一个代码级别的锁,防止之后的程序访问之后的代码:

function aquireLock(callback) {
  redis.setnx('lock', callback);
}

function releaseLock(callback) {
  redis.del('lock', callback);
}

这 2 个函数,一个用于设置锁,一个用于释放锁。我们设置锁是利用了 redis 的 setnx 命令原理: setnx 只可以设置不存在的 key ,即使同一时间有多个 setnx 命令来设置同一个 key ,最终只有一个客户端可以成功设置'lock'键,也就是说只有一个请求获得了锁的权限。这样就控制了并发产生的问题。

3.最后我们将所有程序写入主函数中:

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 处理订阅消息
  subscribe.on('message', (channel, message) => {
    switch (channel) {
      case 'new_token':
        myEmitter.emit('token', null, message);
        break;
      case 'new_token_err':
        myEmitter.emit('token', new Error(message));
        break;
      default:
        break;
    }
  });

  // 判断 access_token 是否过期
  isValid(appID, appSecret, function(err, token) {
    // 出错
    if (err) {
      return myEmitter.emit('token', err);
    }

    // token 正常
    if (token) {
      return myEmitter.emit('token', null, token.access_token);
    }

    // token 已过期,获取锁
    aquireLock(function(err, result) {
      // 如果获取锁成功,则开始更新 access_token ,如果未得到锁,等待'token'触发
      if (result) {
        // 向微信服务器请求新的 access_token
        requestForAccessToken(appID, appSecret, function(err, newToken) {
          if (err) {
            // 释放锁标记
            releaseLock();
            // 通知出错
            return myEmitter.emit('token', err);
          }

          // 更新 access_token ,将新的 access_token 保存到 redis ,并且提前 5 分钟过期
          redis.setex(appID + appSecret, (newToken.expires_in - 300), newToken.access_token);
          // 发布更新
          publish.publish('new_token', newToken.access_token);
          // 释放锁标记
          releaseLock();
        });
      }
    });

    // 订阅
    subscribe.subscribe('new_token');
  });
}

进一步思考

到此,一个简单多进程控制 access_token 并发的解决方法已经呈现在眼前,但是我们还需要考虑一下边界情况:

function aquireLock(callback) {
  redis.watch('lock');
  redis.multi().setnx('lock').expire('lock', 2).exec(callback);
}

由于设置锁和设置锁的过期时间需要同一时间完成,所以这里我使用了 redis 的事务来保证了原子性。

更进一步的思考

虽然我们解决了锁问题,但是此时所有未获得锁的请求还处于 pending 状态,等待着 access_token 的到来,但是由于获得锁的请求已经走在天堂的路上,已经无法再来给其他这些个请求触发事件了。所以为了解决此类问题,我们需要引入另一个超时,那就是函数调用超时,在一定时间内未完成的话,我们就回调超时错误给调用者:

function getAccessToken(appID, appSecret, callback) {
  // 将 callback 缓存到事件队列中,等待触发
  myEmitter.once('token', callback);

  // 设置函数调用超时
  setTimeout(function () {
    callback(null, new Error('time out'));
  }, 2000);
  
  // ...
}

总结

其实在使用 redis 的订阅功能之前,我还考虑过tjaxon作为进程通信的手段,但是由于 axon 初始化过程有一定的延迟,不符合我的预期,所以放弃了。但是不得不说 axon 是一个非常好的项目,有条件的话可以用在项目当中。好了,以上就是我对高并发下处理 access_token 的一些自己的看法。

24543 次点击
所在节点    Node.js
54 条回复
LevineChen
2016-09-23 09:59:44 +08:00
搞个异步脚本过期前更新一个 应该是最简单可靠的方案吧
swfbarhr
2016-09-23 10:36:53 +08:00
@LevineChen 万一脚本挂了那就没得玩了
odirus
2016-09-23 10:51:48 +08:00
把 access_token 存放在 InnoDB 中,利用行锁的功能就好了。
odirus
2016-09-23 10:54:56 +08:00
以前我也喜欢玩 redis ,不过最近在维护三年前的项目,苦不堪言。所以现在做东西越简单越好。
mooncakejs
2016-09-23 10:55:39 +08:00
同一楼,另起一个进程定时更新比较好,挂了重启。
orangemi
2016-09-23 10:57:28 +08:00
呵呵,推荐一下: https://github.com/orangemi/process-locker
利用 redis 解决跨进城单一资源的异步锁,在请求一个唯一资源的时候,其它请求会被 pending 住,只有一个请求真正请求,其它的请求能够得到结果,结果会保存在 redis 中。
orangemi
2016-09-23 11:02:35 +08:00
这个还能解决用户使用第三方 OAuth 登录时,用户获取授权会得到一个 code ,往往这个 code 只有 1 次有效性, code 被试用后就会失效,用户因为各种原因(例如网络很慢)实际 code 已经发给服务方,但是用户会再次请求(这里也有可能是前端存在 bug 导致请求 2 次),服务端在第一时间拿到 code 去授权获取 access_token ,第二次 code 去获取授权时就会失败,前端就会出现登录失败。用跨进程异步资源锁也可以很好的解决这个问题。
swfbarhr
2016-09-23 11:03:31 +08:00
@mooncakejs 挂了重启的话,当前 pending 的请求都会出错,或者超时,我的想法是需要保证尽可能多的用户得到需要的结果
swfbarhr
2016-09-23 11:04:18 +08:00
@odirus 这样也是可以的
ety001
2016-09-23 11:11:45 +08:00
@swfbarhr 如果单独一个脚本定时请求更新的话,其实就不是一个高并发的问题了吧?
dsphper
2016-09-23 11:21:46 +08:00
@swfbarhr 万一系统挂了,那就没得玩了,万一世界毁灭了,那就没得玩了。我在想 1 分钟 cron 的一次的程序为啥要挂?
swfbarhr
2016-09-23 11:32:08 +08:00
@dsphper 人写的东西不能保证没有错,只是一个保险而已
swfbarhr
2016-09-23 11:36:23 +08:00
@all 我想说的是,我尽可能在能想到的情况来堵住每一个可能的情况,不是说其他方法就不行,要做就要考虑周全,这是我对软件的态度,不会强加到其他任何人身上,做好自己就行
herozzm
2016-09-23 12:00:18 +08:00
长文阅读体验真的不好
reus
2016-09-23 12:02:36 +08:00
我的做法是起一个进程定期刷新,然后存到数据库。其他进程要用,直接读数据库,不依赖更新 token 的进程。
这是一个服务进程,服务在设计的时候就应当考虑到随时可能挂掉,随时会重启。这不是一个脚本,这是一个服务。
如果这个进程无法服务,直接报警,开修。需要 token 的进程也不受影响,因为暂时还未过期,在过期前修好就是了。
并不会出现“挂了重启的话,当前 pending 的请求都会出错,或者超时”这种情况。每次都从数据库里拿的,不用上锁。

我不赞同微服务架构里分得太细的做法,例如用户一个服务,各类内容各一个服务,进程间通讯和同步带来过多复杂度,得不偿失。一个服务应当尽可能少和其他服务通讯,用中间服务来解耦。例如 token 更新服务不能工作,不影响使用 token 的服务,数据库也可以看作一个服务,这两个服务只依赖数据库,而不是直接依赖。数据库是比较稳定的,不会设计成可能频繁重启的。
HunterPan
2016-09-23 12:25:36 +08:00
搞个队列,多线程订阅队列,去取 token.没有并发问题啦
pubby
2016-09-23 12:49:14 +08:00
我们是专门写一个 token 服务,过期前提前更新。应用服务器各自来取,并自己缓存。
csdreamdong
2016-09-23 12:57:28 +08:00
处理好失效后的回滚,重新获取一次正确的 access_token
500miles
2016-09-23 13:19:11 +08:00
这不类似缓存雪崩问题么 = =.
faceair
2016-09-23 13:24:14 +08:00
@pubby +1
应用服务器自己的缓存可以设低一点,两三秒差不多了,内部 RPC 调用也很快

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/308349

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX