网络编程包 - Magician 的原理与使用

Magician 是一个异步非阻塞的网络编程包，用 java 语言实现，支持 Http, WebSocket, UDP 等协议

运行环境

jdk11+

简单的原理介绍

Magician 的底层使用的是 NIO，但是没有用 Selector，因为 Selector 的设计初衷就是为了用单线程来处理高并发，从而减少因为连接太多而造成线程太多，占用过多的服务器资源。但是这样做的坏处也很明显，就是无法充分利用 cpu 的多核性能，还有一个就是如果业务比较耗时，会造成整个循环被堵住。

所以，考虑到这一点，Magician 决定使用 accept，代码如下：

while (true){
    SocketChannel channel = null;
    try {
        /* 这个方法会阻塞，直到有新连接进来 */
        channel = serverSocketChannel.accept();
        channel.configureBlocking(false);

        /* 将任务添加到队列里执行 */
        ParsingThreadManager.addTaskToParsingThread(channel);
    } catch (Exception e){
        logger.error("处理请求出现异常", e);
        ChannelUtil.close(channel);
    }
}

有一个 while 不断的监听 accept，当没有新请求进来的时候 accept 是阻塞的，所以不会有空轮询的问题，当有了新的请求进来，就会把 channel 丢到队列里面去，然后继续监听 accept 。

那么这个队列是什么结构的？他又是如何来执行的呢？

首先，队列的结构是这样的：他是一个 LinkedBlockingDeque，有序且长度无限（除非内存爆了），然后这个队列放在了一个线程中，线程开启后就会有一个 while 不断的从这个队列里 take 元素，如果队列为空，take 就会阻塞，队列一旦有数据 take 就会按顺序返回里面的元素。

所以，只要这个线程在运行，我们就可以不断的往队列里丢任务，让这个线程来慢慢消化。

如果这样的线程+队列有多个，我们把收到的请求通过轮询算法分配到这些队列，让线程各自消化，是不是就可以实现一个，线程数量可控，同时又具有异步特性的模型？

这个模型就是 Magician 现在所使用的，如下图所示：

在使用 Magician 的时候，可以自己配置需要几个线程来同时运行。

除了 http，udp 也是采用的这个模型。只不过 udp 是以同步的模式读数据，数据读完了再丢到队列里让队列去执行业务逻辑。

如何使用

说了这么多原理，我们接下来说说如何使用 Magician 来开发各种服务。

首先我们看一下 http 的实现

Magician.createHttpServer().httpHandler("/", req -> {

                        req.getResponse()
                           .sendJson(200, "{'status':'ok'}");

                    }).bind(8080).start();

如果不想把 handler 跟这段代码窝在一起，可以单独建立 handler，在这里添加进去即可

WebSocket 实现

Magician.createHttpServer().bind(8080)
                    .httpHandler("/", new DemoHandler())
                    .webSocketHandler("/websocket", new DemoSocketHandler())
                    .start();

只需要在创建 http 服务的时候，添加一个 WebSocketHandler 即可。

UDP 实现

Magician.createUdpServer()
                .handler(outputStream -> {
                    // outputStream 是 ByteArrayOutputStream 类型的
                    // 它是客户端发过来的数据，自行解析即可
                }).bind(8088).start();

同样的，也可以单独创建 handler，在这里添加进去

了解更多

想了解更多的话，欢迎访问 Magician 官网：http://magician-io.com

Joker123456789

2021-04-20 21:41:44 +08:00

@GuuJiang 好的，我会去看的。

然后回答一下你的问题，当没有数据进来的时候，我这个程序是等待状态，accept 自动阻塞住了不会返回任何东西就停在那。队列的 take 方法也阻塞住了，就停在那。整个程序除了主线程挂在那，就没任何动作了。

然后我问你一个问题，消费 selectionkey 的那个 while 是不是有被业务阻塞的可能？你可能会说在 while 里开线程让业务线程去处理。但问题是在业务线程跑完之前 channel 是不能关的。因为 http 客户端需要等待响应，必须等业务跑完并把响应写入 channel 才能关吧。而 channel 不关的话，while 会进入下一次循环，select 方法会再次为这个连接生成 selectkey，这样一来就出现重复处理了。这个问题是我真实遇到的问题。如果你有办法解决，那你可以说出来。

多路复用器是系统层面的，到了应用层就是单线程在一个个消费 selectkey，如果这个你觉得不对也欢迎指正。并说出具体哪里不对。

最后你可以去看一下 nio 的 Reator 的分发模型，是不是跟我这个有点像。

Joker123456789

2021-04-20 22:35:42 +08:00

@GuuJiang

remove 是有的，不是 selectionkey 这个集合里有重复数据，而是再次执行 selector.select （）方法后重新获取的 selectionkey 集合里有正在被处理的 channel，

while （ true ）｛
selector.select （）；

while （）｛
如果这里开了线程，内部这个 while 没问题，但是等内部 while 结束后，外部 while 开始下一次循环后，获取到的那个新的 selectionkey 里会有正在处理的 channel
｝
｝

一开始我就是用的选择器，如果在 while 里开线程能解决问题，我还这么大费周章干嘛呢。

而且 UDP 我也是用的选择器，因为不用响应，我可以同步读完后，用线程去处理 handler 。

accept 是在有连接进来的阶段。选择器里如果发现了这个状态的 key 不就会立刻注册成 op_read 状态吗？代表可以读了

然后你也不用道歉，我那个帖子是怼那两个喷子的，并不是针对你，对于正确讨论的人我很少闹情绪。今天白天主要是你一上来看错了代码，我才那样的。

网络编程包 - Magician 的原理 与 使用

运行环境

简单的原理介绍

如何使用

首先我们看一下 http 的实现

WebSocket 实现

UDP 实现

了解更多

网络编程包 - Magician 的原理与使用