Vineyard：开源分布式内存数据管理引擎

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1185 天前的主题，其中的信息可能已经有所发展或是发生改变。

我们最新开源了一个分布式内存数据管理引擎 Vineyard，它有这样一些特性：

分布式不可变数据的内存存储引擎
通过共享内存对上层应用提供零拷贝数据共享
对常见的数据结构（如 Tensor 、DataFrame 、Graph 等）提供内建高级 API 支持
内建的用于 I/O 、Migration 、Checkpoint 的可复用插件
完善的 C++ 和 Python 支持
集成 Kubernetes 以及 Helm，拥抱云原生生态，支持大规模的大数据分析应用

欢迎大家关注、试用和向 Vineyard 贡献代码！

Github 地址： https://github.com/alibaba/libvineyard （欢迎加🌟）
文档： https://v6d.io
Helm charts: https://artifacthub.io/packages/helm/vineyard/vineyard

vineyard

分布式

helm

内存

8 条回复 • 2021-01-25 08:48:03 +08:00

v2webdev

2021-01-20 11:29:07 +08:00

阿里开源太吊了。

2021-01-20 11:39:38 +08:00

先问一下有没有用个代码里写死的特殊 token，就能全权访问所有数据？

imkerberos

2021-01-20 11:52:18 +08:00

又来污染环境。

cholerae

2021-01-20 12:53:41 +08:00

不敢用阿里的开源

IDAEngine

2021-01-20 13:33:03 +08:00

请问代码里面有没有加密的黑名单白名单，像 fastjson 一样，

denyHashCodes = new long[]{
-8720046426850100497L,
-8165637398350707645L,
-8109300701639721088L,
-8083514888460375884L,
-7966123100503199569L,
-7921218830998286408L,
-7768608037458185275L,
-7766605818834748097L,
-6835437086156813536L,
-6179589609550493385L,
-5194641081268104286L,
-4837536971810737970L,
-4401390804044377335L,
-4082057040235125754L,
-3935185854875733362L,
-2753427844400776271L,
-2364987994247679115L,
-2262244760619952081L,
-1872417015366588117L,
-1650485814983027158L,
-1589194880214235129L,
-1251419154176620831L,
-254670111376247151L,
-190281065685395680L,
-9822483067882491L,
33238344207745342L,
99147092142056280L,
313864100207897507L,
1073634739308289776L,
1203232727967308606L,
1459860845934817624L,
1502845958873959152L,
3114862868117605599L,
3547627781654598988L,
3688179072722109200L,
3730752432285826863L,
3794316665763266033L,
4147696707147271408L,
4814658433570175913L,
4904007817188630457L,
5100336081510080343L,
5347909877633654828L,
5450448828334921485L,
5688200883751798389L,
5751393439502795295L,
5944107969236155580L,
6456855723474196908L,
6511035576063254270L,
6742705432718011780L,
7017492163108594270L,
7179336928365889465L,
7442624256860549330L,
8389032537095247355L,
8409640769019589119L,
8537233257283452655L,
8838294710098435315L,
8925522461579647174L
0x86fc2bf9beaf7aefL,
0x8eadd40cb2a94443L,
0x8f75f9fa0df03f80L,
0x8fd1960988bce8b4L,
0x9172a53f157930afL,
0x92122d710e364fb8L,
0x94305c26580f73c5L,
0x9437792831df7d3fL,
0xa123a62f93178b20L,
0xaa3daffdb10c4937L,
0xb7e8ed757f5d13a2L,
0xbcdd9dc12766f0ceL,
0xc2eb1e621f439309L,
0xc7599ebfe3e72406L,
0xc963695082fd728eL,
0xd9c9dbf6bbd27bb1L,
0xdf2ddff310cdb375L,
0xe09ae4604842582fL,
0xe603d6a51fad692bL,
0xe9184be55b1d962aL,
0xe9f20bad25f60807L,
0xeea210e8da2ec6e1L,
0xfc773ae20c827691L,
0xfd5bfc610056d720L,
0xffdd1a80f1ed3405L,
0x761619136cc13eL,
0x1603dc147a3e358L,
0x45b11bc78a3aba3L,
0xee6511b66fd5ef0L,
0x10b2bdca849d9b3eL,
0x144277b467723158L,
0x14db2e6fead04af0L,
0x2b3a37467a344cdfL,
0x313bb4abd8d4554cL,
0x332f0b5369a18310L,
0x33c64b921f523f2fL,
0x34a81ee78429fdf1L,
0x398f942e01920cf0L,
0x42d11a560fc9fba9L,
0x440e89208f445fb9L,
0x46c808a4b5841f57L,
0x4a3797b30328202cL,
0x4ba3e254e758d70dL,
0x4ef08c90ff16c675L,
0x4fd10ddc6d13821fL,
0x527db6b46ce3bcbcL,
0x599b5c1213a099acL,
0x5a5bd85c072e5efeL,
0x5d92e6ddde40ed84L,
0x616323f12c2ce25eL,
0x63a220e60a17c7b9L,
0x6749835432e0f0d2L,
0x746bd4a53ec195fbL,
0x74b50bb9260e31ffL,
0x767a586a5107feefL,
0x7aa7ee3627a19cf3L,
0x7bddd363ad3998c6L
};

sighingnow

2021-01-20 19:38:54 +08:00

@GM 没有。Vineyard 中 data access permission 取决于 UNIX domain socket 的 permission bits，和 token 无关。

sighingnow

2021-01-20 19:39:14 +08:00

@IDAEngine 没有。

dbpe

2021-01-25 08:48:03 +08:00

和 Ignite 的优势是什么