首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  数据库

感觉 elasticsearch 很不适合个人开发啊

  •  
  •   cooljs · 8 天前 · 5636 次点击

    感觉很吃配置,在 1g 内存的 vps 上运行,各种出错。。要么 java 内存不够了,要么 es 连接超时了。。蓝瘦

    第 1 条附言  ·  8 天前

    本地开发可以了,还有一个问题,es生产环境的最低配置是多少呢?,主要用来做图片的检索

    85 回复  |  直到 2019-05-17 10:45:41 +08:00
        1
    mokeyjay   8 天前
    开发就在本地嘛
        2
    xpresslink   8 天前   ♥ 4
    省钱和省事之间通常都是有冲突的。
        3
    cooljs   8 天前
    @mokeyjay 小程序开发,还得要一个域名
        4
    shyling   8 天前
    你手机运存都不止 1g 了。。。。1g 只是玩具。。。
        5
    kwklover   8 天前 via Android
    你用 ES 做什么用途?ES 都是吃内存大户。
        6
    xpresslink   8 天前
    你在本机弄个 32G 内存,开虚拟机跑个 Docker 吧。没好办法,es 最少要 2G 内存才能正常跑起来。
        7
    Vegetable   8 天前
    JAVA 系的东西是很吃内存呀
        8
    gosansam   8 天前
    虚拟内存搞起来 docker 搞起来
        9
    cooljs   8 天前
    @kwklover 用来做图片检索的
        10
    cooljs   8 天前
    @xpresslink
    @gosansam 我是开发微信小程序,他的请求有域名验证,本地开发还不行
        11
    cooljs   8 天前
    @Vegetable 蓝瘦
        12
    misaka19000   8 天前
    1g。。。Java 本来就吃内存,然后 Lucene 还要依赖 page_cache,1g 就不要用 ES 了吧
        13
    Navee   8 天前
    测试用本地跑 1g 内存是够的
    在 vps 跑要看你 vps 是什么实例,那种小型实例有 1g 内存也不要折腾了,cpu、磁盘都是瓶颈
        14
    misaka19000   8 天前
    而且 ES 不组集群不能使用到 ES 的优势特性,楼主是为了使用 ES 的搜索特性吗?
        15
    liuxey   8 天前
    应该是 1g 内存的 vps 不适合 elasticsearch 开发
        16
    nisnaker   8 天前
    @cooljs #10 小程序开发的时候能在本地 IDE 里把域名验证关掉
        17
    xiaoyangsa   8 天前
    1g 服务器可以做.域名映射到本地吧~
        18
    zjsxwc   8 天前
    ES 本来就是给集群跑的,单机还容易跑挂掉的
        19
    cooljs   8 天前
    @misaka19000 是的,主要是为了他的搜索特性
        20
    wyntalgeer   8 天前
    1g 的 VPS 就不要运行 java 程序了吧
        21
    chennqqi   8 天前
    楼主非要在 1G 环境下跑可以设置 jvm.options 里
    -Xms2g -> -Xms1g#设置最小堆的值为 1g
    -Xmx2g -> -Xmx1g #设置组大堆的值为 1g
        22
    cooljs   8 天前
    @Navee 2g2c 的服务器怎么样
        23
    ospider   8 天前
    可以试试 sonic,rust 写的,非常省内存
        24
    cooljs   8 天前   ♥ 1
    @chennqqi 嘿嘿,1g 也跑不起来,直接`JavaThread "Unknown thread"`,必须 512m 才行
        25
    AngryPanda   8 天前
    楼主还有个选择,使用云版 es
        26
    iyaozhen   8 天前 via Android   ♥ 1
    1g 玩个 dan,我们 10 台 128g 内存、3t ssd 的机器都存不了啥,分片都不敢开多。说的不好听,没资源还是不要入坑,当然自己学习可以本机玩玩。

    数据量不大,说真的 MySQL 就行了
        27
    cooljs   8 天前
    @nisnaker 关闭了确定 localhost:3000 这样的可以吗?
        28
    cooljs   8 天前
    @xiaoyangsa 没有公网 ip,可以映射吗
        29
    cooljs   8 天前
    @ospider 选数据库还考虑了使用人多不多,这个没听过诶
        30
    cooljs   8 天前
    @iyaozhen 我是想用他的搜索排序
        31
    misaka19000   8 天前
    楼上加一,数据量不多直接全文检索就可以搞定
        32
    chinesestudio   8 天前 via Android
    本地开发 frp 穿透 512 也够
        33
    misaka19000   8 天前
    或者自己分词然后计算一下相关度,虽然简陋不过应该可以应付一些情况了
        34
    Proxy233   8 天前 via Android
    测试和个人可以试试这个: https://app.vizion.ai
        35
    jaylee77   8 天前
    @cooljs 你去试试关掉域名校验,是不是比回贴容易得多呢?
        36
    cooljs   8 天前
    @AngryPanda 是不是小贵的那种
        37
    cooljs   8 天前
    @jaylee77 因为之前试过,localhost 不行
        38
    cooljs   8 天前
    @Proxy233 好,多谢老哥
        39
    testplusplus   8 天前
    1g 内存上 ES ?一般不都是关系型数据库扛不住查询之后才会去用吗
        40
    cooljs   8 天前
    @misaka19000 嗯,不行就换数据库了,
        41
    deepzz   8 天前 via iPhone
    本人博客就上了 es,哈哈。
        42
    fxxkgw   8 天前
    这玩意是真的吃内存 我一直都觉得是自己太菜 没优化好他的配置。。什么看源码 不可能看的。
        43
    jaylee77   8 天前
    @cooljs



    不行?
        44
    JackyCDK   8 天前
    把这台机改成 ngrok 呗...
        45
    cooljs   8 天前
    @deepzz 哈哈,你的服务器是啥配置
        46
    cooljs   8 天前
    @fxxkgw 不用怀疑,就是我们太菜,😂,es 需要专门的人来搞
        47
    cooljs   8 天前
    @jaylee77 我错了大佬,我再试一下😂
        48
    cooljs   8 天前
    @JackyCDK 感觉很难的样子
        49
    JackyCDK   8 天前
    @cooljs #48 就改成一条隧道,代理到你自己的开发环境而已,很简单的
        50
    cooljs   8 天前
    @JackyCDK 谢谢大佬,我用了本地开发可以了
        51
    cooljs   8 天前
    @jaylee77 可以了,之前不知道怎么搞的,谢谢大佬
        52
    yepinf   8 天前 via iPhone
    不妨试试 solr 比较省内存
        53
    deepzz   8 天前 via iPhone
    @deepzz @cooljs @cooljs 1 核 1g,限制了 jvm 内存
        54
    DeepRedApple   8 天前
    直接虚拟机或者 Docker 跑,可以的
        55
    moodasmood   8 天前 via Android
    我们公司 es 集群都是 88 核的机器
        56
    fyibmsd   8 天前
    不止 1g 不够 至少也要三台机器吧
        57
    iyaozhen   8 天前 via Android
    @cooljs 最低配置你去看看阿里云的套餐就了解了。好像得 2 核 2gb 内存
        58
    neoblackcap   8 天前
    es 算是穷人的搜索引擎,他们家的东西啊,大企业都觉得可用吧,但跟商业的比起来也就那样了。他们工程师都透露 elk 整套东西对内存的利用不咋地
        59
    jamblues   8 天前 via iPhone
    图片检索 mysql +redis 就够用了 simhash 分段检索 降维 轻轻松松 实在不行可以上穷人玩的 sphinx
        60
    LukeChien   8 天前 via Android
    国外有云托管,在各个公有云上有节点,共享集群
        61
    lusi1990   8 天前 via Android
    看下官方文档 ,有最低配置和建议配置
        62
    hurrytospring   8 天前
    本地跑方法太多了。。改 host 文件,代理,关闭验证。。。
        63
    TimLang   8 天前
    如果你是小站长,肯定不适合用 elasticsearch,成本(服务器)太高,建议使用 postgresql,可以搜索下,自带全文检索,而且有现成的分词插件。
        64
    iyangyuan   8 天前 via iPhone
    小站直接用 mysql 自己实现倒排索引,简单高效
        65
    cooljs   8 天前
    @deepzz 牛批啊,es 不会莫名其妙的抽风吗
        66
    cooljs   8 天前
        67
    cooljs   8 天前
    @neoblackcap 你这个问题,堆配置就可以解决,,估计是这样的😂
        68
    cooljs   8 天前
    @LukeChien 有关键词吗
    @lusi1990 OK
    @jamblues
    @TimLang
    @iyangyuan 我是根据搜索内容排序,我查查 pg,mysql 的资料,多谢大佬们
        69
    hxt   8 天前
    你要存的数据量是多少级别的,访问量多少?字段配置把要用到查询的字段设为 index,其他的字段用 store 类型。jvm 设小点,以及 linux 加下虚拟内存。数据量不多配置合理访问量也不多 1g 机器可以跑的。
        70
    AlloVince   8 天前
    x-pack 是付费的,报价是$5000/节点 /年,3 nodes 起卖,个人用户老老实实用云服务吧
        71
    cooljs   8 天前
    @hxt 我 bulk 存入 4000 条数据,总是超时,就两个字段一个 text,一个 keyword,我试着加下虚拟内存
        72
    cooljs   8 天前
    @AlloVince 没说用 xpack 啊😂
        73
    rrfeng   8 天前
    这就好比你有 10G 数据要分析起了个 hadoop ?
        74
    AlloVince   8 天前
    @cooljs 不用 x-pack 连最基本的权限管理都做不了,等于无法上线
        75
    fiht   7 天前
    楼主你有空看一下这个---> https://github.com/valeriansaliou/sonic
    试用一下看行不行,我 star 了还没来得及试用
        76
    cabing   7 天前
    不一定非得 es 吧。自己玩找个开源的也行。
        77
    glfpes   7 天前 via Android
    可以购买云服务商的 es 服务
        78
    fiht   7 天前
    @cabing 老哥 es 就是开源的
        79
    fengjianxinghun   7 天前 via iPhone
    rust 的 sonic 穷鬼的 es
        80
    cabing   7 天前
    @fiht 我知道大名鼎鼎的 es 是开源的。开源的搜索引擎有好多。。不一定非得 es。
        81
    EugeneYWang   7 天前
    @AlloVince
    @cooljs

    AWS 有基于 ES 做出魔改版,不仅开源,还包含了权限管理功能等等额外功能。

    另外,我个人也很推荐 LZ 先看看 PG,PG 生态圈里真的很好,国内很多人不知道。但是阿里就一直很看好 PG。

    如果 PG 的全文搜索不够用的话,可以看看 AWS 的魔改版,近几个月推出的。
        82
    EugeneYWang   7 天前
    BTW,我个人不是阿里的员工。只是了解过他们跟 PG 的部分相关公开信息。
        83
    flashrick   7 天前
    讯搜呢?听说过没用过
        84
    cooljs   7 天前
    @EugeneYWang 好的,谢谢大佬
    @AlloVince 权限管理用后端框架来控制
    @fiht
    @fengjianxinghun sonic 有中文分词吗
        85
    alexmy   7 天前
    自己玩的话,那些大器物本地用用就好啦,小服务器撑不起。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2848 人在线   最高记录 5043   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 10:47 · PVG 18:47 · LAX 03:47 · JFK 06:47
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1