V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wenbinwu
V2EX  ›  Elasticsearch

elasticsearch 可以处理多大量的服务

  •  
  •   wenbinwu · 2015-05-14 18:35:15 +08:00 · 6768 次点击
    这是一个创建于 3240 天前的主题,其中的信息可能已经有所发展或是发生改变。
    举个例子,每条数据是一条产品信息
    索引100个每秒
    查询10k每秒

    这种量级(应该不算大)的要求可以满足吗

    如果有配置和优化elasticsearch的文章推荐就更好了
    19 条回复    2016-11-02 14:50:01 +08:00
    cloudzhou
        1
    cloudzhou  
       2015-05-14 19:14:45 +08:00   ❤️ 1
    elasticsearch 背后就是 lucene,索引的话 100/s 可以做到的,查询看起来不小。
    里面的优化主要针对 lucene。
    yeasy
        2
    yeasy  
       2015-05-14 19:51:43 +08:00   ❤️ 1
    10k/s的查询得优化下
    多份,系统配置等……
    Phant0m
        3
    Phant0m  
       2015-05-14 20:05:47 +08:00 via Android   ❤️ 1
    你这都不叫事。。。我们线上每天好几十G的日志都没压力(五台集群服务器)
    yyw
        4
    yyw  
       2015-05-14 20:09:22 +08:00   ❤️ 1
    搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量,主要是看机器有多少。
    wenbinwu
        5
    wenbinwu  
    OP
       2015-05-14 20:11:24 +08:00
    @yeasy 请问有没有优化方面的文章

    @Phant0m 请问你是怎么配置的?几个index,几个replicates?
    wenbinwu
        6
    wenbinwu  
    OP
       2015-05-14 20:13:24 +08:00
    @yyw 很多机器的时候,负载均衡是怎么做的?我搜了一下,貌似elasticsearch不需要负载均衡,因为其自带了。不过client如何配置es的ip呢?如果所有client指向同一个es,也是有问题的啊
    BlueWolf
        7
    BlueWolf  
       2015-05-14 20:15:20 +08:00
    @wenbinwu 应该是指向集群的master
    BlueWolf
        8
    BlueWolf  
       2015-05-14 20:17:26 +08:00
    @wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client
    wenbinwu
        9
    wenbinwu  
    OP
       2015-05-14 20:32:50 +08:00
    @BlueWolf 我是想说请求搜索的client,不过挺你一说,我也想知道两种client各应该如何配置
    hebwjb
        10
    hebwjb  
       2015-05-14 22:28:21 +08:00
    我们现在用8台设备组的es集群,每天导入上亿条数据完全不叫事
    wenbinwu
        11
    wenbinwu  
    OP
       2015-05-14 22:55:36 +08:00
    @hebwjb 你是怎么配置集群的啊?几个master,数据是在8个上都有存?
    BlueWolf
        13
    BlueWolf  
       2015-05-15 10:37:46 +08:00
    @wenbinwu 其实我也想知道,目前测试的都是单台es,还没上集群……

    @hebwjb
    @Phant0m
    求教两位,输送数据到es的client和向es请求搜索内容的client应如何配置目标es,是master的ip吗?
    fxxkgw
        14
    fxxkgw  
       2015-05-15 11:04:20 +08:00
    @BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中,然后kibana连接es展示。网上这种配置说明很多的。
    wenbinwu
        15
    wenbinwu  
    OP
       2015-05-15 16:34:45 +08:00
    @fxxkgw 你说的是把es当作收集日志用的,如果我就是要做搜索服务呢
    hebwjb
        16
    hebwjb  
       2015-05-16 00:15:20 +08:00
    @BlueWolf
    @wenbinwu
    配制成master的ip就可以了
    zxc337
        17
    zxc337  
       2016-08-23 17:43:31 +08:00
    @BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的
    zxc337
        18
    zxc337  
       2016-08-23 17:48:33 +08:00
    @wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
    es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口
    asuraa
        19
    asuraa  
       2016-11-02 14:50:01 +08:00
    我们现在一台服务器 每天平均 50G 的日志 没问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3930 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:25 · PVG 18:25 · LAX 03:25 · JFK 06:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.