elasticsearch 可以处理多大量的服务

2015-05-14 18:35:15 +08:00
 wenbinwu
举个例子,每条数据是一条产品信息
索引100个每秒
查询10k每秒

这种量级(应该不算大)的要求可以满足吗

如果有配置和优化elasticsearch的文章推荐就更好了
6801 次点击
所在节点    Elasticsearch
19 条回复
cloudzhou
2015-05-14 19:14:45 +08:00
elasticsearch 背后就是 lucene,索引的话 100/s 可以做到的,查询看起来不小。
里面的优化主要针对 lucene。
yeasy
2015-05-14 19:51:43 +08:00
10k/s的查询得优化下
多份,系统配置等……
Phant0m
2015-05-14 20:05:47 +08:00
你这都不叫事。。。我们线上每天好几十G的日志都没压力(五台集群服务器)
yyw
2015-05-14 20:09:22 +08:00
搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量,主要是看机器有多少。
wenbinwu
2015-05-14 20:11:24 +08:00
@yeasy 请问有没有优化方面的文章

@Phant0m 请问你是怎么配置的?几个index,几个replicates?
wenbinwu
2015-05-14 20:13:24 +08:00
@yyw 很多机器的时候,负载均衡是怎么做的?我搜了一下,貌似elasticsearch不需要负载均衡,因为其自带了。不过client如何配置es的ip呢?如果所有client指向同一个es,也是有问题的啊
BlueWolf
2015-05-14 20:15:20 +08:00
@wenbinwu 应该是指向集群的master
BlueWolf
2015-05-14 20:17:26 +08:00
@wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client
wenbinwu
2015-05-14 20:32:50 +08:00
@BlueWolf 我是想说请求搜索的client,不过挺你一说,我也想知道两种client各应该如何配置
hebwjb
2015-05-14 22:28:21 +08:00
我们现在用8台设备组的es集群,每天导入上亿条数据完全不叫事
wenbinwu
2015-05-14 22:55:36 +08:00
@hebwjb 你是怎么配置集群的啊?几个master,数据是在8个上都有存?
andyhu
2015-05-15 02:36:38 +08:00
github上的搜索就采用了elasticsearch,楼主不必担心
BlueWolf
2015-05-15 10:37:46 +08:00
@wenbinwu 其实我也想知道,目前测试的都是单台es,还没上集群……

@hebwjb
@Phant0m
求教两位,输送数据到es的client和向es请求搜索内容的client应如何配置目标es,是master的ip吗?
fxxkgw
2015-05-15 11:04:20 +08:00
@BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中,然后kibana连接es展示。网上这种配置说明很多的。
wenbinwu
2015-05-15 16:34:45 +08:00
@fxxkgw 你说的是把es当作收集日志用的,如果我就是要做搜索服务呢
hebwjb
2015-05-16 00:15:20 +08:00
@BlueWolf
@wenbinwu
配制成master的ip就可以了
zxc337
2016-08-23 17:43:31 +08:00
@BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的
zxc337
2016-08-23 17:48:33 +08:00
@wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口
asuraa
2016-11-02 14:50:01 +08:00
我们现在一台服务器 每天平均 50G 的日志 没问题

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/191110

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX