elasticsearch 可以处理多大量的服务

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Elasticsearch 参考文档

› Elasticsearch: The Definitive Guide

› elasticseaerch-analysis-ik

这是一个创建于 3823 天前的主题，其中的信息可能已经有所发展或是发生改变。

举个例子，每条数据是一条产品信息
索引100个每秒
查询10k每秒

这种量级（应该不算大）的要求可以满足吗

如果有配置和优化elasticsearch的文章推荐就更好了

量级

索引

10K

19 条回复 • 2016-11-02 14:50:01 +08:00

cloudzhou

2015-05-14 19:14:45 +08:00

elasticsearch 背后就是 lucene，索引的话 100/s 可以做到的，查询看起来不小。
里面的优化主要针对 lucene。

yeasy

2015-05-14 19:51:43 +08:00

10k/s的查询得优化下
多份，系统配置等……

Phant0m

2015-05-14 20:05:47 +08:00 via Android

你这都不叫事。。。我们线上每天好几十G的日志都没压力（五台集群服务器）

yyw

2015-05-14 20:09:22 +08:00

搜索本身其实是很容易平行扩展的东西。所以你说的能处理多大的量，主要是看机器有多少。

wenbinwu

2015-05-14 20:11:24 +08:00

@yeasy 请问有没有优化方面的文章

@Phant0m 请问你是怎么配置的？几个index，几个replicates?

wenbinwu

2015-05-14 20:13:24 +08:00

@yyw 很多机器的时候，负载均衡是怎么做的？我搜了一下，貌似elasticsearch不需要负载均衡，因为其自带了。不过client如何配置es的ip呢？如果所有client指向同一个es，也是有问题的啊

BlueWolf

2015-05-14 20:15:20 +08:00

@wenbinwu 应该是指向集群的master

BlueWolf

2015-05-14 20:17:26 +08:00

@wenbinwu 貌似我没确定你说的client是输送数据的client还是向es请求搜索内容的client

wenbinwu

2015-05-14 20:32:50 +08:00

@BlueWolf 我是想说请求搜索的client，不过挺你一说，我也想知道两种client各应该如何配置

hebwjb

2015-05-14 22:28:21 +08:00

我们现在用8台设备组的es集群，每天导入上亿条数据完全不叫事

wenbinwu

2015-05-14 22:55:36 +08:00

@hebwjb 你是怎么配置集群的啊？几个master，数据是在8个上都有存？

BlueWolf

2015-05-15 10:37:46 +08:00

@wenbinwu 其实我也想知道，目前测试的都是单台es，还没上集群……

@hebwjb
@Phant0m
求教两位，输送数据到es的client和向es请求搜索内容的client应如何配置目标es，是master的ip吗？

fxxkgw

2015-05-15 11:04:20 +08:00

@BlueWolf 一般都是elk一起用的吧 logstash收集日志发到es中，然后kibana连接es展示。网上这种配置说明很多的。

wenbinwu

2015-05-15 16:34:45 +08:00

@fxxkgw 你说的是把es当作收集日志用的，如果我就是要做搜索服务呢

hebwjb

2015-05-16 00:15:20 +08:00

@BlueWolf
@wenbinwu
配制成master的ip就可以了

zxc337

2016-08-23 17:43:31 +08:00

@BlueWolf es 对外是去中心化的, 集群有自身的 master 选举机制, 在主节点丢失那段时间, 集群是不能正常工作的, 不过这一短暂时间的选中几乎是瞬时完成的

zxc337

2016-08-23 17:48:33 +08:00

@wenbinwu 要做全文检索也很简单, es 默认支持很多分词方式, 也可以自定义分词插件集成在 es 里面;
es 对外 api 有很多这方面的查询支持, 比如 DSL,相关性(relevance)查询,matchPhraseQuery 等接口

asuraa

2016-11-02 14:50:01 +08:00

我们现在一台服务器每天平均 50G 的日志没问题