一组Logstash与elasticsearch的压测数据[转]

概述

组内的日志系统基于ELK搭建，本文中的数据在生产环境中进行测试得到，仅供参考。

系统构成

系统可以简要的分为：

日志接收机
日志数据队列
日志数据处理机
ES集群

在日志接收机上通过一个 Logstash 进程 parse 日志数据，将 parse 后的结构写入由 Redis List 实现的日志数据队列中，之后在ES集群前，再使用一个日志处理机 Logstash 进程从 Redis 中 pop 出数据写入ES集群中。

使用 Redis List 的原因是在于当 parse 能力大于ES集群的处理能力时，缓存数据。

运行环境

日志接收机为CPU为4 * Xeon E5强IO型机器，Redis List 与向ES集群写入的 Logstash 位于同一机器上，即日志数据处理机，CPU为12 * Xeon E5。

处理日志为Nginx access日志，记录了如时间、域名、访问IP、URL、HTTP Method、响应时间、返回体长度等，约10+字段。

参数配置

日志接收机上的 Logstash 配置成了10个线程，output 中的 redis 的参数配置为：

1
2
3
4
5
6
7
8
9
10
output {
    redis {
        host => "192.168.1.101"
        port => '6379'
        data_type => "list"
        key => "Logstash_benchmark"
        type => "nginx_access"
        threads => 5
    }
}

日志数据处理机上的 input 对已配置为：

1

2

3

4

5

6

7

8

9

10

input

{

    redis

{

        host

=>

"192.168.1.101"

        port

=>

'6379'

        data_type

=>

"list"

        key

=>

"Logstash_benchmark"

        type

=>

"nginx_access"

        threads

=>

5

    }

}

而 output 配置为：

1

2

3

4

5

6

7

8

9

10

11

output

{

    if

([type]

== 
"nginx_access")

{

        elasticsearch_http

{

            host

=>

"192.168.2.101"

            port

=>

"9527"

            flush_size

=>

10000

            workers

=>

10

            index

=>

"Logstash_benchmark"

        }

    }

}

测试方法

测试分为测试 Logstash 分析日志能力，以及ES集群写入能力。

Logstash 的分析能力通过每秒取样 Redis List 中的新增队列长度获得（日志接收机上的 Logstash 生产）。

ES集群的写入能力通过每秒取样 Redis List 中减少的队列长度获得（日志数据处理机 上的 Logstash 消费）。

在测试一个阶段时，会关闭另一端的 Logstash。

数据

平均数据后，可供参考的数据为：

Logstash 分析速度为：2352.94 lines/s

ES集群写入速度为：9345.79 records/s