Logstash是一款功能强大的数据处理工具，可以实现数据传输、格式处理、打印格式，以及强大的插件功能，常用于日志处理。一.原则

投入

可以从文件、存储器和数据库中提取数据。输入有两个选项。一种是交给Filter进行过滤修剪。另一种是直接给输出

过滤器

数据可以动态转换和解析。您可以以用户定义的方式过滤和修剪数据信息

输出

有了许多输出选项，您可以将数据发送到您想要指定的地方，并具有解锁许多下游用例的灵活性。

二、安装使用1。安装wget https://artifacts . elastic . co/downloads/log stash/log stash-6 . 0 . 1 . rpm。

yum install -y ./logstash- 6 .0.1.rpm

2.Logstash配置文件vim/etc/logstash/logstash.yml

Path.data: /var/lib/logstash #数据存储路径

path . config:/etc/log stash/conf . d/*。其他插件的配置文件，输入输出过滤等等

Path.logs: /var/log/logstash #日志存储路径

3.3中的JVM配置文件。日志

Logstash是一个基于Java的程序，需要在jvm中运行，可以通过配置JVM来为JVM设置。最大和最小内存、垃圾清理机制等选项。这里只是两个最常用的。

JVM的内存分配不要太大也不要太小，这样会降低操作系统的速度。太小，无法开始。

vim/etc/logstash/jvm.options

-Xms256m #关于JVM配置的日志存储

-Xmx1g # logstash使用的最大和最小内存

4.最简单的日志收集配置

安装一个httpd进行测试，并配置Logstash来收集Apache的accless.log日志文件

yum安装httpd

回声“你好世界”>;/var/www/html/index.html #安装httpd并创建测试主页

vim/etc/log stash/conf . d/test . conf

输入{

文件{#使用文件作为数据输入

路径=>。['/var/log/httpd/access_log'] #设置读取数据的路径

start_position = >开始#从文件的开头读取，结束#从文件的结尾读取

}

}

Output {#设置输出的位置

stdout {

编解码器= >;Rubydebug #输出到屏幕

}

}

5.测试配置文件

Logstash是一个独立的命令，但不在环境变量中，因此您只能使用绝对路径来使用该命令。

/usr/share/log stash/bin/log stash-t-f/etc/log stash/conf . d/test . conf #测试执行配置文件，-t应该在-f之前。

配置正常#表示测试正常

6.启动logstash

在当前会话运行logstash后不要关闭此会话，暂时将其称为会话1，然后打开一个名为会话2的新窗口

/usr/share/log stash/bin/log stash-f/etc/log stash/conf . d/test . conf

启动后在会话2中使用curl命令进行测试

curl172 .18.68.14

然后，当您返回到上一个会话1时，您可以看到输出信息

{

Logstash是一款功能强大的数据处理工具，可以实现数据传输、格式处理、打印格式，以及强大的插件功能，常用于日志处理。一.原则

投入

可以从文件、存储器和数据库中提取数据。输入有两个选项。一种是交给Filter进行过滤修剪。另一种是直接给输出

过滤器

数据可以动态转换和解析。您可以以用户定义的方式过滤和修剪数据信息

输出

有了许多输出选项，您可以将数据发送到您想要指定的地方，并具有解锁许多下游用例的灵活性。

二、安装使用1。安装wget https://artifacts . elastic . co/downloads/log stash/log stash-6 . 0 . 1 . rpm。

yum install -y ./logstash- 6 .0.1.rpm

2.Logstash配置文件vim/etc/logstash/logstash.yml

Path.data: /var/lib/logstash #数据存储路径

path . config:/etc/log stash/conf . d/*。其他插件的配置文件，输入输出过滤等等

Path.logs: /var/log/logstash #日志存储路径

3.3中的JVM配置文件。日志

Logstash是一个基于Java的程序，需要在jvm中运行，可以通过配置JVM来为JVM设置。最大和最小内存、垃圾清理机制等选项。这里只是两个最常用的。

JVM的内存分配不要太大也不要太小，这样会降低操作系统的速度。太小，无法开始。

vim/etc/logstash/jvm.options

-Xms256m #关于JVM配置的日志存储

-Xmx1g # logstash使用的最大和最小内存

4.最简单的日志收集配置

安装一个httpd进行测试，并配置Logstash来收集Apache的accless.log日志文件

yum安装httpd

回声“你好世界”>;/var/www/html/index.html #安装httpd并创建测试主页

vim/etc/log stash/conf . d/test . conf

输入{

文件{#使用文件作为数据输入

路径=>。['/var/log/httpd/access_log'] #设置读取数据的路径

start_position = >开始#从文件的开头读取，结束#从文件的结尾读取

}

}

Output {#设置输出的位置

stdout {

编解码器= >;Rubydebug #输出到屏幕

}

}

5.测试配置文件

Logstash是一个独立的命令，但不在环境变量中，因此您只能使用绝对路径来使用该命令。

/usr/share/log stash/bin/log stash-t-f/etc/log stash/conf . d/test . conf #测试执行配置文件，-t应该在-f之前。

配置正常#表示测试正常

6.启动logstash

在当前会话运行logstash后不要关闭此会话，暂时将其称为会话1，然后打开一个名为会话2的新窗口

/usr/share/log stash/bin/log stash-f/etc/log stash/conf . d/test . conf

启动后在会话2中使用curl命令进行测试

curl172 .18.68.14

然后，当您返回到上一个会话1时，您可以看到输出信息

{