Linux下如何安装Filebeat，步骤详解(linux安装filebeat)

Filebeat是一款轻量级的开源日志数据收集器，可以将来自各种来源的日志转发至Elasticsearch集群中进行统一管理和分析。它适用于各种不同的系统和服务器，包括Linux操作系统。本文将详细介绍在Linux下安装Filebeat的步骤。

成都创新互联公司专注于泸水网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供泸水营销型网站建设，泸水网站制作、泸水网页设计、泸水网站官网定制、成都微信小程序服务，打造泸水网络公司原创品牌,更为您提供泸水网站排名全网营销落地服务。

1.准备工作

在安装Filebeat之前，需要先满足以下条件:

– 确认已经安装了支持Filebeat的Linux版本，如CentOS、Debian或Ubuntu等；

– 确认已经安装了最新版本的Java虚拟机(JVM)，因为Filebeat需要JVM运行环境才能正常工作；

– 确认已经连接到Internet或者已经下载了Filebeat二进制文件。

2.下载Filebeat

可以在Elasticsearch的官网上下载最新的Filebeat版本，下载地址是：https://www.elastic.co/downloads/beats/filebeat。选择对应的操作系统，点击“Download”按钮即可。

也可以使用wget命令直接下载，并存储到指定的目录下：

“`

$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.14.1-linux-x86_64.tar.gz

$ tar xzvf filebeat-7.14.1-linux-x86_64.tar.gz

“`

此时，Filebeat的二进制文件将被解压到当前目录下的filebeat-7.14.1-linux-x86_64/文件夹中。

3.配置Filebeat

Filebeat有两个主配置文件：filebeat.yml和filebeat.reference.yml，我们可以使用filebeat.yml作为参考配置，根据自己的需求进行修改。下面是一个基本的filebeat.yml配置文件示例：

“`

filebeat.inputs:

– type: log

enabled: true

paths:

– /var/log/messages

output.elasticsearch:

hosts: [“localhost:9200”]

protocol: “http”

“`

上述配置文件定义了一个日志采集器，它将采集/var/log/messages文件中的数据，并将采集到的数据发送到本地运行的Elasticsearch服务端。

在配置Filebeat时，需要注意以下几点：

– 一定要定义inputs字段，指定Filebeat需要采集的日志路径和格式；

– 一定要定义output字段，指定Filebeat向哪里发送采集到的数据；

– 可以添加一些其他的配置，如如何处理原始日志数据、如何重试连接等。

4.启动Filebeat

在修改好配置文件后，可以使用以下命令启动Filebeat：

“`

$ cd filebeat-7.14.1-linux-x86_64/

$ sudo ./filebeat -e -c filebeat.yml

“`

在启动Filebeat时，需要注意以下几点：

– 一定要切换到Filebeat所在的文件夹中，以免引起日志路径等配置出现异常；

– 可以使用-e选项来指定Filebeat运行在前台，并输出所有日志信息到终端；

– 可以使用-c选项来手动指定使用哪个配置文件。

启动成功后，Filebeat会开始采集指定路径下的日志，并将采集到的数据发送到Elasticsearch服务器中进行存储和分析。

5.

本文详细介绍了在Linux操作系统中安装Filebeat的步骤，包括下载Filebeat二进制文件、配置Filebeat以及启动Filebeat。读者可以根据自己的需求进行配置和使用，进一步优化和扩展自己的日志管理系统。

相关问题拓展阅读：

• filebeat+elasticsearch+logstash+kibana收集系统日志(docker)
• filebeat常见问题

filebeat+elasticsearch+logstash+kibana收集系统日志(docker)

我们这里用到的是

filebeat+elk(elasticsearch+logstash+kibana)

来进行系统日志的收集。filebeat安装在各个服务器中，Logstash+ElasticSearch+Kibana安装在一台专门用于基础服务的服务器上。

Filebeat是一个轻量级的托运人，用于转发和集中日志数据. Filebeat作为代理安装在服务器上，监视您指定的日志文件或位置，收集日志事件，并将它们转发到

ElasticSearch

或

Logstash

进行索引.

官方中文文档：

Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后念樱缓将其发送到你颂裂最喜欢的“存仔模储”。

官方中文文档：

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下更先进、高性能、全功能的搜索引擎库–无论是开源还是私有。

官方中文文档：

《Elasticsearch:权威指南》：

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

官方中文文档：

nginx.conf中设置日志文件格式:

修改完成后，通过 sudo nginx -t 来检查配置文件是否正确，然后 sudo nginx -s reload 来重启

filebeat各系统安装教程详见官方文档。

我这里安装的deb包(rpm包也同样)，配置文件在

/etc/filebeat/filebeat.yml

,

filebeat命令：

参数介绍：

在/usr/local/文件夹下依次创建logstash/conf.d/logstash.conf

grok正则在线验证地址：

正则代表的含义：

配置成功后，执行如下命令重启docker中的logstash (有时会重启失败，多试几次吧)

在浏览器中输入 进入kibana

然后如下设置

然后创建 index pattern

然后选择@timestamp

最后在Discover标签页就可以看到了

filebeat常见问题

Filebeat保持文件处理程序打开，直到文件到达文件末尾，以便它可以近乎实时地读取新的日志行。 如果Filebeat正在收集大量文件，则打开文件的数量可能会成为问题。 在大多数环境中，正在更新的文件数量很少。

close_inactive配置选项应相应地设置为关闭不再处于活动状态的文件。

您可以使用其他配置选项来关闭文件处理程序，但所有这些选项都应该小心使用，因为它们可能有副作用。 选项是：

close_renamed和close_removed选项在Windows上很有用，可以解决与文件旋转相关的问题。

请参阅打开文件处理程序导致Windows文件旋转问题？

close_eof选项在具有大量只有很少条目的文件的环境中很有用。

close_timeout选项在关闭文件处理程序比发送所有日志行更重要的环境中很有用。 有关更多详细信息，请参阅设置探矿者。

确保在使用这些配置选项之前阅读这些配置选项的文档。

Filebeat可能被配置为频繁扫描文件。 检查filebeat.yml配置文件中scan_frequency的设置。 将scan_frequency设置为小于1s可能会导致Filebeat在频繁的循环中扫描磁盘。

Filebeat保持每个文件的状态并将该状态保存在registry_file中的磁盘上。 Filebeat重新启动时，文件状态用于在前一个位置继续读取文件。 如果每天都生成大量新文件，则

注册表

文件可能会变得太大。 要减小注册表文件的大小，有两个可用的配置选项：clean_removed和clean_inactive。

对于不再接触并忽略的旧文件（请参阅ignore_older），我们建议您使用clean_inactive。 如果旧文件从磁盘中删除，请使用clean_removed选项。

Inode重用会导致Filebeat跳过行吗？

在Linux

文件系统

上，Filebeat使用inode和设备来识别文件。

从磁盘中删除文件时，可将inode分配给新文件。

在涉及文件旋转的使用情况下，如果旧文件被删除并且之后立即创建新文件，

新文件可能与删除的文件具有完全相同的inode。在这种情况下，Filebeat假定新文件与旧文件相同，并尝试在旧位置继续读取，这是不正确的。

默认状态不会从注册表文件中删除。要解决inode重用问题，我们建议您使用clean_ *选项（特别是clean_inactive）来删除非活动文件的状态。

例如，如果您的文件每24小时轮换一次，培段并且轮换的文件不再更新，则可以将ignore_older设置为48小时，将clean_inactive设置为72小时。

您可以将clean_removed用于从磁盘中删除的文件。请注意，clean_removed会在扫描期间无法找到文件时清除注册表中的文件状态。如果文件稍后再次显示，它将从头开始重新发送。

Filebeat使用

换行符

来检测事件的结束。 如果将行逐渐添加到正在采集的文件中，则在最后一行之后需要换行符，否则Filebeat将不会读取文件的最后一行。

在默认行为中，Filebeat会打开文件并保持打开状态，直到达到文件末尾。

在配置的输出很长时间（例如Elasticsearch或Logstash不可用）的情况下，这可能会导致Filebeat将文件处理程序保留到同时从文件系统中删除的文件。 只要Filebeat保持已删除的文件处于打开状态，操作系统就不会释放磁盘空间，这可能会导致磁盘利用率增加，甚至出现磁盘不足的情况。

为迅激了缓解这个问题，您可以将close_timeoutedit设置设置为”5m”。 这亩中袜将确保每5分钟关闭一次文件处理程序，而不管是否达到EOF。

请注意: 如果在Filebeat到达文件末尾之前删除文件，则此选项可能会导致数据丢失。

如果您需要限制带宽使用率，我们建议您在操作系统OS上配置网络

堆栈

以执行带宽限制。

例如，以下Linux命令通过在通过端口5044的TCP连接上设置50 kbps的限制来限制Filebeat和Logstash之间的连接：

使用操作系统工具执行带宽限制可让您更好地控制策略。 例如，您可以使用操作系统工具在白天限制带宽，但不是在晚上。 或者您可以保留带宽不受限制，但为流量分配低优先级。

您的配置文件的结构有问题，或者您使用了YAML分析程序无法解析的路径或

表达式

，因为配置文件包含未正确转义的字符。

如果YAML文件包含具有空格或不常用字符的路径，请将路径包装在

单引号

中（请参阅将单引号标记为包裹路径）。

另请参阅YAML提示和疑难解答中的一般建议：

索引模板可能未正确加载。 请参阅步骤4：在Elasticsearch中加载索引模板。

如果您最近执行了加载或解析自定义结构化日志的操作，则可能需要刷新索引以使字段在Kibana中可用。 要刷新索引，请使用刷新API。 例如：

【参考：

】

关于linux 安装filebeat的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

创新互联网络推广网站建设，网站设计，网站建设公司，网站制作，网页设计，1500元定制网站优化全包，先排名后付费，已为上千家服务，联系电话：13518219792

分享名称：Linux下如何安装Filebeat，步骤详解(linux安装filebeat)
标题URL：http://www.shufengxianlan.com/qtweb/news24/56674.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联