Was sind Prospectors und Harvester in Filebeat?

Was sind eigentlich diese Prospector und Harvester in Filebeat? Klingt irgendwie nach 90er Jahre Horror/Action Titeln…

Harvester

Elastic
„A harvester is responsible for reading the content of a single file. The harvester reads each file, line by line, and sends the content to the output.“

Der Harvester liest einzelne Files Zeile für Zeile und übergibt diese an den Output – in unserem Fall Elasticsearch (oder Logstash). Selbst wenn die Datei während des lesens geändert wird, liest der Harvester den Inhalt zwischengespeichert aus.

Prospector

Elastic
„A prospector is responsible for managing the harvesters and finding all sources to read from.„

Der Prospector wird in der /etc/filebeat/filebeat.yml gesetzt und regelt was der Harvester lesen/auswerten soll. Es gibt 2 verschieden type Arten: log & stdin

filebeat.prospectors:
- type: log
  paths:
    - /var/log/nginx/*error.log
    - /var/log/apache/*error.log

Wenn man mehrere Prospector nutzen möchte, zum Beispiel um Einstellungen pro Datei zu ändern (fields, include_lines, exclude_lines, multilin ) kann man dies einfach mit einem weiteren – type tun.

filebeat.prospectors:
- type: log
  paths:
    - /var/log/nginx/*.log
- type: log
  paths:
    - "/var/log/apache/*.log"
fields:
    apache: true


output.elasticsearch:
  hosts: ["127.0.0.1:9200"]