1 - Installation

TP 1 : installation d’Elasticsearch, Kibana et Filebeat

Installer Elasticsearch avec Ansible

Clonez le dépôt situé à cette adresse : https://github.com/Uptime-Formation/vagrant-ansible-elk
Créez les VM avec vagrant up (il faut installer Vagrant et VirtualBox avant si ce n’est pas fait)
Vagrant a de lui-même lancé ansible-playbook ping.yml, il teste donc qu’Ansible est bien configuré.
Lancez ansible-playbook setup_elastic.yml. Les requirements sont installés ! Voyez les ok et changed apparaissant lorsque vous lancez le playbook : Ansible est verbeux, il informe de sa réussite.

Rappels Ansible :

Ansible peut être rejoué plusieurs fois (il est idempotent)
Ansible garantit l’état de certains éléments du système lorsqu’on le (re)joue
Ansible est (dès qu’on est un peu habitué-e) plus limpide que du bash

Configurer Elastic en cluster

Observez le fichier templates/elasticsearch.yml.j2 : c’est modèle de fichier de configuration. Il contient des trous {{ ma_variable }} qui doivent être remplis par les variables du playbook
Jouer le playbook complet.
Lancez les commandes de diagnostic

curl http://192.168.2.2:9200/_cat/nodes?pretty
curl -XGET http://192.168.2.2:9200/_cluster/state?pretty
curl -XGET http://192.168.2.2:9200/_cluster/health?pretty

Si tout est bien configuré vous devriez voir une liste de deux nœuds signifiant que les deux elastic se « connaissent »

Pour ajouter un nouveau nœud !
- ajoutez une nouvelle machine dans Vagrant
- l’ajouter au fichier hosts.cfg dans le groupe elastic_nodes
- ajoutez la nouvelle IP dans la variable elk_node_ips
relancer le playbook : #magic

Installer Kibana

Lancer : ansible-playbook setup_kibana.yml
Accéder à 192.168.2.4:5601 dans Firefox 😃

Installer Elasticsearch avec Docker Compose

`docker-compose.yml` :

version: "3.8"
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      # - 9200:9200
      - 9201:9200
    networks:
      - elastic

  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
    container_name: es02
    ports:
      - 9202:9200
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic

  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
    container_name: es03
    ports:
      - 9203:9200
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

  kibana:
    image: docker.elastic.co/kibana/kibana:7.14.0
    ports:
      - 5601:5601
    networks:
      - elastic
    environment:
      ELASTICSEARCH_HOSTS: '["http://es01:9200","http://es02:9200","http://es03:9200"]'

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

Une stack complète Elastic et Filebeat avec Docker Compose

Récupérer la config Filebeat :

curl -L -O https://raw.githubusercontent.com/elastic/beats/7.10/deploy/docker/filebeat.docker.yml

Renommons cette configuration et rectifions qui possède ce fichier pour satisfaire une contrainte de sécurité de Filebeat :

mv filebeat.docker.yml filebeat.yml
sudo chown root filebeat.yml
sudo chmod go-w filebeat.yml

`docker-compose.yml` :