Phenquestions
Elasticsearch-Datenbank
Elasticsearch ist eine der beliebtesten NoSQL-Datenbanken, die zum Speichern und Suchen nach textbasierten Daten verwendet wird. Es basiert auf der Indexierungstechnologie von Lucene und ermöglicht einen Suchabruf in Millisekunden basierend auf indizierten Daten.
Basierend auf der Elasticsearch-Website ist hier die Definition:
Elasticsearch ist eine verteilte Open-Source-Restful-Such- und -Analyse-Engine, die eine wachsende Zahl von Anwendungsfällen lösen kann.
Das waren einige hochrangige Worte über Elasticsearch. Lassen Sie uns die Konzepte hier im Detail verstehen.
- Verteilt: Elasticsearch teilt die enthaltenen Daten in mehrere Knoten auf und verwendet sie Master-Slave Algorithmus intern
- RUHIG: Elasticsearch unterstützt Datenbankabfragen über REST-APIs. Dies bedeutet, dass wir einfache HTTP-Aufrufe verwenden und HTTP-Methoden wie GET, POST, PUT, DELETE usw. verwenden können. auf Daten zugreifen.
- Such- und Analyse-Engine: ES unterstützt hochanalytische Abfragen im System, die aus aggregierten Abfragen und mehreren Typen wie strukturierten, unstrukturierten und Geo-Abfragen bestehen können.
- Horizontal skalierbar: Diese Art der Skalierung bezieht sich auf das Hinzufügen weiterer Maschinen zu einem vorhandenen Cluster existing. Dies bedeutet, dass ES in der Lage ist, mehr Knoten in seinem Cluster zu akzeptieren und keine Ausfallzeiten für erforderliche Upgrades des Systems bereitzustellen. Sehen Sie sich das folgende Bild an, um die Skalierungskonzepte zu verstehen:
Vertikale und horizontale Skalierung
Erste Schritte mit der Elasticsearch-Datenbank
Um Elasticsearch verwenden zu können, muss es auf dem Computer installiert sein. Lesen Sie dazu ElasticSearch unter Ubuntu installieren.
Stellen Sie sicher, dass Sie über eine aktive ElasticSearch-Installation verfügen, wenn Sie Beispiele ausprobieren möchten, die wir später in der Lektion vorstellen.
Elasticsearch: Konzepte & Komponenten
In diesem Abschnitt werden wir sehen, welche Komponenten und Konzepte im Herzen von Elasticsearch liegen. Es ist wichtig, diese Konzepte zu verstehen, um zu verstehen, wie ES funktioniert:
- Cluster: Ein Cluster ist eine Sammlung von Servermaschinen (Knoten), die die Daten enthalten. Die Daten werden auf mehrere Knoten aufgeteilt, damit sie repliziert werden können und Single Point of Failure (SPoF) mit dem ES Server nicht auftritt. Der Standardname des Clusters ist elastische Suche. Jeder Knoten in einem Cluster verbindet sich mit einer URL und dem Clusternamen mit dem Cluster, daher ist es wichtig, diesen Namen eindeutig und klar zu halten.
- Knoten: Eine Node-Maschine ist Teil eines Servers und wird als einzelne Maschine bezeichnet. Es speichert die Daten und bietet Indizierungs- und Suchfunktionen, zusammen mit anderen Knoten für den Cluster.
Aufgrund des Konzepts der horizontalen Skalierung können wir virtuell eine unendliche Anzahl von Knoten in einem ES-Cluster hinzufügen, um ihm viel mehr Stärke und Indizierungsfähigkeiten zu verleihen.
- Index: Ein Index ist eine Sammlung von Dokumenten mit ähnlichen Eigenschaften. Ein Index ist einer Datenbank in einer SQL-basierten Umgebung ziemlich ähnlich.
- Art: Ein Typ wird verwendet, um Daten zwischen demselben Index zu trennen. Zum Beispiel kann die Kundendatenbank/der Index mehrere Typen haben, wie Benutzer, Zahlungstyp usw.
Beachten Sie, dass Typen ab ES v6 veraltet sind.0.0 aufwärts. Lesen Sie hier, warum das so gemacht wurde.
- Dokument: Ein Dokument ist die unterste Einheitsebene, die Daten repräsentiert. Stellen Sie es sich wie ein JSON-Objekt vor, das Ihre Daten enthält. Es ist möglich, beliebig viele Dokumente in einem Index zu indizieren.
Sucharten in Elasticsearch
Elasticsearch ist bekannt für seine Suchfunktionen nahezu in Echtzeit und die Flexibilität, die es bei der Art der indizierten und durchsuchten Daten bietet. Beginnen wir damit, die Suche mit verschiedenen Datentypen zu untersuchen.
- Strukturierte Suche: Diese Art der Suche wird auf Daten ausgeführt, die ein vordefiniertes Format wie Datum, Uhrzeit und Zahlen haben. Das vordefinierte Format bietet die Flexibilität, gängige Vorgänge wie den Vergleich von Werten in einem Datumsbereich auszuführen. Interessant, Textdaten können auch strukturiert werden. Dies kann passieren, wenn ein Feld eine feste Anzahl von Werten hat. Der Name der Datenbanken kann beispielsweise sein, MySQL, MongoDB, Elasticsearch, Neo4J usw. Bei der strukturierten Suche ist die Antwort auf die von uns durchgeführten Abfragen entweder ein Ja oder ein Nein.
- Volltextsuche: Diese Art der Suche hängt von zwei wichtigen Faktoren ab, Relevanz und Analyse. Mit Relevanz bestimmen wir, wie gut einige Daten mit der Abfrage übereinstimmen, indem wir einen Score für die resultierenden Dokumente definieren. Diese Punktzahl wird von ES selbst bereitgestellt. Analyse bezieht sich auf das Aufteilen des Textes in normalisierte Token, um einen invertierten Index zu erstellen.
- Mehrfeldsuche: Da die Zahl der analytischen Abfragen der in ES gespeicherten Daten ständig zunimmt, werden wir normalerweise nicht nur mit einfachen Übereinstimmungsabfragen konfrontiert. Die Anforderungen sind gestiegen, um Abfragen auszuführen, die sich über mehrere Felder erstrecken und eine bewertete sortierte Liste von Daten haben, die von der Datenbank selbst an uns zurückgegeben werden. Auf diese Weise können Daten dem Endbenutzer viel effizienter präsentiert werden.
- Proimity Matching: Abfragen sind heute viel mehr als nur die Identifizierung, ob einige Textdaten eine andere Zeichenfolge enthalten oder nicht. Es geht darum, die Beziehung zwischen Daten herzustellen, damit sie bewertet und mit dem Kontext abgeglichen werden können, in dem die Daten abgeglichen werden. Beispielsweise:
- Ball traf John
- John traf den Ball
- John kaufte einen neuen Ball, der in Jaen Garden getroffen wurde
Eine Übereinstimmungsabfrage findet alle drei Dokumente, wenn nach gesucht wird Balltreffer. Eine Näherungssuche kann uns sagen, wie weit diese beiden Wörter in derselben Zeile oder demselben Absatz vorkommen, aufgrund derer sie übereinstimmen they.
- Partielle Übereinstimmung: Oft müssen wir Abfragen mit teilweiser Übereinstimmung ausführen. Partielle Übereinstimmung ermöglicht es uns, Abfragen auszuführen, die teilweise übereinstimmen. Um dies zu veranschaulichen, schauen wir uns eine ähnliche SQL-basierte Abfrage an:
SQL-Abfragen: Teilweise Übereinstimmung
WO Name WIE "%john%"
UND benennen wie "%red%"
UND benennen wie "%garden%"In einigen Fällen müssen wir nur Teilübereinstimmungsabfragen ausführen, selbst wenn sie als Brute-Force-Techniken angesehen werden können.
Integration mit Kibana
Wenn es um eine Analyse-Engine geht, müssen wir normalerweise Analyseabfragen in einer Business-Intelligence (BI)-Domäne ausführen. Wenn es um Business-Analysten oder Datenanalysten geht, wäre es nicht fair anzunehmen, dass die Leute eine Programmiersprache kennen, wenn sie in ES Cluster vorhandene Daten visualisieren möchten. Dieses Problem wird von Kibana . gelöst. Kibana bietet der BI so viele Vorteile, dass Benutzer Daten tatsächlich mit einem hervorragenden, anpassbaren Dashboard visualisieren und Daten uneffektiv sehen können. Sehen wir uns hier einige seiner Vorteile an.
Interaktive Diagramme
Das Herzstück von Kibana sind interaktive Diagramme wie diese:
Kibana wird mit verschiedenen Arten von Diagrammen wie Tortendiagrammen, Sunbursts, Histogrammen und vielem mehr unterstützt, die die vollständigen Aggregationsfähigkeiten von ES . nutzen.
Mapping-Unterstützung
Kibana unterstützt auch eine vollständige Geo-Aggregation, die es uns ermöglicht, unsere Daten zu geo-kartieren. Ist das nicht cool?!
Vorgefertigte Aggregationen und Filter
Mit vorgefertigten Aggregationen und Filtern ist es möglich, hochoptimierte Abfragen im Kibana-Dashboard buchstäblich zu fragmentieren, zu löschen und auszuführen. Mit wenigen Klicks ist es möglich, aggregierte Abfragen durchzuführen und Ergebnisse in Form von interaktiven Charts darzustellen.
Einfache Verteilung von Dashboards
Mit Kibana ist es auch sehr einfach, Dashboards mit Hilfe des Nur-Dashboard-Modus für ein viel breiteres Publikum freizugeben, ohne Änderungen am Dashboard vorzunehmen. Wir können Dashboards ganz einfach in unser internes Wiki oder unsere Webseiten einfügen.
Feature-Bilder von der Kibana-Produktseite.
Verwenden von Elasticsearch
Führen Sie den folgenden Befehl aus, um die Instanzdetails und die Clusterinformationen anzuzeigen:
Jetzt können wir versuchen, mit dem folgenden Befehl einige Daten in ES einzufügen:
Einfügen von Daten
Locken \-X POST 'http://localhost:9200/linuxhint/hello/1' \
-H 'Inhaltstyp: Anwendung /json' \
-d ' "name" : "LinuxHint" '\
Folgendes erhalten wir mit diesem Befehl zurück:
Versuchen wir jetzt, die Daten abzurufen:
Daten abrufen
curl -X GET 'http://localhost:9200/linuxhint/hello/1'Wenn wir diesen Befehl ausführen, erhalten wir die folgende Ausgabe:
Fazit
In dieser Lektion haben wir uns angeschaut, wie wir ElasticSearch einsetzen können, das eine hervorragende Analytics-Engine ist und auch eine hervorragende Unterstützung für die Freitextsuche nahezu in Echtzeit bietet.
