queue_mover3 – Online in der Cloud

PROGRAMM:

NAME/FUNKTION

queue_mover3 – PgQ-Consumer, der Daten von einer Warteschlange in eine andere kopiert.

ZUSAMMENFASSUNG

queue_mover3 [schalter] config.ini

BESCHREIBUNG

queue_mover ist ein PgQ-Consumer, der Ereignisse von der Quellwarteschlange in die Zielwarteschlange transportiert.
Ein Anwendungsfall ist, wenn Ereignisse in mehreren Datenbanken erzeugt werden, dann wird queue_mover verwendet
Konsolidieren Sie diese Ereignisse in einer einzigen Warteschlange, die dann von Verbrauchern verarbeitet werden kann
müssen mit diesen Ereignissen umgehen. Dies ist zum Beispiel bei proprietären Datenbanken praktisch
um Ereignisse von jeder Partition in eine zentrale Warteschlangendatenbank zu verschieben und sie dann zu verarbeiten
Dort. Auf diese Weise werden Konfiguration und Abhängigkeiten von Partitionsdatenbanken einfacher und einfacher
robust. Ein weiterer Anwendungsfall besteht darin, Ereignisse von der OLTP-Datenbank auf den Stapelverarbeitungsserver zu verschieben.

Transaktionalität: Ereignisse werden als eine Transaktion auf der Zielseite eingefügt. Das bedeutet
Nur „batch_id“ muss auf der Zielseite verfolgt werden.

SCHNELLSTART

Die grundlegende Einrichtung und Verwendung von PgQ lässt sich in den folgenden Schritten zusammenfassen:

1. PgQ muss sowohl in der Quell- als auch in der Zieldatenbank installiert sein. Siehe pgqadm-Manpage für
Details.

2. In der Zieldatenbank muss außerdem das pgq_ext-Schema installiert sein. Es wird verwendet, um die Synchronisierung aufrechtzuerhalten
zwischen zwei Datenbanken.

3. Erstellen Sie eine queue_mover-Konfigurationsdatei, beispielsweise qmover_sourceq_to_targetdb.ini

4. Erstellen Sie Quell- und Zielwarteschlangen

$ pgqadm.py sourcedb_ticker.ini erstellen
$ pgqadm.py targetdb_ticker.ini erstellen

5. Starten Sie den Queue Mover im Daemon-Modus

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. Beginnen Sie mit der Produktion und dem Konsum von Events

CONFIG

gemeinsam Konfiguration Parameter
Berufsbezeichnung
Name für eine bestimmte Aufgabe, die das Skript ausführt. Das Skript wird sich unter diesem Namen anmelden
logdb/logserver. Der Name wird auch als Standard für den PgQ-Consumer-Namen verwendet. Es sollte sein
einzigartig.

pid-Datei
Speicherort für die PID-Datei. Wenn nicht angegeben, ist die Dämonisierung des Skripts nicht zulässig.

Logdatei
Speicherort für die Protokolldatei.

loop_delay
Wenn der Prozess kontinuierlich läuft, wie lange wird nach jeder Arbeitsschleife in den Ruhezustand versetzt, in Sekunden.
Standard: 1.

Verbindungslebenszeit
Schließen Sie ältere Datenbankverbindungen und verbinden Sie sie erneut.

use_skylog
foo.

gemeinsam PgQ Verbraucher Parameter
Warteschlangenname
Name der Warteschlange, an die angehängt werden soll. Kein Standard.

Verbrauchername
Verbraucher-ID, die bei der Registrierung verwendet werden soll. Standard: %(job_name)s

queue_mover Parameter
src_db
Quelldatenbank.

dst_db
Zieldatenbank.

dst_queue_name
Name der Zielwarteschlange.

Beispiel Config Datei
[queue_mover3]
job_name = eventlog_to_target_mover
src_db = dbname=sourcedb
dst_db = dbname=targetdb
pgq_queue_name = Ereignisprotokoll
dst_queue_name = copy_of_eventlog
pidfile = log/%(job_name)s.pid
logfile = pid/%(job_name)s.log

COMMAND LINE SWITCHES

Die folgenden Schalter sind allen skytools.DBScript-basierten Python-Programmen gemeinsam.

-h, --Hilfe
Hilfenachricht anzeigen und beenden

-q, --leise
Programm stumm machen

-v, --verbose
Programm ausführlicher machen

-d, --daemon
Programm zum Hintergrund machen

--ini
kommentierte Vorlagen-Konfigurationsdatei anzeigen.

Folgende Schalter werden verwendet, um bereits laufende Prozesse zu steuern. Die pidfile wird gelesen aus
config, dann wird das Signal an die dort angegebene Prozess-ID gesendet.

-r, --neu laden
Konfiguration neu laden (SIGHUP senden)

-s, --stopp
Programm sicher stoppen (SIGINT senden)

-k, --töten
Programm sofort beenden (SIGTERM senden)

Verwenden Sie queue_mover3 online über die Dienste von onworks.net