queue_mover3 - Online în cloud

PROGRAM:

NUME

queue_mover3 - consumator PgQ care copiază datele dintr-o coadă în alta.

REZUMAT

queue_mover3 [comutatoare] config.ini

DESCRIERE

queue_mover este un consumator PgQ care transportă evenimente din coada sursă în coada țintă.
Un caz de utilizare este atunci când evenimentele sunt produse în mai multe baze de date, atunci se obișnuiește queue_mover
consolida aceste evenimente într-o singură coadă care poate fi apoi procesată de consumatori care
trebuie să se ocupe de aceste evenimente. De exemplu, în cazul bazelor de date cu patiții este convenabil
pentru a muta evenimentele din fiecare partiție într-o bază de date de coadă centrală și apoi a le procesa
Acolo. În acest fel, configurația și dependențele bazelor de date cu partiții sunt mai simple și mai mult
robust. Un alt caz de utilizare este mutarea evenimentelor din baza de date OLTP pe serverul de procesare batch.

Tranzacționalitate: evenimentele vor fi inserate ca o singură tranzacție pe partea țintă. Asta inseamna
numai batch_id trebuie urmărit pe partea țintă.

PORNIRE RAPIDĂ

Configurarea și utilizarea PgQ de bază pot fi rezumate prin următorii pași:

1. PgQ trebuie instalat atât în ​​bazele de date sursă, cât și țintă. Vezi pagina de manual pgqadm pentru
Detalii.

2. Baza de date țintă trebuie să aibă și schema pgq_ext instalată. Este folosit pentru a menține sincronizarea
între două baze de date.

3. Creați un fișier de configurare queue_mover, să spuneți qmover_sourceq_to_targetdb.ini

4. creați cozi sursă și țintă

$ pgqadm.py sourcedb_ticker.ini creați
$ pgqadm.py targetdb_ticker.ini creați

5. lansați coada de mutare în modul daemon

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. începe să produci și să consumi evenimente

ÎNFIINȚAT

Comun configuraţie parametrii
numele locului de munca
Nume pentru munca particulară pe care o face scriptul. Scriptul se va conecta sub acest nume la
logdb/logserver. Numele este, de asemenea, folosit ca implicit pentru numele consumatorului PgQ. Ar trebui să fie
unic.

pidfile
Locație pentru fișierul pid. Dacă nu este dat, scriptul nu este permis să demonizeze.

fișier jurnal
Locație pentru fișierul jurnal.

loop_delay
Dacă procesul rulează continuu, cât timp să dormi după fiecare buclă de lucru, în secunde.
Implicit: 1.

connection_lifetime
Închideți și reconectați conexiunile mai vechi de baze de date.

use_skylog
foo.

Comun PgQ consumator parametrii
nume_coadă
Nume de coadă de atașat. Fără implicit.

nume_consumator
ID de consumator de utilizat la înregistrare. Implicit: %(job_name)s

queue_mover parametrii
src_db
Baza de date sursă.

dst_db
Baza de date țintă.

dst_queue_name
Numele cozii țintă.

Exemplu config fişier
[queue_mover3]
job_name = eventlog_to_target_mover
src_db = dbname=sourcedb
dst_db = dbname=targetdb
pgq_queue_name = jurnal de evenimente
dst_queue_name = copy_of_eventlog
pidfile = log/%(job_name)s.pid
logfile = pid/%(job_name)s.log

COMMAND LINE COMUTATOARE

Următoarele comutări sunt comune tuturor programelor Python skytools.DBScript.

-h, --ajutor
afișați mesajul de ajutor și ieșiți

-q, --liniște
face programul silentios

-v, --verbos
face programul mai detaliat

-d, --daemon
face programul să treacă în fundal

--ini
arată fișierul de configurare a șablonului comentat.

Următoarele comutatoare sunt folosite pentru a controla procesul care rulează deja. Fișierul pid este citit din
config, atunci semnalul este trimis către id-ul de proces specificat acolo.

-r, --reîncărcare
reîncărcați configurația (trimiteți SIGHUP)

-s, --stop
opriți programul în siguranță (trimiteți SIGINT)

-k, --ucide
omorâți programul imediat (trimiteți SIGTERM)

Utilizați queue_mover3 online folosind serviciile onworks.net