tail_mover3 - Online nel cloud

PROGRAMMA:

NOME

Queue_mover3 - Consumer PgQ che copia i dati da una coda all'altra.

SINOSSI

Queue_mover3 [cambia] config.ini

DESCRIZIONE

Queue_mover è il consumer PgQ che trasporta gli eventi dalla coda di origine alla coda di destinazione.
Un caso d'uso è quando gli eventi vengono prodotti in diversi database a cui viene utilizzato tail_mover
consolidare questi eventi in un'unica coda che può quindi essere elaborata dai consumatori che
necessità di gestire questi eventi. Ad esempio nel caso di database patizionati è conveniente
per spostare gli eventi da ciascuna partizione in un database centrale delle code e quindi elaborarli
Là. In questo modo la configurazione e le dipendenze dei database partiton sono più semplici e più semplici
robusto. Un altro caso d'uso consiste nello spostare gli eventi dal database OLTP al server di elaborazione batch.

Transazionalità: gli eventi verranno inseriti come un'unica transazione sul lato di destinazione. Questo significa
solo batch_id deve essere tracciato sul lato di destinazione.

AVVIO RAPIDO

La configurazione e l'utilizzo di base di PgQ possono essere riassunti nei seguenti passaggi:

1. PgQ deve essere installato sia nel database di origine che in quello di destinazione. Vedi la pagina man di pgqadm per
dettagli.

2. Anche il database di destinazione deve avere installato lo schema pgq_ext. Viene utilizzato per mantenere la sincronizzazione
tra due database.

3. Crea un file di configurazione Queue_mover, ad esempio qmover_sourceq_to_targetdb.ini

4. creare code di origine e di destinazione

$ pgqadm.py sourcedb_ticker.ini crea
$ pgqadm.py targetdb_ticker.ini crea

5. avviare il movimento coda in modalità demone

$ coda_mover3 -d qmover_sourceq_to_targetdb.ini

6. iniziare a produrre e consumare eventi

CONFIGURA

Uncommon configurazione parametri
nome del lavoro
Nome per il lavoro particolato svolto dallo script. Lo script accederà con questo nome a
logdb/logserver. Il nome viene utilizzato anche come predefinito per il nome del consumatore PgQ. Dovrebbe essere
unico.

file pid
Posizione per il file pid. Se non viene fornito, allo script non è consentito eseguire la demonizzazione.

file di log
Posizione per il file di registro.

loop_delay
Se il processo è in esecuzione continua, per quanto tempo restare inattivo dopo ogni ciclo di lavoro, in secondi.
Predefinito: 1.

connessione_durata
Chiudere e riconnettere le connessioni al database precedenti.

usa_skylog
pippo.

Uncommon PgQ Consumer parametri
nome_coda
Nome della coda a cui allegare. Nessuna impostazione predefinita.

nome_consumatore
ID consumatori da utilizzare al momento della registrazione. Predefinito: %(job_name)s

coda_mover parametri
src_db
Banca dati di origine.

dst_db
Banca dati di destinazione.

nome_coda_dst
Nome della coda di destinazione.

Esempio config filetto
[sposta_coda3]
nome_lavoro = log_eventi_to_target_mover
src_db = nomedb=b di origine
dst_db = dbname=db di destinazione
pgq_queue_name = registro eventi
dst_queue_name = copia_del_registro_eventi
pidfile = log/%(nome_lavoro)s.pid
file di registro = pid/%(nome_lavoro)s.log

COMANDO LINE INTERRUTTORI

Le seguenti opzioni sono comuni a tutti i programmi Python basati su skytools.DBScript.

-h, --aiuto
mostra il messaggio di aiuto ed esci

-q, --silenzioso
rendere il programma silenzioso

-v, --verboso
rendere il programma più prolisso

-d, --demone
fare in modo che il programma vada in background

--ini
mostra il file di configurazione del modello commentato.

Le seguenti opzioni vengono utilizzate per controllare il processo già in esecuzione. Il file pid viene letto da
config, quindi il segnale viene inviato all'id di processo specificato lì.

-r, --ricarica
ricarica la configurazione (invia SIGHUP)

-s, --stop
ferma il programma in sicurezza (invia SIGINT)

-k, --uccidi
uccidi il programma immediatamente (invia SIGTERM)

Utilizza tail_mover3 online utilizzando i servizi onworks.net