queue_mover3 - Online en la nube

PROGRAMA:

NOMBRE

queue_mover3: consumidor de PgQ que copia datos de una cola a otra.

SINOPSIS

queue_mover3 [conmutadores] config.ini

DESCRIPCIÓN

queue_mover es un consumidor de PgQ que transporta eventos de la cola de origen a la cola de destino.
Un caso de uso es cuando los eventos se producen en varias bases de datos, entonces queue_mover se usa para
Consolide estos eventos en una sola cola que luego puedan ser procesados ​​por los consumidores que
Necesito manejar estos eventos. Por ejemplo, en el caso de bases de datos patentadas, es conveniente
para mover eventos de cada partición a una base de datos de cola central y luego procesarlos
allí. De esa manera, la configuración y las dependencias de las bases de datos de partiton son más sencillas y
robusto. Otro caso de uso es mover eventos de la base de datos OLTP al servidor de procesamiento por lotes.

Transaccionalidad: los eventos se insertarán como una transacción en el lado de destino. Eso significa
solo es necesario realizar un seguimiento de batch_id en el lado de destino.

INICIO RÁPIDO

La configuración y el uso básicos de PgQ se pueden resumir en los siguientes pasos:

1. PgQ debe instalarse tanto en la base de datos de origen como en la de destino. Consulte la página de manual de pgqadm para
Detalles.

2. La base de datos de destino también debe tener instalado el esquema pgq_ext. Se utiliza para mantener la sincronización.
entre dos bases de datos.

3. Cree un archivo de configuración de queue_mover, digamos qmover_sourceq_to_targetdb.ini

4. crear colas de origen y destino

$ pgqadm.py sourcedb_ticker.ini crear
$ pgqadm.py targetdb_ticker.ini crear

5. lanzar el transportador de cola en modo demonio

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. comience a producir y consumir eventos

CONFIG

Algunos configuración parámetros
nombre del trabajo
Nombre del trabajo en particular que hace el guión. El script se registrará con este nombre en
logdb / logserver. El nombre también se usa como predeterminado para el nombre del consumidor de PgQ. Debería ser
único.

archivo pid
Ubicación del archivo pid. Si no se proporciona, el script no puede demonizar.

archivo de registro
Ubicación del archivo de registro.

retardo_bucle
Si el proceso se ejecuta continuamente, cuánto tiempo dormir después de cada ciclo de trabajo, en segundos.
Predeterminado: 1.

conexión_vida útil
Cierre y vuelva a conectar las conexiones de bases de datos más antiguas.

usar_skylog
foo

Algunos PgQ consumidor parámetros
nombre_cola
Nombre de la cola a la que adjuntar. Ningún valor predeterminado.

nombre_consumidor
Identificación de consumidor para usar al registrarse. Predeterminado:% (job_name) s

mover_cola parámetros
src_db
Base de datos fuente.

dst_db
Base de datos de destino.

dst_queue_name
Nombre de la cola de destino.

Ejemplo config presentar
[queue_mover3]
nombre_trabajo = eventlog_to_target_mover
src_db = nombrebd = fuenteb
dst_db = nombrebd = targetdb
pgq_queue_name = registro de eventos
dst_queue_name = copia_de_eventlog
pidfile = log /% (nombre_trabajo) s.pid
logfile = pid /% (nombre_trabajo) s.log

COMANDO LÍNEA INTERRUPTORES

Los siguientes conmutadores son comunes a todos los programas de Python basados ​​en skytools.DBScript.

-h, --ayuda
mostrar mensaje de ayuda y salir

-q, - silencioso
hacer que el programa sea silencioso

-v, --detallado
hacer que el programa sea más detallado

-d, --daemon
hacer que el programa vaya en segundo plano

--ini
muestre el archivo de configuración de la plantilla comentada.

Los siguientes conmutadores se utilizan para controlar el proceso que ya se está ejecutando. El archivo pid se lee desde
config, entonces la señal se envía al ID de proceso especificado allí.

-r, --recargar
recargar config (enviar SIGHUP)

-s, - detener
detener el programa de forma segura (enviar SIGINT)

-k, - matar
matar el programa inmediatamente (enviar SIGTERM)

Use queue_mover3 en línea usando los servicios de onworks.net