queue_mover3 - онлайн у хмарі

ПРОГРАМА:

ІМ'Я

queue_mover3 - споживач PgQ, який копіює дані з однієї черги в іншу.

СИНТАКСИС

queue_mover3 [перемикачі] config.ini

ОПИС

queue_mover є споживачем PgQ, який транспортує події з вихідної черги в цільову чергу.
Один із випадків використання — коли події створюються в кількох базах даних, для яких використовується queue_mover
об’єднати ці події в одну чергу, яку потім можуть обробляти споживачі, які
потрібно обробляти ці події. Наприклад, у випадку розбитих баз даних це зручно
щоб перемістити події з кожного розділу в одну центральну базу даних черги, а потім обробити їх
там. Таким чином конфігурація та залежності баз даних розділів стають простішими та більшими
надійний. Іншим варіантом використання є переміщення подій із бази даних OLTP на сервер пакетної обробки.

Транзакційність: події будуть вставлені як одна транзакція на цільовій стороні. Це означає
тільки batch_id потрібно відстежувати на цільовій стороні.

ШВИДКИЙ ПОЧАТОК

Базове налаштування та використання PgQ можна підсумувати такими кроками:

1. PgQ має бути встановлено як у вихідній, так і в цільовій базах даних. Перегляньте сторінку довідки pgqadm
подробиці

2. Цільова база даних також повинна мати встановлену схему pgq_ext. Він використовується для підтримки синхронізації
між двома базами даних.

3. Створіть файл конфігурації queue_mover, наприклад qmover_sourceq_to_targetdb.ini

4. створити вихідну та цільову черги

$ pgqadm.py sourcedb_ticker.ini create
$ pgqadm.py targetdb_ticker.ini create

5. запустити засіб переміщення черги в режимі демона

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. почати продукувати та споживати події

КОНФІГ

загальний конфігурація параметри
ім'я_робіту
Назва для часткової роботи, яку виконує скрипт. Сценарій увійде в систему під цим ім’ям
logdb/logserver. Ім’я також використовується за замовчуванням для імені споживача PgQ. Вона повинна бути
унікальний.

pid-файл
Розташування файлу pid. Якщо не вказано, скрипт забороняється демонізувати.

файл журналу
Розташування файлу журналу.

loop_delay
Якщо процес виконується безперервно, скільки часу спати після кожного робочого циклу, в секундах.
За замовчуванням: 1.

з'єднання_життя
Закрийте та повторно підключіть старі з’єднання з базою даних.

use_skylog
foo

загальний PgQ споживач параметри
ім'я_черги
Назва черги, до якої потрібно прикріпити. Немає замовчування.

споживач_ім'я
ID споживача для використання під час реєстрації. За замовчуванням: %(job_name)s

queue_mover параметри
src_db
Вихідна база даних.

dst_db
Цільова база даних.

dst_queue_name
Назва цільової черги.

Приклад конфиг файл
[queue_mover3]
job_name = eventlog_to_target_mover
src_db = dbname=sourcedb
dst_db = dbname=targetdb
pgq_queue_name = журнал подій
dst_queue_name = copy_of_eventlog
pidfile = log/%(job_name)s.pid
logfile = pid/%(job_name)s.log

КОМАНДА ЛІНІЯ Перемикачі

Наступні перемикачі є загальними для всіх програм Python на основі skytools.DBScript.

-h, --допомога
показати довідкове повідомлення та вийти

-q, -- тихо
зробити програму тихою

-v, -- багатослівний
зробити програму більш докладною

-d, --демон
зробити програму фоновим

--ini
показати коментований файл конфігурації шаблону.

Наступні перемикачі використовуються для керування вже запущеним процесом. Файл pid читається з
config, то сигнал надсилається на вказаний там ідентифікатор процесу.

-r, --перезавантажити
перезавантажити конфігурацію (відправити SIGHUP)

-s, --стоп
безпечно зупинити програму (надішліть SIGINT)

-k, --убити
негайно знищити програму (надішліть SIGTERM)

Використовуйте queue_mover3 онлайн за допомогою сервісів onworks.net