queue_mover3 - 클라우드의 온라인

프로그램:

이름

queue_mover3 - 한 큐에서 다른 큐로 데이터를 복사하는 PgQ 소비자입니다.

개요

queue_mover3 [스위치] config.ini

기술

queue_mover는 소스 큐에서 대상 큐로 이벤트를 전송하는 PgQ 소비자입니다.
한 가지 사용 사례는 이벤트가 여러 데이터베이스에서 생성된 다음 queue_mover를 사용하여
이러한 이벤트를 단일 대기열로 통합하여 다음을 수행하는 소비자가 처리할 수 있습니다.
이러한 이벤트를 처리해야 합니다. 예를 들어 분할된 데이터베이스의 경우 편리합니다.
각 파티션의 이벤트를 하나의 중앙 큐 데이터베이스로 이동한 다음 처리
거기. 그렇게 하면 partiton 데이터베이스의 구성 및 종속성이 더 간단하고 더 많이
건장한. 또 다른 사용 사례는 OLTP 데이터베이스에서 일괄 처리 서버로 이벤트를 이동하는 것입니다.

거래성: 이벤트는 대상 측에 하나의 거래로 삽입됩니다. 그 의미는
대상 측에서는 batch_id만 추적해야 합니다.

빠른 시작

기본 PgQ 설정 및 사용은 다음 단계로 요약할 수 있습니다.

1. PgQ는 소스 및 대상 데이터베이스 모두에 설치되어야 합니다. 자세한 내용은 pgqadm 매뉴얼 페이지를 참조하십시오.
세부.

2. 대상 데이터베이스에도 pgq_ext 스키마가 설치되어 있어야 합니다. 동기화를 유지하는 데 사용됩니다.
두 데이터베이스 사이.

3. queue_mover 구성 파일을 생성합니다(예: qmover_sourceq_to_targetdb.ini).

4. 소스 및 대상 큐 생성

$ pgqadm.py sourcedb_ticker.ini 생성
$ pgqadm.py targetdb_ticker.ini 생성

5. 데몬 모드에서 큐 무버 실행

$ queue_mover3 -d qmover_sourceq_to_targetdb.ini

6. 이벤트 생성 및 소비 시작

구성

공통의 구성 매개 변수
직업 이름
스크립트가 수행하는 특정 작업의 이름입니다. 스크립트는 이 이름으로 로그인합니다.
로그DB/로그서버. 이 이름은 PgQ 소비자 이름의 기본값으로도 사용됩니다. 그것은해야한다
독특한.

PID 파일
pid 파일의 위치. 지정하지 않으면 스크립트가 데몬화할 수 없습니다.

로그 파일
로그 파일의 위치입니다.

루프_지연
프로세스를 계속 실행하는 경우 각 작업 루프 이후에 절전 모드로 전환되는 시간(초)입니다.
기본값 : 1.

연결_평생
이전 데이터베이스 연결을 닫고 다시 연결합니다.

use_skylog
푸.

공통의 PgQ 소비자 매개 변수
대기열_이름
연결할 대기열 이름입니다. 기본값이 없습니다.

소비자 이름
등록 시 사용할 소비자 ID입니다. 기본값: %(job_name)s

queue_mover 매개 변수
src_db
소스 데이터베이스.

dst_db
대상 데이터베이스.

dst_queue_name
대상 대기열 이름입니다.

예시 설정 파일
[queue_mover3]
job_name = eventlog_to_target_mover
src_db = DB이름=소스DB
dst_db = 데이터베이스 이름=대상 데이터베이스
pgq_queue_name = 이벤트 로그
dst_queue_name = copy_of_eventlog
pidfile = 로그/%(작업 이름)s.pid
로그 파일 = pid/%(job_name)s.log

COMMAND LINE 스위치

다음 스위치는 모든 skytools.DBScript 기반 Python 프로그램에 공통입니다.

-h, --도움말
도움말 메시지를 표시하고 종료

-q, --조용한
프로그램을 무음으로 만들기

-v, --자세한
프로그램을 더 장황하게 만들기

-d, --데몬
프로그램을 배경으로 만들기

--ini
주석이 달린 템플릿 구성 파일을 표시합니다.

다음 스위치는 이미 실행 중인 프로세스를 제어하는 ​​데 사용됩니다. pidfile은 다음에서 읽습니다.
config 그런 다음 신호가 거기에 지정된 프로세스 ID로 전송됩니다.

-r, --다시 로드
구성 다시 로드(SIGHUP 전송)

-s, --중지
프로그램을 안전하게 중지(SIGINT 전송)

-k, --킬
즉시 프로그램 종료(SIGTERM 전송)

onworks.net 서비스를 사용하여 온라인으로 queue_mover3 사용