gfprep - 클라우드의 온라인

프로그램:

이름

gfprep - Gfarm 파일을 병렬로 복제

개요

gfprep [-nqvdpPU] [-mx] [-X 정규 표현식] [-NS 소스 도메인 이름] [-시간 소스 호스트 파일]
[-NS 대상 도메인 이름] [-시간 대상 호스트 파일] [-제이 프로세스 수]
[-제이 프로세스 수] [-미디엄 총 바이트] [-지 최소 바이트] [-Z 최대 바이트]
[-w 일정 관리 방식] [-W 임계값당 킬로바이트] [-NS 시뮬레이션할 KB/s]
[-에프 미리 읽기 위한 수] [-N 복제본 수] 통로

기술

gfprep Gfarm 파일의 복제본을 병렬로 생성합니다.

경우 통로 매개변수가 디렉터리이면 해당 디렉터리 아래의 파일이 복제됩니다.
재귀 적으로.

통로 Gfarm URL 또는 gfarm2fs 마운트 지점의 경로입니다.

소스/대상 호스트 세트는 도메인 이름 및/또는 호스트 목록으로 지정할 수 있습니다.
파일. 도메인 이름과 호스트 목록 파일이 모두 지정되면 호스트 집합이 지정됩니다.
두 가지 조건에 따라 결정됩니다. 소스 호스트 집합이 지정된 경우 저장된 파일만
소스 호스트에서 복제됩니다.

아이들러 파일 시스템 노드는 소스 또는 대상으로 선택됩니다. 최대 수
호스트당 보내거나 받는 병렬은 CPU 수입니다. 매뉴얼 페이지를 참조하십시오
gfhost CPU 수에 대한 정보를 보려면

gfprep 또한 디렉토리를 읽고 병렬로 항목의 정보를 얻을 수 있습니다.

GFPREP 옵션

전용 옵션입니다. gfprep.

-N 복제본 수
필요한 파일 복제본 수를 지정합니다. 충분한 수가 있는 경우
대상 호스트에 복제본이 있으면 복사나 제거가 수행되지 않습니다.

이 옵션을 지정하지 않으면 -N 1이 가정됩니다.

-x
대상 노드 집합에 더 많은 파일 복제본이 있는 경우 추가 파일 복제본을 제거합니다.
-N 옵션으로 지정된 것보다.

-m
소스 노드 집합 내의 파일 복제본을 대상 노드로 마이그레이션합니다.

이 옵션에는 -S, -h, -D 또는 -H 옵션이 필요합니다.

이 옵션과 -N 옵션은 함께 사용할 수 없습니다.

공통 옵션

gfprep 와 동일한 옵션이 있습니다. gfp복사.

-X 정규 표현식
패턴과 일치하는 소스 파일을 건너뜁니다. 정규 표현식. 여러 패턴이 지정된 경우
여러 -X 옵션을 지정할 수 있습니다.

-S 소스 도메인 이름
파일을 선택할 도메인 이름을 지정합니다. 실제 파일이 있는 파일만
도메인이 전송됩니다.

-h 소스 호스트 파일
복제할 파일 시스템 노드의 호스트 이름을 설명하는 파일을 지정합니다.
파일을 복사합니다. 호스트 이름에 실제 파일이 있는 파일만 선택됩니다.
이 어플리케이션에는 XNUMXµm 및 XNUMXµm 파장에서 최대 XNUMXW의 평균 출력을 제공하는 소스 호스트 파일 각 행의 파일 시스템 노드 이름으로 구성됩니다.

"-"가 지정되면 표준 입력을 사용하여 호스트 목록을 읽습니다.

-L
-S 또는 -h로 선택된 파일 시스템 노드는 소스에 대한 전송에만 사용됩니다.

-D 대상 도메인 이름
대상의 도메인 이름을 지정합니다.

이것도 아니고 저것도 아니라면 -H 옵션이 지정되면 복제본은 어느 위치에나 복사될 수 있습니다.
사용 가능한 호스트.

-H 대상 호스트 파일
대상의 호스트 이름을 설명하는 파일을 지정합니다. 그만큼 대상 호스트 파일
각 행의 파일 시스템 노드 이름으로 구성됩니다.

"-"가 지정되면 표준 입력을 사용하여 호스트 목록을 읽습니다.

-j 프로세스 수
파일 복제본(또는 파일 복사)을 생성하는 최대 프로세스 수를 지정합니다.
동시에.

기본값은 gfarm2.conf의 client_parallel_copy 매개변수입니다. (남자 참조
gfarm2.conf)

소스 또는 대상에 대한 파일 시스템 노드당 최대 프로세스 수는
CPU 수(man 참조 gfhost).

-J 프로세스 수
디렉터리를 병렬로 읽는 프로세스 수를 지정합니다.

기본값은 8입니다.

-M 총 바이트
총 복사 크기를 제한할 바이트를 지정합니다.

기본값은 무제한입니다.

-z 최소 바이트
파일의 최소 크기를 제한하는 바이트를 지정합니다.

기본값은 무제한입니다.

-Z 최대 바이트
파일의 최대 크기를 제한하는 바이트를 지정합니다.

기본값은 무제한입니다.

-w 일정 관리 방식
예약 방법의 이름을 지정합니다. ``noplan''은 파일이 있는 동안 복제/복사합니다.
설립하다. ``greedy''는 사전에 복제/복사 순서를 탐욕스럽게 예약합니다.

기본 동작은 'noplan''입니다.

``탐욕스러운'' 스케줄링은 -N 옵션이나 -m 옵션을 사용할 수 없습니다.

-W 키비바이트
연결 비용을 균일화하기 위한 임계값 크기/비용(KiB)을 지정합니다. 연결 수단
자식 프로세스별 스케줄링 정보(할당된 파일)입니다.

이 옵션은 -wgreedy와 함께 유효합니다.

기본값은 50*1024KiB(50MiB)입니다.

-U
선택한 노드의 사용 가능한 디스크 공간을 매번 확인하지 않습니다.

-F 통행 횟수
디렉터리 미리 읽기를 수행할 항목 수를 지정합니다.

기본값은 10000입니다.

-s 초당 킬로바이트
복제/복사를 시뮬레이션하기 위한 처리량(KB/s)을 지정하고 아무 작업도 수행하지 않습니다(가져오기).
파일 정보만).

-n
아무것도 하지 않습니다.

-p
종합적인 성과와 다양한 결과를 보고합니다.

-P
각각의 종합적인 성과와 다양한 결과를 보고합니다.

-q
오류가 아닌 메시지를 억제합니다.

-v
자세한 출력을 표시합니다.

-d
디버그 출력을 표시합니다.

-?
명령 옵션 목록을 표시합니다.

사용 예

디렉터리 아래의 파일을 반복적으로 복제합니다.

$ gfprep -N 3 gfarm:///dir

$ cd /mnt/gfarm2fs
$ gfprep -N 3 디렉터리

파일을 복제하거나 파일의 잉여 복제본을 줄입니다.

$ gfprep -N 3 -x gfarm:///dir/file

gfsd1.example.com에서 다른 노드로 복제본을 마이그레이션합니다.

$ gfprep -m -S gfsd1.example.com gfarm:///

노트

-L 또는 -m 옵션을 지정하지 않으면 소스 노드가 항상 선택되지는 않습니다.
지정된 소스 파일 시스템 노드 세트.

gfprep 명령은 gfmd와 동일한 호스트에서 실행되어야 합니다. gfmd와 gfprep 멀다
별도로, gfprep 작동이 느립니다. -j 또는 -J 옵션으로 큰 값을 지정하면
그런 경우에 효과적입니다.

onworks.net 서비스를 사용하여 온라인으로 gfprep 사용