getData - Trực tuyến trên đám mây

CHƯƠNG TRÌNH:

TÊN

getData - truy xuất cơ sở dữ liệu từ Internet

SYNOPSIS

getData [--mirrordir ]

getData --list

MÔ TẢ

Tin sinh học có vấn đề nội tại là đưa dữ liệu sinh học đến người dùng cuối.
Các nhà thiên văn có vấn đề tương đương và các nhà vật lý hạt, tốt, họ đã đưa ra
với (thứ nhất) web và (thứ hai) lưới tính toán để giải quyết các vấn đề của họ.
Debian trợ giúp với các chương trình nhưng sẽ không cung cấp các bộ dữ liệu khổng lồ như vậy thậm chí
được cập nhật thường xuyên - thậm chí không có trong portable.debian.org. Hầu hết các nhà nghiên cứu tin sinh học sẽ
không cần quá nhiều cơ sở dữ liệu như vậy. Và thậm chí nhiều hơn nữa sẽ vui vẻ tiếp tục sử dụng
dịch vụ từ xa.

Đối với những người cần một bộ cơ sở dữ liệu thường xuyên, tập lệnh này sẽ là một khởi đầu để
tự động hóa gánh nặng tải xuống dữ liệu và cập nhật các chỉ số và những thứ tương tự. Thế giới có
đã thấy điều kỳ diệu như vậy trước đây với công cụ Lion Biosciences Prisma
(http://bib.oxfordjournals.org/cgi/reprint/3/4/389.pdf) nhưng làm thế nào về một cái gì đó đơn giản hơn
(như một sự khởi đầu) mà ít nhất là đạt được gần với những gì chúng tôi mong muốn và là Miễn phí. Mục đích phải là
đáp ứng nhu cầu của tất cả (hầu hết) cộng đồng, không chỉ của thế giới tin sinh học. Các
do đó hạt giống đã được tạo ra với cơ sở dữ liệu từ thiên văn học.

Vui lòng liên hệ với cộng đồng Debian-Med nếu bạn cho rằng chương trình này sắp sẵn sàng
cho nhu cầu của bạn và giải thích những gì vẫn cần được bổ sung. Cơ sở dữ liệu công khai mà bạn đã quản lý
để tích hợp với hệ thống này cũng được hoan nghênh nhiệt liệt như phản hồi.

LỰA CHỌN

--Cứu giúp
sự giúp đỡ này

--Đàn ông
Trình bày mô tả chi tiết hơn dưới dạng trang người đàn ông.

--dài dòng
Nói một hoặc hai từ nhiều hơn yêu cầu.

--mirrordir
Chỉ định thư mục đích. Dữ liệu sẽ được sao chép vào thư mục
$ mirrordir / $ dbname /. Xin lưu ý rằng tấm gương này không được lưu trữ ở đâu. Các
do đó, thư mục có thể được chuyển đến các vị trí tùy ý bất kỳ lúc nào, nếu người dùng
của dữ liệu chỉ được thông báo về việc di chuyển đó.

--danh sách
Liệt kê tất cả các cơ sở dữ liệu có thể được yêu cầu cài đặt.


Chỉ những cơ sở dữ liệu được yêu cầu tải xuống một cách rõ ràng mới được
đã tải xuống. Những cơ sở dữ liệu như vậy có thể yêu cầu băng thông đáng kể, vì vậy hãy đảm bảo rằng bạn
biết bạn đang làm điều đúng đắn.

--Bưu kiện
Chỉ thực hiện giải nén / lập chỉ mục, nhưng không truy xuất / cập nhật cơ sở dữ liệu. Cái này
tùy chọn được coi là hữu ích khi thêm một hệ thống quản lý cơ sở dữ liệu mới vào
hệ thống, ví dụ sau khi cài đặt EMBOSS.

--nguồn
Chỉ thực hiện giải nén / lập chỉ mục, nhưng không truy xuất / cập nhật cơ sở dữ liệu. Cái này
tùy chọn có thể có lợi khi người quản lý trang web biết về các phân tích hiện tại
sẽ không bị xáo trộn bởi quá trình lập chỉ mục nhưng việc tải xuống từ mạng có thể
đã được bắt đầu.

--confd
Cho phép đặc tả của một thư mục trong đó nhiều tệp có thể được lưu trữ
sẽ được getData đọc khi nó được gọi. Những điều này có thể thêm giá trị cho toàn cầu
biến% toBeMirrored chỉ định cơ sở dữ liệu và tập lệnh tải xuống của chúng.

--config
Chuẩn bị tệp cấu hình sẽ được sử dụng lại cho một hệ thống cụ thể
giao dịch với cơ sở dữ liệu. Cấu hình được in ra stdout và dự kiến
được sao chép thủ công vào tệp hoặc thư mục thích hợp. Người ta có thể tưởng tượng quá trình này để
được tự động hóa, mặc dù điều này vẫn chưa được triển khai. Hiện có sẵn là hỗ trợ cho
hai hệ thống:

floatss Điều này chỉ định bộ công cụ EMBOSS dành cho tin sinh học (www.emboss.org)
cũng có sẵn dưới dạng gói Debian. Cấu hình cho Uniprot
cơ sở dữ liệu sẽ cho phép truy xuất trình tự bằng công cụ seqret.

dre - Môi trường thời gian chạy lưới ARC
Môi trường thời gian chạy (RE) là một khái niệm về phần mềm trung gian lưới ARC trong đó
nhiều hơn có thể được học trên http://www.nordugrid.org. Một tập lệnh là cần thiết để
cho biết sự hiện diện của một môi trường thời gian chạy. Đây, tên của kịch bản
rất quan trọng, mặc dù getData không thể xác định được điều này vì nó chỉ ghi vào
tiêu chuẩn.

Thật không may, cấu hình vẫn chưa được tìm thấy để được sửa đổi. Tất cả đều cần
xảy ra trong chính tập lệnh getData.

--tẩy
Lệnh này loại bỏ các thư mục lưu trữ dữ liệu. Về nguyên tắc, điều này có thể thành công
theo cách thủ công, mặc dù một số cơ sở dữ liệu có thể có các yêu cầu đặc biệt trước hoặc sau khi xóa,
có thể được chỉ định riêng cho mọi cơ sở dữ liệu.

ĐẶC ĐIỂM KỸ THUẬT OF Cơ sở dữ liệu

Cơ sở dữ liệu để tải xuống và xử lý sau của chúng được chỉ định ở hai vị trí khác nhau.
Một là tập lệnh getData, còn lại là các tệp được lưu trữ trong /etc/getData.d. Một trong hai
sẽ xác định các phần tử của một hàm băm lớn đáng kể. Chìa khóa là mã định danh cũng là
được hiển thị bởi chỉ thị 'getData --list'. Giá trị là một tham chiếu đến một hàm băm khác,
gán giá trị cho tất cả các thuộc tính mà cơ sở dữ liệu có để tải xuống và đăng
Chế biến:

tên - một cái tên in đẹp mắt có thể đọc được hoặc mô tả ngắn gọn làm rõ
trên thế giới cơ sở dữ liệu này nói về cái gì.
Một ví dụ tồi tệ là chỉ định "DE405", mà ít người hiểu. Tốt hơn
ví dụ là "Pfam-A: Họ và miền protein được sắp xếp theo cách thủ công, chỉ hạt giống là
đã trình bày. ". Người ta có thể tranh luận rằng người ta nên đổi tên trường đó thành" mô tả ".

lệnh nguồn - shell để thực hiện tải xuống ban đầu và các bản cập nhật tiếp theo
Thông thường, công cụ wget được sử dụng để tải xuống. Kịch bản nhỏ được trình bày như vậy là
được thực thi bên dưới thư mục mirrordir. Một ví dụ đơn giản là "wget ​​--mirror
ftp://ssd.jpl.nasa.gov/pub/eph/export/unix/unxp2[01] *. 405 ". Ngày càng tăng
thành thạo trong việc sử dụng wget, một người bị cám dỗ để thay thế "--mirror" bằng "--recursive
--no-host-directory --no-directory - cấp 1 --no-cha ".

post-download - các lệnh shell để thực hiện sau khi dữ liệu đã được tải xuống.
Một ví dụ đơn giản (và không cần thiết khi sử dụng các cờ phù hợp để wget) chỉ là
thiết lập của một liên kết tượng trưng:

"post-download" => "ln -s ssd.jpl.nasa.gov/pub/eph/export/unix/unxp*.405."

Một số nỗ lực khác đã được đưa vào TrEMBL để hợp nhất các bản phát hành với
cập nhật và lập chỉ mục cho EMBOSS:

"d = uncompressed; if [! -d \ $ d]; then mkdir \ $ d; fi;"
. "rm -rf \ $ d / runl.dat;"
. "(find ftp.ebi.ac.uk -name '* .dat.gz' | xargs -r zcat)> \ $ d / runl.dat;"
. "[-x / usr / bin / dbxflat]"
. "&& cd \ $ d &&"
. "dbxflat -dbresource embl -dbname Runllocal -idformat swiss -filenames = Runl.dat -fields id, acc -auto",

Các dấu chấm đang kết nối các chuỗi trong Perl. Điều này giúp mã dễ đọc. Khi nào
khi viết các đoạn mã này, hãy lưu ý rằng các dòng mới không tách rời từng cá nhân
lệnh ở đây. Dấu chấm phẩy là bắt buộc.

khuyến nghị - gợi ý một loạt các gói để sử dụng cơ sở dữ liệu hoặc
hiệu suất của việc lập chỉ mục.
Thông tin này hiện không được sử dụng, cũng để hiển thị tập lệnh này hữu ích hơn cho
các bản phân phối Linux khác ngoài Debian.

getWgetOptions - lệnh riêng tư để nhận các tùy chọn wget
Điều này được makefiles sử dụng tại thời điểm tải xuống, không nhằm mục đích sử dụng tương tác,
và có thể bị xóa bất cứ lúc nào.

VÍ DỤ

Sau đây sẽ liệt kê các mã định danh và mô tả của 4 cơ sở dữ liệu đầu tiên
khu vực có sẵn thông qua getData trên hệ thống của bạn.

./getData --mirrordir = / local / databases / mirrored --list | đầu 4

Để cài đặt bất kỳ cơ sở dữ liệu cụ thể nào, chỉ đặt tên của nó làm đối số. Nếu cài đặt
được thực hiện tại một thư mục khác với thư mục mặc định, sau đó --mirrordir cần lại
thiết lập.

./getData swiss.dat

Để loại bỏ cơ sở dữ liệu một lần nữa, hãy cung cấp cho tập lệnh một gợi ý với cờ --remove

./getData --remove swiss.dat

Chỉ thực hiện lập chỉ mục và tránh tải xuống (chú ý, điều này rất nguy hiểm
vì các tệp chỉ mục sẽ trông mới hơn so với cơ sở dữ liệu), hãy làm

./getData --post swiss.dat

Một ngoại lệ đặc biệt đối với các tập lệnh bổ sung này là cờ --config trong đó nó có một danh sách
các lập luận phụ. Mỗi hệ thống sẽ biểu thị một hệ thống cụ thể mà cơ sở dữ liệu này có thể là
Lãi cho. Ngày nay có hai hệ thống được hỗ trợ:

ALL

Bây giờ chúng ta cần một cơ chế mà các gói có thể chỉ định các móc sẽ được gọi khi
cập nhật cơ sở dữ liệu. Nhưng chúng tôi không thể giả định rằng mọi lập chỉ mục có thể được thực hiện
bởi vì việc cài đặt một số gói cũng là mong muốn của người dùng. Cách cấu hình
điều này đúng là để được quyết định.

Sử dụng getData trực tuyến bằng các dịch vụ onworks.net