NPpvm - Online in de cloud

PROGRAMMA:

NAAM

NetPIPE - Nettowerk PROTOCOL Ionafhankelijk Performance Etaxateur

KORTE INHOUD

NPTCP [-h ontvanger_hostnaam] [-b TCP_buffer_groottes] [opties]

mpirun [-machinebestand hostlijst] -np 2 NPmpi [-a] [-S] [-z] [opties]

mpirun [-machinebestand hostlijst] -np 2 NPmpi2 [-f] [-g] [opties]

Npvm [Opties]

Zie de secties TESTEN hieronder voor een meer volledige beschrijving van het uitvoeren van NetPIPE
elke omgeving. Het gedeelte OPTIES beschrijft de algemene opties die voor iedereen beschikbaar zijn
modules. Zie het README-bestand van de tar-ball op
http://www.scl.ameslab.gov/Projects/NetPIPE/ voor documentatie over de InfiniBand, GM,
SHMEM-, LAPI- en memcpy-modules.

PRODUCTBESCHRIJVING

NetPIPE gebruikt een eenvoudige reeks pingpongtests over een reeks berichtgroottes om een
volledige maatstaf voor de prestaties van een netwerk. Het stuitert berichten van toenemende omvang
tussen twee processen, hetzij via een netwerk of binnen een SMP-systeem. Berichtgroottes
worden met regelmatige tussenpozen en met lichte verstoringen gekozen om een ​​compleet beeld te geven
evaluatie van het communicatiesysteem. Elk datapunt brengt veel pingpongtests met zich mee
zorgen voor een nauwkeurige timing. Latenties worden berekend door de retourtijd te delen in
de helft voor kleine berichten (minder dan 64 bytes).

De communicatietijd voor kleine berichten wordt gedomineerd door de overhead in de
communicatielagen, wat betekent dat de transmissie latentiegebonden is. Voor grotere
berichten, wordt de communicatiesnelheid beperkt door een component in de bandbreedte
communicatiesubsysteem (PCI-bus, netwerkkaartlink, netwerkswitch).

Deze metingen kunnen worden uitgevoerd op de berichtdoorlatende laag (MPI, MPI-2 en PVM) of op
de native communicatielagen waarop die draaien (TCP/IP, GM voor Myrinet-kaarten,
InfiniBand, SHMEM voor de Cray T3E-systemen en LAPI voor IBM SP-systemen). Recent werk is
gericht zijn op het meten van enkele interne systeemeigenschappen, zoals de memcpy-module die
meet de kopieersnelheden van het interne geheugen, of een schijfmodule in ontwikkeling die meet
de prestaties naar verschillende I/O-apparaten.

Sommige toepassingen voor NetPIPE zijn onder meer:

Vergelijking van de latentie en maximale doorvoer van verschillende netwerkkaarten.

Vergelijking van de prestaties tussen verschillende soorten netwerken.

Zoeken naar inefficiënties in de laag voor het doorgeven van berichten door deze te vergelijken met de
native communicatielaag.

Optimalisatie van de laag voor het doorgeven van berichten en afstemmen van OS- en stuurprogrammaparameters voor optimaal
prestaties van het communicatiesubsysteem.

NetPIPE is voorzien van vele modules waardoor het kan communiceren met een breed scala aan
communicatie lagen. Het is vrij eenvoudig om nieuwe interfaces te schrijven voor andere betrouwbare
protocollen door de bestaande modules als voorbeelden te gebruiken.

TESTEN TCP

NPtcp kan nu op twee manieren worden gestart, door NPtcp handmatig op beide systemen te starten of door
met behulp van een nplaunch-script. Om NPtcp handmatig te starten, moet de NetPIPE-ontvanger worden gestart
eerst op het externe systeem met behulp van de opdracht:

NPtcp [opties]

dan wordt de primaire zender gestart op het lokale systeem met het commando

NPtcp-h ontvanger_hostnaam [Opties]

Eventueel gebruikte opties moeten aan beide zijden gelijk zijn.

Het nplaunch-script gebruikt ssh om de externe ontvanger te starten voordat de lokale wordt gestart
zender. Om rsh te gebruiken, wijzigt u gewoon het nplaunch-script.

nplaunch NPtcp -h ontvanger_hostnaam [Opties]

De -b TCP_buffer_groottes optie stelt de buffergrootte van de TCP-socket in, wat enorm kan zijn
invloed hebben op de maximale doorvoer op sommige systemen. Een doorvoergrafiek die vlakker wordt
kan plotseling een teken zijn dat de prestaties worden beperkt door de grootte van de socketbuffer.

TESTEN MPI en MPI-2

Het gebruik van de MPI-interface voor NetPIPE is afhankelijk van de gebruikte MPI-implementatie. Alle
vereist dat het aantal processen wordt opgegeven, meestal met een -bijv 2 argument.
Clusteromgevingen vereisen mogelijk een lijst met hosts die worden gebruikt wanneer elke taak wordt uitgevoerd.
Zet de lijst met hosts in de hostlijst en voer voor OpenMPI NetPIPE uit met:

mpirun --hostbestand hostlijst -np 2 NPmpi [NetPIPE-opties]

Gebruik voor MPICH2 in plaats daarvan:

mpirun-machinebestand hostlijst -np 2 NPmpi [NetPIPE-opties]

Om de 1-zijdige communicatie van de MPI-2-standaard te testen, compileert u met:

maken mpi2

Draaien zoals hierboven beschreven en MPI gebruikt 1-zijdige MPI_Put()-oproepen in beide richtingen,
waarbij elke ontvanger blokkeert totdat de laatste byte is overschreven voordat de
bericht terug. Gebruik de -f optie om het gebruik van een omheining te forceren om te blokkeren in plaats van een
overschrijven van de laatste byte. De -g optie zal MP_Get() functies gebruiken om de
data in plaats van MP_Put().

TESTEN MVP

Start het pvm-systeem met:

PVM

en een tweede machine toevoegen met het PVM-commando

toevoegen ontvanger_hostnaam

Verlaat de PVM-opdrachtregelinterface met behulp van quit en voer vervolgens de PVM NetPIPE-ontvanger op één uit
systeem met het commando:

NPpvm [opties]

en voer de TCP NetPIPE-zender op het andere systeem uit met de opdracht:

NPpvm-h ontvanger hostname [Opties]

Eventueel gebruikte opties moeten aan beide zijden gelijk zijn. Het nplaunch-script kan ook worden gebruikt
met NPpvm zoals hierboven beschreven voor NPtcp.

TESTEN METHODOLOGIE

NetPIPE test de netwerkprestaties door een aantal berichten bij elke blokgrootte te verzenden,
vanaf de ondergrens van de berichtgroottes.

De berichtgrootte wordt opgehoogd totdat de bovengrens van de berichtgrootte is bereikt of
de tijd om een ​​blok te verzenden is langer dan één seconde, afhankelijk van wat zich het eerst voordoet. Berichtgroottes
worden met regelmatige tussenpozen gekozen, en voor lichte verstoringen van hen om meer te bieden
volledige evaluatie van het communicatiesubsysteem.

De NetPIPE uitvoerbestand kan worden getekend met behulp van een programma zoals knuppel(1). De uitgang
bestand bevat drie kolommen: het aantal bytes in het blok, de overdrachtssnelheid in bits
per seconde, en de tijd om het blok over te dragen (de helft van de retourtijd). De eerste twee
kolommen worden normaal gesproken gebruikt om de doorvoer versus blokgrootte in een grafiek weer te geven, terwijl de derde kolom
zorgt voor de latentie. Bijvoorbeeld de doorvoer tegen blok grootte grafiek kan worden gemaakt
door bytes versus bits per seconde in een grafiek uit te zetten. Steekproef knuppel(1) commando's voor zo'n grafiek
zou

logschaal x instellen

plot "np.out"

OPTIES

-a asynchrone modus: prepost ontvangt (MPI, IB-modules)

-b TCP_buffer_groottes
Stel de TCP-buffergroottes voor verzenden en ontvangen in (alleen TCP-module).

-B Burst-modus waarbij alle ontvangsten tegelijk worden voorgepost (MPI-, IB-modules).

-f Gebruik een hek om te blokkeren voor voltooiing (alleen MPI2-module).

-g Gebruik MPI_Get() in plaats van MPI_Put() (alleen MPI2-module).

-h hostname
Geef de naam op van de ontvangerhost waarmee verbinding moet worden gemaakt (TCP, PVM, IB, GM).

-I Cache ongeldig maken om prestaties te meten zonder cache-effecten (meestal van invloed op IB
en memcpy-modules).

-i Doe een integriteitscheck in plaats van een functioneringsgesprek.

-l begin_msg_size
Geef de ondergrens op voor de grootte van de te testen berichten.

-n nrherhalingen
Stel het aantal herhalingen voor elke test in op een constante. Anders het aantal
herhalingen is gekozen om een ​​nauwkeurige timing voor elke test te bieden. Wees heel voorzichtig als
een laag getal specificeren zodat de tijd voor de pingpongtest de timer overschrijdt
nauwkeurigheid.

-O bron_offset,beste_offset
Specificeer de bron- en doeloffsets van de buffers van perfecte pagina
uitlijning.

-o uitvoer_bestandsnaam
Geef de naam van het uitvoerbestand op (standaard is np.out).

-p verstoring_grootte
NetPIPE kiest de berichtgroottes met regelmatige tussenpozen en vergroot ze
exponentieel van de ondergrens naar de bovengrens. Op elk punt, het
test ook verstoringen van 3 bytes boven en 3 bytes onder elk testpunt om te vinden
eigenaardigheden in het systeem. Deze storingswaarde kan worden gewijzigd met behulp van de -p
optie, of uitgeschakeld met -p 0 .

-r Deze optie reset de TCP-sockets na elke test (alleen TCP-module). Het is
nodig voor enkele streamingtests om goede metingen te krijgen sinds het socketvenster
grootte kan anders instorten.

-s Stel de streamingmodus in waarbij gegevens slechts in één richting worden verzonden.

-S Gebruik synchrone verzendingen (alleen MPI-module).

-u bovengrens
Geef de bovengrens op voor de grootte van het bericht dat wordt getest. Standaard,
NetPIPE stopt wanneer de tijd om een ​​blok te verzenden langer is dan een seconde.

-z Berichten ontvangen met MPI_ANY_SOURCE (alleen MPI-module)

-2 Stel de bidirectionele modus in waarbij beide zijden tegelijkertijd verzenden en ontvangen
(ondersteund door de meeste modules). Mogelijk moet u gebruiken -a asynchroon kiezen
communicatie voor MPI om bevriezingen te voorkomen. Voor TCP is de maximale testgrootte
beperkt door de TCP-buffergroottes.

Gebruik NPpvm online met behulp van onworks.net-services