Htforum.nl

PC/Mac/Consoles etc. vragen en discussies => Wifi, netwerken, (mobiel) internet etc. => Topic started by: richardnl on December 30, 2007, 13:05:00

Title: slechte netwerkperformance Gbps netwerk
Post by: richardnl on December 30, 2007, 13:05:00
Hallo

Ik heb Gbps apparatuur gekocht en aangesloten en toch krijg ik maar 7 Mb per seconde als ik van ene pc naar andere PC kopieer.

Volgende config:

- cat5e kabels
- d link dir 655 router met Gbps en jumboframe support volgens de site
- windows XP machine met Gpbs netwerkkaart en jumboframe support (P4 machine en 2 Gb intern geheugen en SATA HD)
- windows vista ultimate 4 Gb intern en 6750 processor

Wie heeft suggesties om het probleem te analyseren (tools) en oplossingen?

Bedankt

Groet
Richard
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: hifiman on December 30, 2007, 13:07:56
Mb als in megabits of megabytes?

En je zegt kopieren, welk protocol gebruik je (ivm overhead bepalen) ?

Wat doet je cpu load op dat moment ,zit die aan zijn top of niet?

Wat voor snelheid heeft de bus waar je NIC in zit?

Switched netwerk? Full duplex ?

Kortom geeft eens wat meer info  ;D
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: SpeedyAndré on December 30, 2007, 13:19:46
Probeer tcpip optimizer (http://www.speedguide.net/downloads.php) eens, maar er kan ook iets in je router niet goed staan  ::)
Geven de pc's wel aan dat er een (full duplex) gigabit verbinding is  ???
Je hebt ook niet per abuis de aparte internet poort op de router gebruikt voor een pc?

André  8)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on December 30, 2007, 13:41:45

Mb als in megabits of megabytes?

Via standaard windows en dan geeft hij 7Mb/s dus weet niet of dit bits of bytes zijn

En je zegt kopieren, welk protocol gebruik je (ivm overhead bepalen) ?

Via standaard windows en dan geeft hij 7Mb/s

Wat doet je cpu load op dat moment ,zit die aan zijn top of niet?

Dit zit ver onder de 50 procent....

Wat voor snelheid heeft de bus waar je NIC in zit?

Geintegreerde netwerkkaarten

Switched netwerk? Full duplex

Als ik bij de netwerkkaart kijk dan staat bij speed&duplex: autonegotiate...

Hoe kan ik zien wat de snelheid is geworden agv autonegotiate?


Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Raphie on December 30, 2007, 13:44:19
pak eerst eens een goede cat5e patchkabel en sluit deze direct aan, zal bijna zeker kabels zijn
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on December 30, 2007, 13:49:23
Quote from: Raphie on December 30, 2007, 13:44:19
pak eerst eens een goede cat5e patchkabel en sluit deze direct aan, zal bijna zeker kabels zijn

Wat is een goede patchkabel want ik heb alles voorgemonteerd gekocht bij een installateur
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: hifiman on December 30, 2007, 13:58:00
Quote from: Raphie on December 30, 2007, 13:44:19
pak eerst eens een goede cat5e patchkabel en sluit deze direct aan, zal bijna zeker kabels zijn
Precies dat is de eerste stap en zet vervolgens de nic eens op 100 Mbps full duplex ipv op auto en kijk of dat uitmaakt.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Raphie on December 30, 2007, 14:04:59
Quote from: richardnl on December 30, 2007, 13:49:23
Wat is een goede patchkabel want ik heb alles voorgemonteerd gekocht bij een installateur
gewoon even een belkin cat6 kabel halen bij de MM voor 15 euro of zo
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: hifiman on December 30, 2007, 14:09:38
Quote from: richardnl on December 30, 2007, 13:41:45
Mb als in megabits of megabytes?

Via standaard windows en dan geeft hij 7Mb/s dus weet niet of dit bits of bytes zijn

En je zegt kopieren, welk protocol gebruik je (ivm overhead bepalen) ?

Via standaard windows en dan geeft hij 7Mb/s

Wat doet je cpu load op dat moment ,zit die aan zijn top of niet?

Dit zit ver onder de 50 procent....

Wat voor snelheid heeft de bus waar je NIC in zit?

Geintegreerde netwerkkaarten

Switched netwerk? Full duplex

Als ik bij de netwerkkaart kijk dan staat bij speed&duplex: autonegotiate...

Hoe kan ik zien wat de snelheid is geworden agv autonegotiate?



Standaard windows? Netbios over IP dus :P Dan heb je dus naast de normale tcp en ip overhead ook nog overhead vanwege netbios.
En je weet dus niet of het 7 Mb/s of 7 MB/s, dan zou ik daar eerst even duidelijkheid over zien te krijgen want nu weet je dus niet eens wat je meetresultaten zijn  :P

En inderdaad is het handig om speciale performance meet proggies te gebruiken om te kijken wat je netwerl performance is.
Dat werkt meestal met UDP pakketjes en geeft een wat eerlijker beeld.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on December 30, 2007, 16:34:23
het is megabytes ! MB= bytes Mb - megabits
Dus 7 MB dat is ongeveer 6 procent van de performance van 100 Mbit netwerk en dat terwijl het 1 Gbit moet zijn.
Morgen maar even cat 6 halen
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: hifiman on December 30, 2007, 18:13:45
Dan heb je waarschijnlijk een hoop crc errors op je interface, maar ik weet niet of windhoos dat laat zien..
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on December 30, 2007, 18:58:39
ik denk dat het met windows vista te maken heeft.

Want windows xp naar synolgy nas haalt 20 procent dus 25 MB/seconde en dat zonder jumbo frame
als ik dit aanzet dan wordt de performance onstabiel.

Morgen met nieuwe kabels testen

Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on January 26, 2008, 12:45:14
ik heb alle kabels vervangen met minimaal 5E.

Wat ik zie gebeuren is dat hij best snel is de verbinding maar dan weer "zomaar" inzakt tot 1 procent van 1 Gbps.
Dan zie ik de processor niet tot 100 procent voltrekken dus dat is het niet.

Iemand nog suggesties om dit te takkelen?

Groet
Richard
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 26, 2008, 13:03:19
draai dit tooltje om te zien hoeveel de inteface belast is:

http://www.pcmag.com/article2/0,4149,1735,00.asp

als je daar ook die drop ziet dan weet je al meer
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: SpeedyAndré on January 26, 2008, 14:19:19
Hier (http://www.etplanet.com/download/details.php?file=43) is dat tooltje gratis :)

André  8)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 26, 2008, 14:23:58
Quote from: SpeedyAndré on January 26, 2008, 14:19:19
Hier (http://www.etplanet.com/download/details.php?file=43) is dat tooltje gratis :)

André  8)

't ja ik heb de eerste google hit van netpersec gepikt
best wel bruikbaar om je throughput exact te meten

voor linux is er 'iptraf'
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on January 26, 2008, 16:21:21
ik zie dat gemiddeld in het begin 20-25 MB haal en dan na een paar minuten zakt hij onder de 1 MB per seconde
Dat duurt even en dan pakt hij het weer op

Iemand suggesties?
Kan het de router zijn? Dir 655 van Dlink firmware 1.11 EU
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 28, 2008, 09:38:41
Quote from: richardnl on January 26, 2008, 16:21:21
ik zie dat gemiddeld in het begin 20-25 MB haal en dan na een paar minuten zakt hij onder de 1 MB per seconde
Dat duurt even en dan pakt hij het weer op

Iemand suggesties?
Kan het de router zijn? Dir 655 van Dlink firmware 1.11 EU
Exact hetzelfde probleem hier!
Er staat een 19" 3Com Gigabit switch met CAT6 bekabeling, een 2003 Server op een C2D pc. Die pc heeft niks te doen, CPU load < 10%. Vervolgens 4 DVD's over het netwerk gekopieerd naar de MacBook Pro en ook getest naar een gewone XP pc (raid 0) .. snelheid loopt een tijdje op 25 mb/s .. zakt in naar rond de 1 en blijft daar een minuut of 1 a 2 op steken, vervolgens weer 30 seconden op 25 .. enz. enz.
Snap er werkelijk niks van! Als ik iets vind, laat ik het weten.. ik houd dit topic in ieder geval ook even in de gaten ;)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on January 29, 2008, 08:36:29
Ik heb mogelijk een oplossing gevonden.

Bij mij stond 1 van de netwerkkaarten niet op Qos. Sinds ik die netwerkkaart deze optie heb geactiveerd haal ik 20 / 25 MB per seconde tussen de 2 pc's

Groet
Richard
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 29, 2008, 08:50:27
Quote from: richardnl on January 29, 2008, 08:36:29
Ik heb mogelijk een oplossing gevonden.

Bij mij stond 1 van de netwerkkaarten niet op Qos. Sinds ik die netwerkkaart deze optie heb geactiveerd haal ik 20 / 25 MB per seconde tussen de 2 pc's

Groet
Richard
Qos... hmm.. heb je een screenshot van waar die optie staat, het komt mij zo 123 niet bekend voor.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: SpeedyAndré on January 29, 2008, 12:15:35
(http://home.versatel.nl/speedy-andre/qos.jpg)

;)

André  8)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: jowi on January 29, 2008, 12:18:58
Wat is eigenlijk een normale snelheid wat je moet kunnen halen met een Gbps netwerk?
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 29, 2008, 12:21:17
Quote from: jowi on January 29, 2008, 12:18:58
Wat is eigenlijk een normale snelheid wat je moet kunnen halen met een Gbps netwerk?

25Mbyte/sec met netbios
970Mbit/sec met iperf
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 29, 2008, 12:25:05
Quote from: SpeedyAndré on January 29, 2008, 12:15:35
(http://home.versatel.nl/speedy-andre/qos.jpg)

;)

André  8)
Ah, een service.. ik had er wat over gevonden op het internet, maar is het niet zo dat je dit ook moet configureren?? Had gelezen over Flows die je aan moet maken om aan te geven welk protocol voorrang/meer bandbreedte krijgt. Weet je daar ook meer over?
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: SpeedyAndré on January 29, 2008, 12:34:06
Voor zover ik kan zien valt er niets te configureren aan qos, op het plaatje zie je dat properties grayed-out is.

André  8)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: DJ-Foxx on January 29, 2008, 12:35:05
Quote from: richardnl on December 30, 2007, 13:05:00
Hallo

Ik heb Gbps apparatuur gekocht en aangesloten en toch krijg ik maar 7 Mb per seconde als ik van ene pc naar andere PC kopieer.

Volgende config:

- cat5e kabels
- d link dir 655 router met Gbps en jumboframe support volgens de site
- windows XP machine met Gpbs netwerkkaart en jumboframe support (P4 machine en 2 Gb intern geheugen en SATA HD)
- windows vista ultimate 4 Gb intern en 6750 processor

Wie heeft suggesties om het probleem te analyseren (tools) en oplossingen?

Bedankt

Groet
Richard

Richard,

als je vanaf de doel computer de copy naar je toe trekt, heb je dan het zelfde lag probleem ???
je XP clients moeten wel minimaal SP2 hebben, SP1 wil wel eens problemen mbt doorvoersnelheden 100 / Gbit verbindingen. ::)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on January 29, 2008, 12:56:06
Quote from: SpeedyAndré on January 29, 2008, 12:15:35
(http://home.versatel.nl/speedy-andre/qos.jpg)

;)

André  8)

Dit is niet de optie die ik bedoel maar echt bij de netwerkkaart eigenschappen
Zal deze week een screenshot plaatsen
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 29, 2008, 13:09:29
Quote from: richardnl on January 29, 2008, 12:56:06
Dit is niet de optie die ik bedoel maar echt bij de netwerkkaart eigenschappen
Zal deze week een screenshot plaatsen
Bedoel je de 802.1p support...

Overigens Andre, je kan het configureren met TcMon.exe (Traffic Control Monitor). Een tooltje wat in de Resource Kit zit. Ik heb het even gedownload en erop gezet, maar het is vrij wazig allemaal.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 29, 2008, 13:15:16
Volgens mij heb je die QoS instellingen niet nodig.

Ik haalde op mijn laptop 970mbps via iperf met een TCP 256K window size.
Een filecopy vanaf samba haalde "slechts" 25Mbyte/sec.

Volgens mij zitten er beperkingen in het SMB protocol om gelijkaardige snelheden als iperf toe te laten.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 29, 2008, 13:42:17
Maar iperf is toch alleen een testtooltje voor je netwerk performance...
Ik zal dat ook eens testen binnenkort op het netwerk, al kan ik het natuurlijk niet op OSX draaien ;D
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: SpeedyAndré on January 29, 2008, 13:49:23
Quote from: wh-vanderpost on January 29, 2008, 13:42:17
al kan ik het natuurlijk niet op OSX draaien ;D

Echt niet (http://dast.nlanr.net/Projects/Iperf/)?  ;)
MacOS X (Darwin 6.4)

André  8)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: wh-vanderpost on January 29, 2008, 14:11:59
Quote from: SpeedyAndré on January 29, 2008, 13:49:23
Echt niet (http://dast.nlanr.net/Projects/Iperf/)?  ;)
MacOS X (Darwin 6.4)

André  8)

:-X
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 29, 2008, 14:52:37
ik heb iperf maanden gebruikt om IP over satteliet te testen
het is zeker geschikt om de maximale performantie te meten wat je kan halen
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on January 29, 2008, 18:51:13
zie de image
Qos Package tagging heb ik aangezet
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Del member on January 29, 2008, 20:49:55
Hier staat QoS Packet Scheduler ook aangevinkt onder de Local Area Connection properties (volgens mij default).
In mijn driver heb ik geen QoS opties, wel TCP checksum acceleratie en dat soort offload toestanden deze staan aan.

Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Wim44 on June 30, 2008, 00:34:29
Als je kopieert van schijf naar schijf over Gbps verbinding dan is de snelheid van de HD zelf al een bottleneck. De Gbps verbinding is sneller. Voorbeeld: 1 Gbps = 1000 Mbps = 100 MBytes/sec.
De snelheid is te verhogen door de bloklengte van de records en de buffering tussen de schijf en het geheugen anders in te stellen.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Uitje on June 30, 2008, 12:00:30
Heb er niet zo heel veel verstand van maar als je zegt dat QoS iets uitmaakt voor de netwerk performance dan denk ik dat het probleem niet in je netwerkje zelf zit maar meer in de hardware van een van beide pc's.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: riwi on July 1, 2008, 22:10:28
Quote from: DJ-Foxx on January 29, 2008, 12:35:05
als je vanaf de doel computer de copy naar je toe trekt, heb je dan het zelfde lag probleem ???
je XP clients moeten wel minimaal SP2 hebben, SP1 wil wel eens problemen mbt doorvoersnelheden 100 / Gbit verbindingen. ::)

Ik las deze tip van je en heb daar een vraag over. Ik heb namelijk een duidelijk verschil tussen het versturen van een file en het halen van een file :
PC A heeft een file en die wil ik kopieren ik naar PC B
Geef ik het kopieer commando op PC A en kopieer ik naar de netwerkschijf die zich in PC B bevind dan zie ik 22-25 MB/sec gemiddeld.
Start ik een remote desktop sessie naar PC B en kopieer vandaar vanaf de netwerk schijf op PC A de file naar lokale drive van PC B dan zie ik 50MB/sec die dan zakt tot 40MB/sec maar  over 200GB gewoon gemiddeld 38-40MB/sec blijft.

Het experiment werkt ook andersom : file staat op PC B en moet naar PC A. Sturen van PC B naar PC A : 22MB/sec.
Zelfde bestand halen van PC B door het kopieer commando op PC A te geven 40-50MB/sec.
Volgens mij is dit een windows setting/eigenschap ergens, maar ik weet niet waar of wat het is.

PC's zijn allemaal WinXP Pro SP2, geupdate met ctupdate. Switches zijn netgear gs105 en gs108(2x) Jumboframes staat uit. Netwerk kaart : intel Pro1000 PCI-E x1 en een interne nvidia Nforce430. Processors : E6750 en Athlon64-3000+ en AthlonX2-3800. Cat5e en Cat6 bekabeling. Schijven allemaal raid0 2x500G of 2x750G samsungs, of 4x500G raid0 op de linuxPC.

Ik zie ook verschillen is ook met 1 PC op linux : XP --> Linux  22-25MB/sec   XP<---Linux +35MB/sec

Ik denk dus echt dat winXP een limiet zet op de via SMB te versturen data... maar hoe zet je die uit ???

Iemand een idee? Ik wil graag beide kanten op met 40-50MB/sec :)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on August 21, 2008, 15:32:14
niemand een suggestie?
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Wim44 on August 21, 2008, 16:10:21
Wat is de maximale overdracht snelheid van je schijven ?
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Kjelt on August 21, 2008, 16:54:58
Quote from: riwi on July  1, 2008, 22:10:28
Ik denk dus echt dat winXP een limiet zet op de via SMB te versturen data... maar hoe zet je die uit ???
Iemand een idee? Ik wil graag beide kanten op met 40-50MB/sec :)
Wellicht heb je hier iets aan: een interessante academische paper: http://www.pats.ua.ac.be/content/publications/2006/mmertens_IPProtocols.pdf
Op pagina 11 staan enkele parameters die voor SMB onder XP zijn verhoogd.
Als je naar de grafieken kijkt zie je dat bij 1 connectie ze inderdaad bij Intel read bij de 20MB/s blijven hangen, echter met meerdere connecties gaat dit lineair omhoog tot 80MB/s (4 connecties).
Oftewel als je meerdere files wilt kopieren dan kun je dit beter parallel aan elkaar opstarten dan als 1 grote kopieeraktie.
Ik heb de paper niet helemaal doorgelezen dus misschien staan er meer handige tips of verklaringen in waarom deze limiet optreedt bij SMB
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: riwi on August 21, 2008, 17:56:04
Quote from: richardnl on August 21, 2008, 15:32:14
niemand een suggestie?

Ik denk dat er iets op 100Mbit blijft steken. Daarvoor is de 7MB/s limiet wel te begrijpen.

Je schijven zijn vast wel snel genoeg (iig sneller dan 7MB/sec). Zelfs een 5 jaar oude ATA schijf haalt makkelijk
50MB/sec. De huidige SATA gaan 80-100MB/sec en daarboven.

Had je als test al eens ipv switches ertussen een cross ethernet kabel tussen beide PCs gelegd? (voor Gbit kun je ipv cross een gewone patch kabel gebruiken want gbit netwerkkaarten doen auto mdi-x). Met zo'n test zou je rand apparatuur uitsluiten.

Heb je 2 hardeschijven in de PC? Als je van de ene HD naar de andere HD kopieert (grote file 10GB of zo) gaat dat wel vlot?

Ik heb 1 oude PC die hard blijft steken op 4MB/sec maar dat is een bekende hardware fout in de VIA chipset voor de disk access (miniITX PC met Via C3 processor)

@Kjelt bedankt, ik zal het eens doorlezen.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: gijsnoorlander on August 24, 2008, 16:35:39
Quote from: Kjelt on August 21, 2008, 16:54:58
[...]
Oftewel als je meerdere files wilt kopieren dan kun je dit beter parallel aan elkaar opstarten dan als 1 grote kopieeraktie.
Ik heb de paper niet helemaal doorgelezen dus misschien staan er meer handige tips of verklaringen in waarom deze limiet optreedt bij SMB
Nee, je kunt alleen zinnig meerdere threads starten als de files op verschillende schijven staan en ook naar verschillende schijven geschreven worden.
Een schijf die op 2 plaatsen tegelijk moet schrijven (of lezen) is altijd netto langzamer dan wanneer dat in 1 stroom data kan.

Het SMB protocol gebruikt allerlei methodes om ook bij beroerd aangelegde netwerken te voorkomen dat de performance totaal in elkaar stort. Dat is tegenwoordig met switches niet zo'n issue meer, maar het zit bij gbit- en 100Mbit netwerken nog wel in de weg.
Bij 100Mbit netwerk kun je bijvoorbeeld zonder problemen 66Mbit halen tussen 2 PC's, maar zodra een derde machine erbij komt en ook wat gaat babbelen over dat netwerk, dan zakt die transfer onherroepelijk naar 33 Mbit/s.
Bij Gbit heb ik ook veel van dergelijke transfers gezien, alleen was het dan vaak blijven hangen op 166 Mbit of 333 Mbit.
Een heel enkele keer haal ik ook werkelijk de max snelheid van mijn schijven (85MB/s), maar meestal zit het rond die 20 a 40 MB/s. en dan ook alleen nog maar bij grote files.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Kjelt on August 25, 2008, 11:15:30
Quote from: gijsnoorlander on August 24, 2008, 16:35:39
Nee, je kunt alleen zinnig meerdere threads starten als de files op verschillende schijven staan en ook naar verschillende schijven geschreven worden.
Een schijf die op 2 plaatsen tegelijk moet schrijven (of lezen) is altijd netto langzamer dan wanneer dat in 1 stroom data kan.
Als dat zo is dan ligt dit aan het OS want als je puur naar de hardware kijkt dan zie je het volgende:

bedenk dat de seektime niet zoveel uitmaakt op de datatransfersnelheid. Om een voorbeeld te geven de 1TB WD Caviar black heeft een sustained (dus continue) transferrate van de print naar het moederbord (SATA bus) van 145MB/s  :o en deze heeft een 32MB buffer.
Hij heeft een max. seektime van 4ms,  Transfer van HDDplatter to buffer is gelimiteerd aan het RAMgeheugen van 40ns (ik neem per write 64bits (8bytes) dan duurt dit  ongeveer 17ms (12x sneller als sustained datarate van 145MB/s).
Dan neem ik ook nog even ten nadele van deharddisk snelheid aan dat er pas weer gelezen wordt als de buffer leeg is:

Dan krijgen we het volgende scenario:
                                                              proces 1                parallel proces 2                                          total time
HDD read file1  disk to buffer 32MB                17ms                                                                                          17ms
Transfer buffer -> SATA start  (32/145)                                       220ms                                                         
seek                                                          4ms                                                                                          21ms                 
Wachten tot buffer leeg is:                                                                                                                         237ms
HDD read file2  16MB /80MB/s  200ms             17ms                                                                                                                           
en weer verder.

Oftewel de hele bottleneck van de harddisk zit in de sustained dataread van 145MB/s wil de seektime van de harddisk een significante rol gaan spelen dan
zou de sustained SATA datarate in de orde van  4ms voor 32MB zijn oftewel  ruim 8000MB/s !!!!

Als het OS slim zou zijn en voldoende buffers heeft dan zou je dus bijv. bij 2 threads  2x237ms per 2x32MB nodig hebben en kun je op je sloffen de 25MB/s van smb aan.
Hoeveel threads dan theoretisch:  32MB/s*237ms = 135MB/s /25MB/s = 5 threads. De fabrikant garandeert zelfs 145MB/s (dus de echte HDD wacht niet tot de buffer helemaal leeg is maar heeft dual port ram aan boord  ;)

Waar het dus fout gaat is of bij de chipset op het moederbord OF en dat verwacht ik eigenlijk, bij het OS.
Wil dit echt goed gaan dan moet het OS weten hoe groot de buffer van de HDD is en deze dan altijd in volle buffergroottes via DMA aanvragen en daar zal het fout gaan vermoed ik, waarschijnlijk worden er steeds kleinere blokjes opgevraagd zeker als je een programma als windows exploder hebt met alle fancy grafische fruttels erop  ;)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: gijsnoorlander on August 25, 2008, 22:36:19
Quote from: Kjelt on August 25, 2008, 11:15:30
Als dat zo is dan ligt dit aan het OS want als je puur naar de hardware kijkt dan zie je het volgende:

bedenk dat de seektime niet zoveel uitmaakt op de datatransfersnelheid. Om een voorbeeld te geven de 1TB WD Caviar black heeft een sustained (dus continue) transferrate van de print naar het moederbord (SATA bus) van 145MB/s  :o en deze heeft een 32MB buffer.
Van HDD-controller naar mainboard kan ik zo gauw niet terug vinden wat WD claimt, alleen dat het een SATA-300 interface heeft.
In een test, waarbij achter elkaar zo snel mogelijk van de schijf gelezen wordt zoals hier (http://www.anandtech.com/storage/showdoc.aspx?i=3161&p=4) halen beide schijven zo'n 80-110 MB/s en dat ook nog alleen maar aan het begin van de schijf.
De WD-schijf in die test heeft trouwens 16 MB cache, dus mogelijk is het ook niet helemaal dezelfde schijf als die jij bedoeld. De Seagate schijf in die test performed een stukje beter dus ik denk dat we die dan wel kunnen vergelijken met de schijf die jij in gedachte hebt. Dat de leessnelheid afneemt is trouwens ook niet meer dan logisch, aangezien de omtrek in het midden kleiner is dan aan de rand en de rotatie-snelheid over het algemeen constant is (die WD schijf had in de omschrijving een rpm van 5400-7200, maar dat is volgens mij een powersave-optie)

Quote from: Kjelt on August 25, 2008, 11:15:30
Hij heeft een max. seektime van 4ms,  Transfer van HDDplatter to buffer is gelimiteerd aan het RAMgeheugen van 40ns (ik neem per write 64bits (8bytes) dan duurt dit  ongeveer 17ms (12x sneller als sustained datarate van 145MB/s).
Dan neem ik ook nog even ten nadele van deharddisk snelheid aan dat er pas weer gelezen wordt als de buffer leeg is:
Laten we die cijfers eens gebruiken...
track-to-track zoektijden zitten in de orde van 4 ms terwijl zoektijden naar een willekeurig deel van de schijf in de orde van 12-17 ms zitten. (gemiddeld een halve rotatie wachten is met 7200rpm ruim 4ms en dan nog de wat meer dan de 4 ms track-to-track latency)
Volgens jouw gegevens van 145 MB/s leessnelheid vanuit de cache naar de controller is de controller-snelheid dus niet de beperkende factor, aangezien je in de praktijk met achter elkaar lezen amper boven de 100 MB/s komt. Kortom de schijf zelf kan het niet bijbenen. Als je dus achter elkaar een blok data leest heb je aan het eind van een track dus hooguit 4ms vertraging, maar in de praktijk minder.
Als je afwisselend een blok data hier op de schijf leest en het volgende blok daar, dan heb je steeds tussen die blokken data een vertraging van zo'n 12+ ms. Dan gaat het dus puur om de grootte van die afwisselende blokken data. Als je bijv een sec lang blok A leest en een sec lang blok B dan vallen die 12ms in het niet, maar als je dat in blokken van 1 MB (of nog kleiner) doet dan is die delay in verhouding enorm en zakt de gemiddelde leessnelheid dus enorm in.
Die blokgrootte is meestal een OS-keuze, of de keuze van de applicatie.
In de praktijk zie ik de performance behoorlijk inzakken als er meerdere threads tegelijk zijn richting dezelfde schijf.
Het kan best zijn dat die nieuwe 1 TB schijven zelfs in random-access-mode benadering per stroom data de 20+ MB/s makkelijk halen. Mijn grootste schijf in mijn werkbak is 500GB WD RE-2.
In de HTPC heb ik wel een TB-schijf van Samsung zitten, maar daar zit geen gbit ethernet verbinding op dus zinvol testen is dan niet echt mogelijk.

[....]

Quote from: Kjelt on August 25, 2008, 11:15:30
Oftewel de hele bottleneck van de harddisk zit in de sustained dataread van 145MB/s wil de seektime van de harddisk een significante rol gaan spelen dan
zou de sustained SATA datarate in de orde van  4ms voor 32MB zijn oftewel  ruim 8000MB/s !!!!
8000 MB/s haalt je geheugen in de PC niet eens en mogelijk in dual-channel zou je in de buurt kunnen komen terwijl daar ook vaak zo'n 8 chips parallel zitten te werken. Op een schijf zit er vaak maar 1 zo'n chipje, dus ik denk dat daar die 145MB/s vandaan komt, namelijk de snelheid van het cache-geheugen.

Quote from: Kjelt on August 25, 2008, 11:15:30
Als het OS slim zou zijn en voldoende buffers heeft dan zou je dus bijv. bij 2 threads  2x237ms per 2x32MB nodig hebben en kun je op je sloffen de 25MB/s van smb aan.
Mee eens, OS en applicatie hebben veel invloed op de performance.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Kjelt on August 26, 2008, 13:15:52
Het hangt er inderdaad vanaf welke blokgrootte er door het OS bij lezen wordt gekozen EN de blokgrootte van de formatering EN de mate van fragmentatie van de schijf. Echter als je dus kijkt als er gekozen wordt voor het lezen van  de buffergrootte en de blokken redelijk bij elkaar in de buurt liggen dan heb je zeker een factor 10 nog over voor de harddisk zelf een beperking vormt.
Link voor de genoemde technische data van deze harde schijf: (pdf) (http://www.westerndigital.com/en/library/sata/2879-701276.pdf)
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: gijsnoorlander on August 27, 2008, 19:25:29
Trouwens nog een tip voor redelijk rappe file-transfer over je netwerk... Teracopy (http://www.codesector.com/teracopy.php)
Als je gewoon via de verkenner files copy/paste naar een netwerkshare, neemt Teracopy het over.
Over 100Mbit netwerken haal ik dan gemiddeld zo'n 11,5 MB/s (relatief grote files van minstens een paar MB groot), terwijl dat zonder Teracopy zo'n 4-6 MB/s is in de praktijk.
Over WiFi scheelt het ook, al scheelt het niet zo veel als met bedraad (max zo'n 50% van netwerksnelheid, waar dat normaal zo'n 33% is).
Ander groot voordeel is dat je transfer niet gelijk afgebroken wordt als een file niet benaderbaar is oid. en je weer moet gaan opzoeken waar 'ie gebleven is. Ook kun je een transfer weer resumen of pauzeren.
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on August 28, 2008, 20:53:16
teracopy is echt te gek...
ik haal nu 32 MB / S max en gemiddeld ongeveer 30  ;D

thanks voor de tip
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on September 5, 2008, 16:12:33
Sinds kort heb ik een homeserver draaien.
De eerste resultaten zijn echt top 60 MB per seconde via terracopy....
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: Wimpie007 on September 5, 2008, 18:48:43
Bij mij zakt het ineen als een pudding :(
Installeer je het op alle pc's?
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: richardnl on September 5, 2008, 19:01:11
Quote from: Wimpie007 on September  5, 2008, 18:48:43
Bij mij zakt het ineen als een pudding :(
Installeer je het op alle pc's?

Wat bedoel je precies?

Ik heb terracopy op al mijn pc's staan.
De eerste 400 GB kopieren naar de server ging met ruim 60 MB per seconde.
Nu bij de tweede HD van 750 GB zit hij rond de 60 MB
Title: Re: slechte netwerkperformance Gbps netwerk
Post by: This Game on September 6, 2008, 01:06:15
Zet in de task-manager van windows ook eens de kernel-times aan, sommige kaarten zijn vrij cpu-intensief, met name de pci realtek 8169. Met de onboard nvidia's en intel kaarten haal ik makkelijk 50MB/s, maar met die realdrek blijf ie hangen rond de 30. Start ik dan nog een kopie van tussen 2 andere schijven op beide pc's, gaat het totaal wel over de 40, maar zit de cpu steeds dik op 90% op rood/kernel te verstoken.
Onboard-realtek 8168 (die dan waarschijnlijk via de pci-x brug van de chipset gaat) doet het wel netjes.

Wat overigens niet handig is, is dat elke driver/kaart zijn eigen MTU/jumbo frame sizes te hebben. De ene heeft 1500/4500/6000/9000, de ander 2000/3000/4000 of 1MTU, 2MTU etc... (of helemaal niet, als de standaard broadcom drivers voor vista).