Bouw flinke NAS

[Robert T]

Eigenlijk zou je even een TCPdumpje moeten maken van de transacties zodat je de verschillen kan zien in de sessie.

[jvanhambelgium]

Of eens kijken op OS-vlak of je bijvoorbeeld geen I/O waits hebt etc.
Een Win7 is natuurlijk geen "server os" qua kernel/tcp-ip stack tunings en parametrage op dat vlak kan dus wel een beetje verschil geven, echter meestal als je het ding echt begint te gebruiken als server met een hoop clients,sessies,concurrency etc niet gewoon 1 file'tje copieren beginnen de verschillen duidelijker te worden.

Alsof je elke dag continu ISO's van 50Gbytes over & weer moet copieren 

[jaco]

ik kwam erachter dat ik de hdds/pool opzet niet zo slim over de backplanes van de kast verdeeld had. Backplane weg, data onbereikbaar.
Dus wil ik de zaak omzetten. Voor de veiligheid maar "even" data copieren. Dat is iets meer dan 50 GB..

[riwi]

Of eens kijken op OS-vlak of je bijvoorbeeld geen I/O waits hebt etc.
Een Win7 is natuurlijk geen "server os" qua kernel/tcp-ip stack tunings en parametrage op dat vlak kan dus wel een beetje verschil geven, echter meestal als je het ding echt begint te gebruiken als server met een hoop clients,sessies,concurrency etc niet gewoon 1 file'tje copieren beginnen de verschillen duidelijker te worden.

Alsof je elke dag continu ISO's van 50Gbytes over & weer moet copieren 

Volgens mij hanteert win7 grenzen om de desktop gebruiker nog wat performance te geven als er systeem taken zoveel vragen van het systeem.

In top zie ik bij de read inderdaad wel wat "wait". Maar ik vind de 90MB lezen wel prima. Schrijven met 118MB/sec is super. En die richting komt ook het meeste voor.

Niet elke dag... maar wel bijna elke avond

Eigenlijk zou je even een TCPdumpje moeten maken van de transacties zodat je de verschillen kan zien in de sessie.

Tsja als je aan de grenzen van je systeem zit is een tcpdump van 100MB/sec ook niet echt handig want dan slaat de server geheid op tilt. En dan moet ie naast de 100MB/sec data ook nog 100 MB/sec traces weg schrijven. Dan moet je dus werken met een mirrorpoort en een (dikke) trace PC. We gebruiken (op het werk) wel hele dikke HP proliant DL3xx G8 voor trace PC toepassingen. Die halen wel 50x 50MB trace files per minuut. Wat eigenlijk ook maar 45MB/sec is.

[Robert T]

Niet als je snaplength instelt. Eerste trace gewoon even alleen de headers capture -s 96 of 128 uit m'n hoofd. Payload is niet erg relevant tenzij je echt dieper in de trace wilt kijken.

[jaco]

Tja ik gebruik FreeBSD op mijn NAS. voor 1 GE werkt alles ok. Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec (4 GB file vanaf RAM disk)
Vanaf disk volume tussen 300-350 MB/sec.

Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

[jvanhambelgium]

Tja ik gebruik FreeBSD op mijn NAS. voor 1 GE werkt alles ok. Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec (4 GB file vanaf RAM disk)
Vanaf disk volume tussen 300-350 MB/sec.

Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

Heb je ook de nodige tuning gedaan op de /etc/sysctl.conf ?

[jaco]

 Jawel,

https://pleiades.ucsc.edu/hyades/FreeBSD_Network_Tuning

De bovenstaande (niet alles) voor de 10GE op speed te krijgen. Werkt met iperf ok, met tcp window size wat omhoog, 400 MB/sec voor 1 sessie, met meer sessies is de link vol te krijgen.

Daarnaast heb ik nog verschillende dingen voor NFS geprobeerd:

vfs.zfs.prefetch_disable="0"
vfs.zfs.vdev.cache.size="64M"
vfs.zfs.vdev.cache.max="65536"

Dit maakt niet uit (145 MB/sec)

Daarna heb devolgende aanpassing in sysctl.conf gezet:
vfs.zfs.l2arc_write_boost=268435456 # (default 8388608)
vfs.zfs.l2arc_write_max=268435456 # (default 8388608)

Geen verbertering.

Als laatste in de loader.conf:
vfs.zfs.vdev.min_pending="1"
vfs.zfs.vdev.max_pending="1"

Dan is de overdracht snelheid rond de 143 MB/sec
Die laatste weer naar de originele waarden gezeg.

Dus nu rond de 145 MB/sec.
Zal weer die andere dingen terugzetten. Dan wordt het weer rond de 150MB/sec neem ik aan.

[riwi]

Hoe doe je de copy dan van de ene NAS naar de andere?

Je mount mbv NFS de pool van nas1 op een mountpoint van nas2.
En dan ga je via commandline op nas2 staan en doet een cp commando ? Of een andere manier?
Heeft ZFSguru ook een soort filemanager ingebouwd in de GUI ?


Ik vraag dat omdat als ik van NAS1 naar NAS2 kopieer mbv mijn windows PC (met SMB) dat dan de datastroom ook via mijn windows PC gaat lopen.  SMB v3 kent wel een mode "server side copy", maar dat werkt alleen binnen 1 SMB server en dezelfde share en alleen als je windows 8 gebruikt of een windows filecopy tool als robocopy. Voor NFS denk ik dat remote copy niet zomaar mogelijk is.

[jaco]

ik gebruik Midnight Commander voor copy.
En ja ik mount een file systeem van server 3 op een directory van server 2.
Dan in midnight commander heb je 2 delen, je navigeert naar de gemounte directory en andere beeldhelft ga je naar de doel directory en drukt de copy knop. (Je moet wel de files selecteren die je wilt copieren)
Dat is zeer geschikt voor simpele zielen zoals ik

[riwi]

Ok dan gaat het definitief niet via de windows PC.

[jaco]

Ik zou ook een snapshot kunnen maken en die met zfs send en receive kunnen doen.
Maar mijn eerste poging koste me 11 tb aan data (user error)

[Kjelt]

Loop je niet tegen de max I/O van je hdd aan? Of draai je raid1 ofzo?

[riwi]

Loop je niet tegen de max I/O van je hdd aan? Of draai je raid1 ofzo?

raidz2 met 10 schijven doet Jaco. ZFS raidz2 is een soort raid6 maar dan anders

[jaco]

Schijven zijn het issue niet:
Bron systeem:

zpool iostat -v 1

Code Select Expand


                            capacity     operations    bandwidth
pool                     alloc   free   read  write   read  write
-----------------------  -----  -----  -----  -----  -----  -----
bootski3                 1.93G  9.95G      0      0      0      0
  gpt/Bootski-disk1      1.93G  9.95G      0      0      0      0
-----------------------  -----  -----  -----  -----  -----  -----
tank5                    16.2T  20.1T  1.22K      0   155M      0
  raidz2                 16.2T  20.1T  1.22K      0   155M      0
    gpt/7K4000_PAH2558S      -      -    194      0  18.6M      0
    gpt/7K4000_PAH2KW1S      -      -    193      0  18.6M      0
    gpt/7K4000_PAH35T7S      -      -    201      0  18.6M      0
    gpt/7K4000_PAGYN28S      -      -    201      0  18.6M      0
    gpt/7K4000_PAGW6JRW      -      -    200      0  18.7M      0
    gpt/7K4000_PAH2HHKS      -      -    206      0  18.6M      0
    gpt/7K4000_PAH2GB9S      -      -    201      0  18.7M      0
    gpt/7K4000_PAH2AU1S      -      -    206      0  18.6M      0
    gpt/7K4000_PAH2DBPS      -      -    200      0  18.6M      0
    gpt/7K4000_PAH2HGPS      -      -    205      0  18.6M      0
-----------------------  -----  -----  -----  -----  -----  -----


Ze kunnen per stuk 170MB/sec doen op gunstige sectoren, en nog 100 op de slechtste denk ik..

[dennism]

Ik heb in het verleden iets gezien als dit met zfs op FreeBSB i.c.m NFS en ESXI. Probleem zat hem daar in Sync writes die werden afgedwongen door ESXI. Writes Async laten uitvoeren loste het probleem op, maar was door ESXI niet supported dus voor mij destijds geen oplossing, daarna op iscsi gegaan ipv NFS en geen issues meer, Misschien dat jouw BSD naar BSD copy ook ergens sync writes afdwingt?

[riwi]

Dat kan je setten met : zfs set sync=disable tank5

http://www.oug.org/files/presentations/zfszilsynchronicity.pdf

Bij mij staat het nog default :

Code Select Expand

# zfs get sync pool1 pool3 pool4
NAME   PROPERTY  VALUE     SOURCE
pool1  sync      standard  default
pool3  sync      standard  default
pool4  sync      standard  default


[jaco]

Je gaat niet sync uitzetten op ZFS.
Dan moet je een SLOG device (SSD) toevoegen om meer iops te halen.

wellicht is dat wel de grens waar ik tegen aan loop.

Als ik binnen een server van pool naar pool copier haal ik wel 250-270 MB/sec, dus het lijkt niet een iops grens naar de SLOG op de hdd te zijn (ik heb geen dedicated SLOG device)

[jaco]

iperf tussen de 2 servers:

Code Select Expand


[root@zfsguru2 /]# iperf -c 192.168.3.153 -P 1 -i 1 -p 5001 -f M -t 10
------------------------------------------------------------
Client connecting to 192.168.3.153, TCP port 5001
TCP window size: 2.01 MByte (default)
------------------------------------------------------------
[  3] local 192.168.3.152 port 50742 connected with 192.168.3.153 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec   988 MBytes   988 MBytes/sec
[  3]  1.0- 2.0 sec  1052 MBytes  1052 MBytes/sec
[  3]  2.0- 3.0 sec  1135 MBytes  1135 MBytes/sec
[  3]  3.0- 4.0 sec  1183 MBytes  1183 MBytes/sec
[  3]  4.0- 5.0 sec  1075 MBytes  1075 MBytes/sec
[  3]  5.0- 6.0 sec  1181 MBytes  1181 MBytes/sec
[  3]  6.0- 7.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  7.0- 8.0 sec  1179 MBytes  1179 MBytes/sec
[  3]  8.0- 9.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  9.0-10.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  0.0-10.0 sec  11346 MBytes  1134 MBytes/sec


[Kjelt]

Tja als je dan kijkt naar een off the shelf NAS product met 10Gbe interface van Synology voor 1100 euro te koop, die claimen 1.635.12 MB/s  read en rond de 750 MB/s write doorvoer. Dan denk ik dat ik niet zelf ga klooien maar gewoon zo'n doos aanschaf als ik er aan toe ben.

https://www.synology.com/nl-nl/products/DS2015xs#overview

[jaco]

Tja op papier.. Als ik 2x 10GE bundel kom ik wellicht ook wel tot 2000 MB/sec met iperf.
Maar .. Wat heb je er aan, tenzij je 10-20 clients hebt die tegelijk veel data willen. Maar dan is het afwachten of je disk systeem die data ook kan opleveren.
Uitbreiden van synology kost ook de hoofdprijs met 1000€ voor een 1215 erbij die dan 12 disks aan kan. Samen met de 8 uit de nas zijn dat er 20 samen. Ben je 2100€ kwijt.
Dat kan voor de helft met zelfbouw.

[Kjelt]

Tja op papier.. Als ik 2x 10GE bundel kom ik wellicht ook wel tot 2000 MB/sec met iperf.....
Dat kan voor de helft met zelfbouw.

Dan snap ik je eerdere opmerking wellicht verkeerd:

Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec
Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het 70% zijn dan is het nog steeds 7x sneller en dat voor een kant en klare doos.
Toch niet slecht zou ik zeggen. En ja als je in de praktijk vanaf een conventionele hdd leest heb je er nu weinig aan, als je over een tijdje deze jongen in je pc hebt zitten:
http://nl.hardware.info/reviews/6008/intel-ssd-750-12tb-review-met-ruime-afstand-de-snelste-consumenten-ssd-ooit!
of zelfs beter nog een betaalbare versie van deze pro met read van 1600MB/s:
http://nl.hardware.info/reviews/6000/pro-intel-p3700-400gb-pcie-ssd-review-eerste-ervaring-met-nvme-overtuigt
dan wordt het andere koek 

[riwi]

Dan snap ik je eerdere opmerking wellicht verkeerd:Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het

Het probleem is dat de theoretische performance vaak niet te vergelijken is met de real world performance.
Die 10Gbe bundelen is natuurlijk onzin, dat is hooguit voor redundancy/fail-over interessant. Je hebt in de praktijk al moeite genoeg om de 10Gbe vol te krijgen laat staan 20Gbe.
Synology rekent met 8 schijven en 1600MB/sec dus met 200 MB/sec per schijf en nul overhead. Yeah right.. 

De Synology's zijn leuke dingen hoor. Mooie features en mogelijkheden, leuk als je niet verder dan 4,  8 of 12 schijven wil. Maar met zelfbouw kan je veel goedkoper naar 20 of zelfs 30 schijven. En ik denk dat de zelfbouw nas mensen het ook als hobby zien. Dus kant-en-klaar kopen is een beetje vals spelen.

[riwi]

Je gaat niet sync uitzetten op ZFS.
Dan moet je een SLOG device (SSD) toevoegen om meer iops te halen.

Je kan het als test proberen toch? Je kan het gewoon weer aan zetten naderhand.

Merk je nog verschil of je de mc op NAS1 draait en van NAS2 naar NAS1 kopieert (NFS read, local write)
Vergeleken met mc op NAS1 en van NAS1 naar NAS2 kopieren (local read, NFS write).

Ik heb zelf (onder linux) minder goede resultaten met mc als ik vergelijk met het onder KDE met grafische tool kopieren. Dwz mc blijft bij mij op 200MB/sec en grafisch onder KDE met Dolphin filemanager kom ik tot 400-500MB/sec bij kopieren van pool naar pool binnen de PC.

[jaco]

Pool naar pool met MC is 250 MB/sec

Interesante gedachte om de copy de andere kant op te doen inderdaad, dat ga ik proberen.
Ik moet nu server 1 leegmaken, dat is 48 TB, maar dat doe ik niet met 150 MB/sec.

Volgende oplossing is dan extender in server 1 met sff-8088 kabel naar server 3 en dan een local copy.

Ik heb geen grafische desktop standaard, maar kan die wel installeren. Ik heb een kvm switch waar alle servers aan hangen, dus dat moet lukken.