Bouw flinke NAS

[jaco]

Dan snap ik je eerdere opmerking wellicht verkeerd:Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het 70% zijn dan is het nog steeds 7x sneller en dat voor een kant en klare doos.
Toch niet slecht zou ik zeggen.

Wat wel jammer is, is dat je het bij Synology met raid-5 of 6 moet doen, en een ext4 file systeem. Helaas beide zwaar achterhaald.
Ze schijnen wel met BTFRS bezig te zijn, dan wordt het interessanter om wat op op te slaan, heb je geen kans op bitrot meer.

[Kjelt]

De Synology's zijn leuke dingen hoor. Mooie features en mogelijkheden, leuk als je niet verder dan 4,  8 of 12 schijven wil.
Maar met zelfbouw kan je veel goedkoper naar 20 of zelfs 30 schijven.

Ik vraag me wel serieus af waar de grens van betrouwbaarheid ligt.
Mijn onderbuik gevoel zegt me dat de kans dat er binnen zeer korte tijd meerdere schijven kapot gaan als je veel meer schijven in een cluster hebt groter wordt.
Dan zou ook de redundantie van het systeem groter moeten zijn, dus ik vermoed des te meer schijven in een cluster des te hoger de redundantie des te lager het netto opslag rendement.
Dus ergens zal er een optimale clustergrootte zijn per NAS lijkt mij. Zal toch wel uitgezocht zijn ooit, iemand enig idee waar white papers hierover te vinden zijn?

[riwi]

Ik vraag me wel serieus af waar de grens van betrouwbaarheid ligt.
Mijn onderbuik gevoel zegt me dat de kans dat er binnen zeer korte tijd meerdere schijven kapot gaan als je veel meer schijven in een cluster hebt groter wordt.
Dan zou ook de redundantie van het systeem groter moeten zijn, dus ik vermoed des te meer schijven in een cluster des te hoger de redundantie des te lager het netto opslag rendement.
Dus ergens zal er een optimale clustergrootte zijn per NAS lijkt mij. Zal toch wel uitgezocht zijn ooit, iemand enig idee waar white papers hierover te vinden zijn?

Je hoeft niet 30 schijven in 1 volume te zetten. Je kan meerdere volumes maken. Mijn 30 schijven zitten in 3 losse pools, maar wel in 1 nas. Dat kan je in een Synology ook doen.

Whitepapers niet echt, dat is afhankelijk van het raid systeem, de toepassing, het doel, hoe kritisch de data is die erop staat, en de kans op een disk failure.
Met ZFS kan je kiezen voor raidz1, raidz2 en raidz3 (met 1, 2 of 3 redundante schijven), of je kan mirrors maken of zelfs 3-way mirrors. daar maak je dan een vdev mee. En je kan meerdere (oneindig veel)  vdev's in een pool zetten. Maar als je 1 vdev verliest ben je de pool kwijt. Daarom kies ik voor meerdere pools met 1 vdev per pool.
Dimensionering van bv. een raidz2 vdev zijn veel meningen over. Sommigen zeggen dat 4 data disk + 2 redundant disks gewenst is. Ik doe zelf 8 data + 2 red. schijven. Ik heb ook al printouts gezien van mensen die 16+2 schijven in raidz2 doen. De 2^n+2 komt voort uit de manier waarop ZFS de data verspreid over de disks in blokken van 128kB.
Ik las iemand op de ZoL mailinglist die een server bouwde met 240x6T schijven. Op de vraag hoe die dat ging backuppen was het antwoord dat ie er 2 bouwde Ik geloof dat die man voor vdevs van 16+3 ging met raidz3, maar wel alles in 1 pool.

Als je raid5 en raid6 bekijkt is 4+1 voor raid5 wel de max. en 8+2 voor raid6 denk ik. Bij raid5/6 moet bij een restore van een disk de volledige dataset doorlopen worden om te rebuilden.

De term cluster wordt meer gebruikt voor oplossingen met meerdere NAS servers. Dan krijg je dingen als Glusterfs. Een filesysteem dat meerdere servers overspant. http://en.wikipedia.org/wiki/GlusterFS

[jaco]

10 disk raid-z2 wordt wel als optimaal gezien met de verhouding tussen verlies aan redundantie en betrouwbaarheid heb ik meerdere malen gelezen. Dus daar ben ik ook maar voor gegaan.
Past ook mooi in gemiddelde server cases met 20 of 24 slots.
Op tweakers is er inderdaad iemand die 18 en 6 disken in vdev's heeft gestopt. Dat zal zijn om alle hdd posities vol te krijgen. Verder zal de read snelheid beter worden met een 18 disk raid-z2. Je krijgt niet meer iops, dus echte performance winsts is er wellicht niet voor veel toepassingen.

[jaco]

Net maar nog een mount gemaakt en nog een copy process gestart. Die start ook op met dezelfde snelheid en de anderezakt niet in.
Dus samen nu 290-300 MB/sec

[Kjelt]

Zojuist een test uit 2012 (dus resultaten zullen iets beter zijn vandaag de dag) gelezen van een NAS met 10Gbe interface.
Ook hier typerend dat het schrijven 2x sneller gaat dan het lezen, maar ik vermoed dat dit dus volledig gecached wordt dus zodra je out of RAM raakt zal het wel instorten.
Inderdaad vallen de resultaten wat tegen, afhankelijk van RAID type rond de 750/820 MB/s voor schrijven en 420/480 MB/s voor lezen.
Dus 6,5Gb/s schrijven en 3,8Gb/s voor lezen.
Nu hertesten met SSD's 

[Kjelt]

Oeps vergeten de URL toe te voegen:
http://www.techspot.com/review/528-nas-10gbe-performance/page7.html

[jaco]

Jammer dat ze niet beter beschrijven hoe ze testen.
Ik kan ook een youtube linken waarin een freebsd nas 10GBE vol pompt, maar dat is dan vanuit een cache uit ram (wat zfs standaard doet)
Als je met 6GB iso files test zijn ze goed in ram te cachen..

[Kjelt]

Klopt dat cache effect is volgens mij de delta tussen het schrijven (upload) en lezen (download) want zonder cache zou schrijven altijd langzamer zijn dan lezen.

[jaco]

Ik heb wat testen gedaan die iemand op tweakers voor me opgesteld heeft.
Iperf: 965 MB/sec
Copy via mbuffer van gegenereerde data: 1073 MiB/sec
Lezen vanuit de pool op de nas: 1.11GB/sec

Dus theoretisch kan ik met ZFS send en receive via mbuffer 1 GB per seconde over het netwerk  krijgen.
De laatste test liep spaak omdat ik een pool aan moet maken op doel systeem, en daar wil ik wat meer van weten. Als het met die snelheid loopt is het in een paar uur klaar..

[riwi]

Da's goed nieuws Dan heb je de 10 Gbit verbinding niet voor niets 

Ik las in de ZoL commits en pull requests dat ze die "mbuffer" feature willen inbouwen in zfs send en receive. Of in ieder geval dat het niet meer nodig is om via mbuffer te gaan.

[jaco]

Het loopt nu goed.

Ontvangend system:

receiving full stream of tank5/share@2015-04-09 into pool1/share/share@2015-04-09
in @ 1023 MiB/s, out @ 1027 MiB/s,  614 GiB total, buffer   0% full


zendend system:
[root@zfsguru3 /home/ssh]# zfs send -R tank5/share@2015-04-09 | mbuffer -4 -s 128k -m 1G -O 192.168.3.151:5001
in @  989 MiB/s, out @  989 MiB/s,  502 GiB total, buffer 100% full

Snelheden schommelen tussen de 750-1120 MiB/sec 

Ofwel 4 TB na 90 minute nu.

Update: complete pool copy loopt tussen de 850-880 MB/sec

[Robbo]

Gaaf

[Kjelt]

 Mooi werk. Ik heb sinds vanmiddag ook een 10Gb/s optische backbone tussen mijn zolderkamer en ht ruimte. Ik heb alleen niet de mogelijkheid het te testen want ik heb nog geen PC met 10Gbs nic. 
Mijn eenvoudige Synology NAS van de week eens via link aggregatie aansluiten.