Bouw flinke NAS

[Moondust]

Het OS heb ik nog geen knoop over doorgehakt. ZFSGuru is zeker een van de kanshebbers.

[jaco]

Ik kan het je aanraden, gebruik het ook en werkte vanaf de 1e install zoals verwacht.
Gewoon in de gui samba support aanzetten, mediaplayer laten zoeken en hupla verbinding. Niks geen gezeur met userids en passworden.

[Moondust]

Ik heb nu ZFSGuru draaien, maar het installeren van het OS op een USB stick is een drama. Uren mee bezig geweest, maar het lukt echt niet. Dus nu Intel 320 40GB in bestelling, daarmee gaat het wel lukken. De performance op de livecd is niet zo heel geweldig, omdat er allerlei beperkingen in zitten. Vooral het geheugengebruik is zeer beperkt.

De config wordt dan:
Intel Pentium G3420 Boxed
Supermicro X10SL7-F
10 x WD Red SATA 6 Gb/s WD40EFRX, 4TB
Silverstone Grandia GD08B
5 x Coolink Swif 1201 HDB Bearing 1200RPM, 120mm
2 x Samsung M391B1G73BH0-CK0 8GB ECC RAM
be quiet! Straight Power E9 450W
Intel 320 40GB

[jaco]

Met een SSD is de install een eitje.
Gewoon alleen de SSD en de DVD drive aansluiten, dan kun je maar 1 device kiezen, daar maak je een pool op aan waar het system op gaat installeren.
Afhankelijk wat je wilt heb je geen 40 GB nodig voor het OS, 10 is wel genoeg volgens mij, maar lees dat nog even na.
Dan zou je ook nog L2ARc van 20 GB kunnen maken wellicht. (kan later)

Je hdds voor je storage sluit je aan als je al je OS hebt geinstalleerd, dan raak je niet in de war en komt je zfsguru install niet op de storage pool (dat kan namelijk ook)

[Moondust]

Ja, ik heb inmiddels al wat ervaring met ZFSguru opgedaan en weet heo het werkt met de pools. Zodra de SSD binnen is ga ik het OS daarop installeren. Ik verwacht geen problemen. De support voor USB sticks laat alleen te wensen over. Overigens vraag ik me af of de L2ARC op de SSD wel zin heeft. Er staan voornamelijk grote bestanden op de pool. Maar zoals je zegt kan ik dat later altijd nog instellen. De OS-installatie neemt overigens ruim minder dan 1GB in beslag. Dus 5GB voor het OS moet genoeg zijn. Dan kan ik eventueel later de rest gebruiken voor de L2ARC. Of kunnen het OS en de L2ARC op dezelfde pool staan?

[riwi]

Volgens mij kan de L2ARC geen deel uitmaken van de pool. En ZIL zou ik niet aan beginnen.
Je kan L2ARC wel toevoegen en verwijderen achteraf. Dus je kan het testen. Ook heb je nog meer geheugen nodig als je L2ARC gebruikt.
Het OS kan wel op de pool worden geinstalleerd bij zfsguru. Ik wilde dat zelf niet want als er dan een probleem is met je pool kan je gelijk niet meer booten zonder de usb stick of cd.

Ik gebruik ZFS-on-Linux. Dat is minder 'klaar' dan ZFSGuru of ZFS op OpenIndiana etc. Maar ZoL werkt verder prima en erg handig omdat je het gewoon op een bestaande 64 bits linux server kan gebruiken. Ik heb 3 pools van 10 schijven nu. Om dezelfde reden als Jaco, ivm powerdown en ook omdat je dan je data over 3 pools verdeelt. Dus als er iets mis gaat ben je maar 33% kwijt Ik zet mijn machine met crontab uit 's nachts.

34TB vrij nu 50% ongeveer. storage stats pagina

[Moondust]

Een aparte ZIL begin ik niet aan idd, is niet de moeite waard. De huidige ZIL is opgenomen in de pool. De L2ARC kan je volgens mij niet in de pool opnemen idd. Dat zou ook niet logisch zijn, want de L2ARC is juist bedoeld om de pool te versnellen en dat lukt natuurlijk niet met de pool zelf. Ik heb nu een 40GB Intel 320 (met capacitor om dataverlies bij stroomuitval te voorkomen) met 2 partities: één van 4GB voor het OS en één van 20GB voor de L2ARC. De resterende 13GB is overprovisioning. Installatie in ZFSguru was een eitje, al moest ik sommige keuzemogelijkheden wel even googlen om te zien wat ik het beste kon kiezen. De L2ARC heb ik nog niet echt goed getest, evenals de datapool, maar alles loopt nu als een zonnetje. Al moet ik zeggen dat de performance bij de eerste test nog slecht was (45MB/sec), maar dat was blijkbaar een opstartdingetje, want nu trekt hij direct de Gbit vol. Scrubs wil ik maandelijks automatisch laten uitvoeren, maar daar moet ik me nog even in verdiepen. Voor nu ben ik er tevreden mee dat alles stabiel draait. Was toch een experimentje om met ZFS te beginnen. Enige wat een beetje tegenviel was de totale schijfruimte. Die is 27,1TB terwijl ik 3,6TB x 8 = 28,8 TB had verwacht. Blijkbaar gaat er nog ongeveer 5-6% verloren aan overhead. Ik heb nu nog een kleine 6TB over dus ik moet nodig weer wat films en series gaan kijken zodat ik ze daarna weg kan gooien. ;-) Men zegt dat je voor de performance 20% van je pool vrij moet houden, maar ik vermoed dat dat een beetje een achterhaald advies is nu de schijven zoveel groter zijn. Ik bedoel, zelfs 100-200GB zou toch voldoende buffer moeten zijn om de snelheid niet in te laten kakken. Hoe dan ook, ik ben tot op heden blij dat ik deze stap heb genomen. Later nog wat meer testjes doen.

[riwi]

Ja die 6 - 9% slack space was ik ook tegen aan gelopen. Dat is wel jammer.

Wat ZFS op den duur langzamer maakt is fragmentatie. En als de pool/vdev voller laat lopen schijn je meer fragmentatie te krijgen.

[Moondust]

Is er nog een manier om te defragmenteren? Doet mer wel een beetje denken aan Windows 98, maar als het helpt de snelheid erin te houden...

[riwi]

bij zol is er geen defragmentatie methode volgens mij

[Moondust]

Nu ik de fileserver zo een tijdje in gebruik heb valt me wel op dat als ik voor bewerking data van de fileserver naar mijn desktop haal en deze vervolgens weer voor opslag naar de fileserver stuur de gbit verbinding bij lange na niet vol gaat. Up- en download blijven hangen rond de 30MB/sec. Blijkbaar is tegelijk lezen en schrijven niet bevorderlijk voor de snelheid. Ik had hier meer vna verwacht. Hopelijk ligt het aan bepaalde instellingen en kan ik dit nog verder tunen. Bij alleen bestandsoverdracht gaat de gbit wel zo goed als vol.

[Robbo]

@moondust

Ik heb plannen om van unraid over te stappen naar zfsguru met het zelfde board, geheugen en G processor (3258 in mijn geval).   
Hoe draait het bij nu jou ? 

[jaco]

Ja die 6 - 9% slack space was ik ook tegen aan gelopen. Dat is wel jammer.

Wat ZFS op den duur langzamer maakt is fragmentatie. En als de pool/vdev voller laat lopen schijn je meer fragmentatie te krijgen.

Volle pool wordt helaas erg langzaam, laatste TB of zo maar niet vol zetten..

[Robbo]

Ik lees dat velen er voor kiezen om hun ZFS implementatie virtueel te draaien op ESXI.    Ik snap hier de voordelen van, maar met extra laag software zie ik eerder de nadelen.

In mijn geval zalmijn setup dan enkel en alleen ZFSGuru draaien.   Heeft het dan uberhaupt nog wel nut ?

[Robert T]

Als je hardware setup dedicated is voor een NAS heeft het geen zin te virtualizeren. Gebruik zelf wel ESXi maar dat is omdat ik meerdere servers naast elkaar wil draaien waaronder een NAS.

[jaco]

ik heb het geprobeerd op een dual core Celeron op 1.2 Ghz met 16 GB ram. Dikke stroop zo langzaam met een unbunto en een windows server. Weinig throughput voor ahum file exchange..
Kaal doet die machine 4x zo veel throughput met windows.

Volgens mij heb je VT-D nodig om een hele controller aan je NAS door te zetten en niet op software te draaien.

Er komt overigens ook een virualiseer mogelijkheid op FreeBSD. Dan doe je het wel op een andere level (geen Dom0), maar of het veel uit maakt ?

[Robert T]

Yup, Heb zelf een mainboard gekocht (volgens mij ASrock) die dat ondersteunt en m'n Areca kaart direct aan een VM gehangen. Dit is niet een feature op elk mainboard dus voor de mensen die willen virtualiseren, wel even goed opletten als je hardware koopt.

Volgens mij heb je VT-D nodig om een hele controller aan je NAS door te zetten en niet op software te draaien.

[riwi]

Je hebt een rijtje extra hardware eisen vanwege de virtualisatie en de compatibiliteit met ESXi

Als je zoals Jaco zegt niet VT-d hebt kan je niet de sata controller aan ESXi doorgeven en dan verlies je veel performance. En VT-d moet ondersteund worden door de CPU, de chipset en door het moederbord (alle 3 dus). Ook vind ik het lastig dat je per controller moet doorgeven aan ESXi en niet per sata interface. Voordelen zijn dat je zowel voor virtualisatie en ZFS beide veel geheugen nodig hebt en dat kan dan in 1 machine. Kwa performance zijn er op z'n gunstigste alleen "geen nadelen". Voordelen zijn er niet echt, behalve dat je een gevirtualiseerde machine heel makkelijk kan overzetten naar een andere host. Maar met ZFSguru installeer je dat net zo eenvoudig op die 2de host.

Voor providers/operators is het handig omdat ze host platforms hebben op meerdere locaties en dan hun VM's gemakkelijk van een locatie naar een andere kunnen verhuizen bij calamiteiten of capaciteits problemen.

[Moondust]

Ik heb plannen om van unraid over te stappen naar zfsguru met het zelfde board, geheugen en G processor (3258 in mijn geval).   
Hoe draait het bij nu jou ?

Beter laat reageren dan helemaal nooit, nietwaar? 

Ik heb ZFSguru een paar maanden gedraaid en was het toen zat. Ik vond het te lastig om me te fverdiepen in een nieuw OS. En ook al is de basis setup van ZFSguru redelijk simpel, je moet toch nog wel het eea tweaken. Dat lukte me niet goed vaak en zodra ik niet meer wist wat te doen kwam ik vast te zitten. Google kon me vaak ook niet verder helpen. Ik had geen zin meer om telkens een beroep te doen om ZFSguru experts. De throughput was overigens ook erg onstabiel. Soms 30 MB/sec, dan wer 105 MB/sec. Tot slot ervaarde ik weinig vrijheid. Dat is deels een gebrek aan ZFSguru kennis, deels een gebrek aan software en deels de beperkingen van het OS zelf. De dreigende fragmentatie vond ik overigens ook geen prettig vooruitzicht, omdat defragmenteren onmogelijk was. Kortom, je machine wordt alleen maar langzamer.

Dus.....uiteindelijk heb ik de server omgebouwd naar een Windows 7 machine met hardwarematige RAID. Ik had nog een Areca kaart liggen. Naderhand heb ik nog het eea getweakt om de koeling aanvaardbaar stil te krijgen. Zo wordt de RAID-kaart semipassief gekoeld (met een koelblokje en een casefan erop). Al met al ben ik zeer tervreden. Ik ken Windows 7 van haver tot gort en ervaar veel vrijheid. Ik kan eindelijk alles doen wat ik wil. :-)

[Robbo]

Het draait bij mij inmiddels prima.  De mogelijkheid om enkel te kunnen installeren vanaf een LiveCD was problematisch als je geen SATA DVD speler hebt, maar uiteindelijk via een donor PC toch gelukt.  Voor de rest is het allemaal goed te doen. En het performed ook prima. Enige probleem nu is dat Gb Lan te beperkt is 

[Raymond187]

FIber NICs. Kan ff niet op de naam komen, maar die gaan toch tot 10GB 

[Kjelt]

FIber NICs. Kan ff niet op de naam komen, maar die gaan toch tot 10GB

10Gb/s 

[Robert T]

Lijkt me idd stug dat ze stoppen na 10GB, ja 

[riwi]

Bij de AMSiX leveren ze uit met modules van 100Gbe Dat is al een aantal jaren beschikbaar (sinds 2011).

https://ams-ix.net/newsitems/29

http://en.wikipedia.org/wiki/100_Gigabit_Ethernet

[Raymond187]

Lijkt me idd stug dat ze stoppen na 10GB, ja 

Dag quota