Bouw flinke NAS

[Moondust]

Momenteel heb ik een RAID5-array (Areca) met 8 x 3TB in mijn werkpc zitten, maar wil mijn werkpc scheiden van de storage (inclusief ftp, heel veel torrents, usenet, etc.). Daarnaast wil ik op termijn ook een gameserver (DayZ standalone o.i.d.) gaan draaien en wie weet wat allemaal nog meer. Daarom het plan om een flink uit de kluiten gewassen server te bouwen in een 3U/4U case en deze dan te virtualiseren op basis van mijn behoeften. Het belangrijkste is om de storage goed op orde te krijgen (tenminste 8 x 4TB). Ik heb de klok horen luiden over ZFS, ESXi, VMWare, VT-d, HBA's, backplanes, etc. maar ik heb geen idee waar de klepels hangen. Ik mis het overzicht van de mogelijkheden om een goede keuze te kunnen maken, ondanks dat ik me al best wel wat heb ingelezen. Ik ben al wel lang thuis in consumentenhardware en het bouwen van huis-tuin-en-keuken-PC's, maar op het gebied van serieuze servers gaan mijn oren al snel klapperen.

Heel kort door de bocht is mijn vraag of jullie mij kunnen adviseren bij de samenstelling en bouw. Waar moet ik aan denken? Welke keuzes heb ik? Kennen jullie goeie guides waar ik inspiratie uit kan putten? Het budget is afhankelijk van wat de oplossing biedt. De insteek is goed en degelijk spul neer te zetten en dat mag best wat kosten. Kan ik met consumentenhardware uit de voeten of heeft echte serverhardware toch wel de voorkeur?

Ik zit sowieso te denken aan 16 hotswappable bays, dan heb ik ruim voldoende uitbreidingsmogelijkheden voor de toekomst.

[weust]

Als je geen idee hebt hoe een hypervisor werkt, dan zou ik er niet aan gaan beginnen.
Ik werk zelf, vanuit mijn beroep, met Hyper-V 2012 en heb in het verleden met ESX 3.5 gewerkt.

Zoals je zelf al aangeeft weet je niet waar de klepel hangt.
Zolang je niet het inzicht hebt in virtualisatie, bouw dan servers die specifiek aan de behoefte doen van wat je er mee wilt doen.
Die zijn simpel te bouwen, en stil. Zo'n bak die jij wilt bouwen is dat namelijk vooral niet.

Je noemt een aantal dingen, ook dubbel, en mist een van de belangrijkste dingen.
Het netwerk. Als je je daar op inleest, en dan vooral hoe je dingen best practice zou moeten aanpakken, dan gaan je oren helemaal klapperen.
Je gaat dan voorbij aan je server, en komt terecht in netwerkland. Met front- en back-end firewalls. DMZ omgevingen.

En wat doe je als je server uitvalt? Dan heb je niks meer. Wilt je dus redundant gaan draaien met een cluster aan servers? Dan zul je je storage al in een NAS of SAN omgeving moeten gaan draaien.
En dan ook bij voorkeur in een apart VLAN.

Waar jij nu staat, met jou gebrek aan kennis, ben je helemaal aan het begin.
Bepaal eerst wat je wilt.

[Moondust]

Hallo Weust,

Jouw reactie maakt voor mij duidelijk dat ik echt niet toe ben aan een virtualisatieserver. De meeste technische termen die je noemt zeggen me niets. Niet de weg voor mij dus. Daarvoor dank.

Wat ik wil is een server voor:
- opslag (min. 8 x 4TB met mogelijkheid uit te breiden)
- draaien van veel torrents
- downloaden via usenet (incl. rarren en parren)
- ftp-server draaien

Ik vind het belangrijk dat de server krachtig, stabiel, duurzaam, stil en (relatief) energiezuinig is. Stroomredundantie hoeft van mij niet, maar ik wil natuurlijk geen data kwijt zijn als de stroom een keer uitvalt. Volgens mij kom ik dan al snel uit op echte server hardware. Met een mooi moederbord van Supermicro, een zuinige maar krachtige Intel Xeon processor, 8GB ECC geheugen, 8 x 4TB WD Red en een Samsung 840 Pro SSD kom ik denk ik al een heel eind.

Zou een dergelijke server met voornoemde taken tegelijk ook als gameserver dienst kunnen doen door b.v. de resources goed te prioriteren? Kan een dual cpu systeem daar nog iets in betekenen? Ik hoef niet morgen een gameserver te hebben, maar in de loop van het jaar wil ik toch wel iets gaan inrichten en zet daarvoor graag hoog in. En als ik de gecombineerde hardware alvast heb draaien, dan is dat wel zo makkelijk. Maar goed, een aparte gameserver behoort ook tot de mogelijkheden. Wellicht is het aan te raden om voor verschillende taken toch netjes e.e.a. gescheiden te houden.

Dat gezegd hebbende, ben ik op zoek naar een globaal beeld van de benodigde hardware en software voor tenminste de opslag-torrent-usenet-ftp-server. ZFS lijkt me de goede weg en heb ook wel zin dat te leren kennen. Qua OS ben ik bekend met Windows, maar er zijn voor voornoemde taken vast betere en goedkopere opties. Ik sta open voor suggesties.

[weust]

Ik ga er later even op reageren.
Volgens denk je namelijk veel te moeilijk

[jvanhambelgium]

Inderdaad. Wat is er mis met een server met deftige RAID controller die een aantal disken gaat inregelen en presenteren aan je OS als een dikke schijf...
Hardware RAID hoeft niet, een hoop schijven met ZFS kan ook.
Vergeet dan wel Windows ... ZFS=Linux & co besturingsystemen.

Ik draai ook gewoon alles samen ; Logitech Media Server, Plex DLNA server, ftp/nfs/smb services, Deluge torrent en alles via webbrowser beheerbaar. Oerstabiel.

[Moondust]

Ik heb talent voor te moeilijk denken, dus dat verbaast me niets. 

Waarom ik af wil van de hardwarematige RAID is omdat RAID5 en in zekere zin ook RAID6 verouderde technieken zijn die risico's opleveren die groter worden naarmate de schijven groter worden. ZFS beschermt je data veel slimmer en beter waardoor je minder risico's loopt data te verliezen.
Zie onderstaande artikelen.

http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

http://www.zdnet.com/blog/storage/why-raid-6-stops-working-in-2019/805

Wat betreft het samen draaien, daar zie ik niet tegenop, maar een NAS combineren met een gameserver die goed moet presteren is wellicht niet erg slim. Maar ik weet te weinig van de mogelijkheden om resources toe te wijzen aan processen. Wellicht is het met een dikke Xeon helemaal geen probleem.

[jvanhambelgium]

Tja, begin je dan maar alvast in te werken in de wondere wereld van Linux als je echt met ZFS aan de slag wil gaan zodat je weet waar je mee bezig bent.
Die Linux kennis kan je dan ook gebruiken om alle andere zaken erop te zwieren ; ftp/smb/torrent/news/dlna/whatever...

Met tools als "Webmin" kan je héél veel doen allemaal netjes in een webbrowser, maar dan nog moet je basics van Linux onder de knie hebben.
Voor "Webmin" is zelfs een ZFS module**** om netjes je spullen te beheren om dingen te doen als :

* Create a new storage pool.
* Add capacity to an existing pool.
* Move (export) a storage pool to another system.
* Import a previously exported storage pool to make it available on another system.
* View information about storage pools.
* Create a file system.
* Create a volume.
* Take a snapshot of a file system or a volume.
* Roll back a file system to a previous snapshot.

Bovengenoemde module *ENKEL* op Solaris ;-) dus niet op Linux. En Solaris x86 zou ik nu niet direct gaan draaien ;-)

[weust]

Ik zou alles op een leuke NAS gaan draaien, en een aparte machine voor je gameserver.
Dat RAID 5 en 6 oud zijn betekend niet dat ze er niet meer toe doen.
De meeste SAN oplossingen draaien nog altijd met meerdere RAID 5 arrays in een pool of aggregate.

Voordeel van de NAS is dat je er geen omkijken meer naar hebt.
Software packagemaker voor FTP en torent installeer je zonder nadenken, alleen wat configureren.

Die gameserver hoeft ook echt geen Xeon te zijn. Of je moet heel veel logische processoren nodig hebben, en heel veel L3 cache.

[Robert T]

Eh.. dit is eigenlijk helemaal niet zo moeilijk. Zelf precies hetzelfde als de openingspost gedaan en dus ook ESXi draaien. Reden was storage (Win7 OS) te scheiden en zelfs met Areca kaart. Vt -d is iets wat je moederbord moet ondersteunen en redelijk makkelijk terug te vinden op het forum van tweakers.

Komt neer op: Doos met hardware (Wel belangrijk VMware compatible HW te kopen (dus bijv intel NIC en geen onboard NIC op veel consumenten mainboards. Ondersteuning van VT -d wel belangrijk. Uitleg hier: http://feedmytv.tweakblogs.net/blog/8652/aankoopgids-storage-en-virtualisatie-servers.html

(overigens veeeeel meer uitleg daar maar zijn vast betere topics te vinden op tweakers).

Areca is gewoon een goede en stabiele raid kaart en kan je prima blijven gebruiken lijkt me.... gewoon al je disks in een (zou aanraden RAID6 zetten ipv RAID5 bij grotere hoeveelheiden schijven). Wel even een apart SSD schijfje voor je OS'n.. Zet VMware ESXi op een USB stick (installatie handleiding online te vinden) en upload je ISO's van je OS's die je wilt gebruiken op de SSD kaart.. VMware is niet ingewikkeld als je het principe snapt.

Zelf draai ik een aparte Win7 VM waar ik m'n areca controller aan heb verbonden (direct = optie in Vmware en hier heb je dus Vt-d ondersteuning voor nodig). en nog wat andere VM's voor andere doeleinden zoals bijvoorbeeld downloads (ik wil geen download programma's op m'n storage server)..weer een aparte voor firewall en weer een andere VM voor een linux disti.

Kind kan de was doen. Draait hier al erg lang als een zonnetje. Zelf een kleine 30TB netto in RAID6..

[Moondust]

Bedankt voor de reacties.

Ik ga toch weer denken aan virtualisatie. Wat dat betreft zit ik in een luxe positie, omdat de server in eerste instantie gewoon kan draaien naast mijn Areca array (welke overigens probleemloos draait al een jaar). Met een nieuwe krachtige server zou ik eigenlijk gek zijn als ik geen ZFS zou gebruiken. Het is een modern filesystem dat meer biedt dan RAID. RAID is niet slecht, maar ik snap wel dat met hele grote volumes de kans op fouten steeds groter wordt. ZFS heeft dat probleem niet en heeft nog andere voordelen. Kortom, ik zie met een nieuwe server geen reden om nog voor RAID5/6 te gaan nu ZFS de beste papieren in handen lijkt te hebben.

Hoe ik de server en de virtualisatie precies moet/ga inrichten komt later wel. Allereerst de hardware op een rijtje krijgen. Ik denk nu aan het volgende.

Intel Xeon E3-1230 V3 Boxed (€ 216,59)
Supermicro X10SL7-F (€ 217,76)
WD Red SATA 6 Gb/s WD40EFRX, 4TB (8 x € 149,-)
Ri-vier 3U 16bay storage chassis (No SGPIO) - RV-3316-03A (€ 320,65)   
Crucial CT2KIT102472BA160B (2 x 8GB ECC) (€ 152,71)
Samsung 840 series Pro 512GB (€ 322,48)

Het mobo heeft een onboard LSI SAS 2308 chip, waardoor ik 8 + 6 = 14 hdd's kan aansluiten. Ik weet alleen niet of ik met deze config ZFS optimaal faciliteer. Ik heb e.e.a. gelezen over write-cache.

Wat vinden jullie van dit lijstje?

[activ]

Als je voor ZFS wilt gaan (en daar zijn genoeg redenen voor) dan zou ik ook serieus overwegen om dan als OS Solaris of eventueel FreeBSD te gaan draaien, dan heb je tenminste alle features en geen verder gedoe met kinderziektes. Dan kun je daar op je virtualisatie draaien.
Ik draai zelf met Solaris en Virtualbox, dat draait echt als een trein.

[Moondust]

FreeBSD lijkt een goede keuze. Wat betreft Solaris ben ik wat terughoudender, omdat het OpenSolaris project is stopgezet. Is er nog wel voldoende ontwikkeling en support? Ik hoor ook goede dingen over OpenIndiana. Zou dat nog een goede optie kunnen zijn? En welk OS is het meest gebruiksvriendelijk voor beginners? Ook niet onbelangrijk.

Wat betreft de hardware. Ik lees over ZFS dat deze erg profiteert van een SSD voor de ZIL (write cache, kleine SSD) en eentje voor de L2ARC (read cache, grote SSD). De ZIL zou ik dan nog bij voorkeur in mirror uitgevoerd moeten worden omdat deze zo kritiek is voor de gezondheid van ZFS. Dat je voor de ZIL alleen SLC geheugen zou moeten gebruiken ipv goedkoper MLC geheugen vanwege de betrouwbaarheid lijkt me niet zo'n issue meer tegenwoordig, maar dat is een indruk, geen feit.

Bron: http://constantin.glez.de/blog/2011/02/frequently-asked-questions-about-flash-memory-ssds-and-zfs#benefit

[Thesqualer]

voor een paar tientjes meer zou ik voor dit moederbord gaan:

http://tweakers.net/pricewatch/339877/asus-p9d-e-4l/specificaties/
Voorzien van SAS 3.0 ipv SAS 2.0. En beschikt over 4x Gbit internet (Intel I217V)

[Moondust]

4 x Gbit is leuk, maar hoe gebruik ik dat in de praktijk? Mijn router is gigabit en daarmee de beperking toch?

Dat Asus bord lijkt me verder wel de moeite waard, maar onderstaande opmerking doet me vermoeden dat ik er nog iets extra bij moet kopen voordat de SAS sloten werken.

SAS sloten werken pas na het installeren van één van de volgende SAS RAID kaarten in het Asus PIKE slot onderaan het moederbord:
ASUS PIKE 2008 8-port SAS2 6G RAID card
ASUS PIKE 2008/IMR 8-port SAS2 6G RAID card
ASUS PIKE 2108 8-port SAS2 6G RAID card
ASUS PIKE 2208 8-port SAS 6G HW RAID card
ASUS PIKE 2308 8-port SAS 6G RAID card (Optional)
ASUS PIKE 9230 4-port SATA 6G RAID card (Optional)

De vraag is of ik echt profijt ga hebben van 12Gb/s ipv 6 Gb/sec.

[jvanhambelgium]

4 x Gbit is leuk, maar hoe gebruik ik dat in de praktijk? Mijn router is gigabit en daarmee de beperking toch?

Eigenlijk wel, leuk voor in bedrijfsomgevingen waar je met verschillend clients tegelijk naar je server toekomt.
Je zou dan 2 x 1Gbits (of 4x1Gbits) in LACP "bundel" kunnen hangen voor verhoogde doorvoer als je meerdere mensen te bedienen hebt...

Niet echt relevant om > 1Gbits te gebruiken in een thuis-situatie...als je een hoog nerd-gehalte hebt en je wil zoiets echt realiseren "omdat het kan" kan je wat gaan experimenteren, maar dan met je echt gaan tunen met de protocols (SMBv2,NFSv4) & tcp/ip stack om het beste eruit te persen.

[Moondust]

Ik denk ook niet dat het enige nut heeft om meer dan gigabit te gebruiken.

Wat betreft het gebruik van SSD's voor ZFS heb ik inmiddels geleerd dat je voor zowel L2ARC als de ZIL op dezelfde SSD's moet draaien en dan met stripe kan versnellen en met mirror kan beveiligen. Dat betekent dat ik te weinig heb aan de 8xSAS en 6xSATA. Er moet dan nog een extra 8xSAS-kaartje in.

Hoe zit het eigenlijk met backplanes? Zo'n Ri-vier 3U case heeft hotswappable bays die verbonden zijn met een backplane waar je dan je SATA-connectoren in stopt?

[jvanhambelgium]

Hoe zit het eigenlijk met backplanes? Zo'n Ri-vier 3U case heeft hotswappable bays die verbonden zijn met een backplane waar je dan je SATA-connectoren in stopt?

RTFM, ja dus 


    Generality
        Metal material - SGCC
        Metal thickness - 1.0mm
        Handle material - Aluminum
    M/B support
        CEB(12"*10.5") / ATX / mATX / ITX
    Size
        D*W*H(mm) 550*430*132
        D*W*H(inch) 21.65"*16.9"*5.2"
    Drive Bay
        hot-swap HDD - 16 (3.5" or 2.5")
            Extra Air-blockers for disk tray find here
        Internal HDD - 2x 2.5" or 1x 3.5''
        Slim CD-ROM - 1
    Power support
        Standard 2U/Redundant 1+1(Optional)
    Front panel
        Control button - power on/off / reset
        indicator - power status / HDD Activity / Lan Activity
        I/O ports - USB(1x 2.0)
    4pcs SAS backplane (not mini-sas: SFF-8087, but sas) (Support SAS and SATA HDD)
        you can connect sas and sata cables to this backplane.
    System cooling
        middle -3x 12025
        rear - 2x 60
    7x slot

[jantje112]

het blijft hier een htforum. Waarom niet even op tweakers.net de topics over " zuinige nas" en " ESXI Server"  doornemen. Dan heb je meer dan voldoende goede voorbeeldsetup's die kunnen wat je wil.

Voor ZFS is geheugen erg belangrijk.. gb per tb is het uitgangspunt.

[Moondust]

Toch heb ik mijn twijfels bij de case. Deze moet stil zijn, 16 hotswappable, 3U of 4U en niet al te diep. De eerder uitgekozen Ri-vier case is 68cm diep en dat is teveel voor de kast waarin ik um wil gebruiken. Ik lees over server cases vooral dat ze erg luidruchtig zijn, maar er zullen toch wel cases zijn die wel stil zijn? Wie weet meer?

@jantje
Op GoT heb ik ook al e.e.a. gepost in het DIY NAS topic. Ik combineer alle tips.

[jantje112]

Toch heb ik mijn twijfels bij de case. Deze moet stil zijn, 16 hotswappable, 3U of 4U en niet al te diep. De eerder uitgekozen Ri-vier case is 68cm diep en dat is teveel voor de kast waarin ik um wil gebruiken. Ik lees over server cases vooral dat ze erg luidruchtig zijn, maar er zullen toch wel cases zijn die wel stil zijn? Wie weet meer?

@jantje
Op GoT heb ik ook al e.e.a. gepost in het DIY NAS topic. Ik combineer alle tips.

Server cases zijn gebouwd op betrouwbaarheid, niet op " stilte ". Het zijn dus zonder tweaks altijd stofzuigers met zoveel mogelijk koeling en in een zo krap mogelijke behuizing (serverruimte is kostbaar)

Waarom zou je perse hotswap willen? Het aantal keren dat je moet wisselen is toch minimaal in de praktijk. Zelf heb ik destijds voor een compacte setup gekozen met ITX en 6 * 3.5" ruimte en als het dan eenmaal draait ben je vaak weer even zoet.

Overigens kun je een servercase met wat fancontrollers een stuk stiller krijgen, is dat een optie? Kijk wel uit bij de " goedkope" drivebays. Je zult niet de eerste zijn waar een array uitvalt ivm slecht backplanes.

[Moondust]

Ik ga voor mooie hardware, dus dan ga ik niet bezuinigen op een server case. Hotswappable echter is geen harde eis. Stil en betrouwbaar is veel belangrijker, maar ik heb geen idee welke cases dan in aanmerking komen. Een stofzuiger mag het zeker niet zijn. Ik moet er in de woonkamer amper last van hebben als de case is ingebouwd in de kast met exhaust aan de achterkant door de kast heen. Ik sta eigenlijk open voor elke 3U/4U case waarin ik tenminste 16 hdd's kwijt kan en welke daarnaast stil en betrouwbaar is.

[Raphie]

Ik zit dit ff door te lezen en sta echt met m'n oren te klapperen....
Wat een hoop onzin in dit topic, voor een hobby kastje, beetje torrents en nieuwsgroepen.

Koop een Synology 13xx series NAS of hoger
Koop de Tweakers high end beste koop voor gaming
Klaar........

[Etiennevh]

Ik zit dit ff door te lezen en sta echt met m'n oren te klapperen....
Wat een hoop onzin in dit topic, voor een hobby kastje, beetje torrents en nieuwsgroepen.

Koop een Synology 13xx series NAS of hoger
Koop de Tweakers high end beste koop voor gaming
Klaar........

+1. Totale onzin in dit topic...

[Moondust]

Een Synology DS2413+ (12-bay) + 2GB extra RAM en 8 x 4TB WD Red kost ruim € 2.400,-

Een zelfbouw server met goede hardware (Supermicro mobo, Intel Xeon, 32GB ECC RAM, 8 x 4TB WD Red, 2 x 256GB SSD en een servercase waar 16 hdd's in kunnen) kost ongeveer € 2.800,-.

Het verschil is dus zo'n € 400,- en voor dat bedrag krijg ik heel veel meer (!) dan wat de Synology kan bieden en bovendien kan ik leuk gaan knutselen en weer nieuwe dingen leren. Ik zie hier absoluut geen onzin in. Dat jij dat wel vindt is je goed recht natuurlijk.

[Raphie]

een 24xx is ZWAAR overkill. Maar goed blijkbaar heb je een server hardware fetish....
een 13xx is meer dan zat, koop je nog een expansion erbij en kan je 10 drives kwijt
draait op linux
zet je een core i5 PCtje ernaast voor het freubelen en klaar ben je. voor nog geen 2k euro