Htforum.nl

Momenteel heb ik een RAID5-array (Areca) met 8 x 3TB in mijn werkpc zitten, maar wil mijn werkpc scheiden van de storage (inclusief ftp, heel veel torrents, usenet, etc.). Daarnaast wil ik op termijn ook een gameserver (DayZ standalone o.i.d.) gaan draaien en wie weet wat allemaal nog meer. Daarom het plan om een flink uit de kluiten gewassen server te bouwen in een 3U/4U case en deze dan te virtualiseren op basis van mijn behoeften. Het belangrijkste is om de storage goed op orde te krijgen (tenminste 8 x 4TB). Ik heb de klok horen luiden over ZFS, ESXi, VMWare, VT-d, HBA's, backplanes, etc. maar ik heb geen idee waar de klepels hangen. Ik mis het overzicht van de mogelijkheden om een goede keuze te kunnen maken, ondanks dat ik me al best wel wat heb ingelezen. Ik ben al wel lang thuis in consumentenhardware en het bouwen van huis-tuin-en-keuken-PC's, maar op het gebied van serieuze servers gaan mijn oren al snel klapperen.

Heel kort door de bocht is mijn vraag of jullie mij kunnen adviseren bij de samenstelling en bouw. Waar moet ik aan denken? Welke keuzes heb ik? Kennen jullie goeie guides waar ik inspiratie uit kan putten? Het budget is afhankelijk van wat de oplossing biedt. De insteek is goed en degelijk spul neer te zetten en dat mag best wat kosten. Kan ik met consumentenhardware uit de voeten of heeft echte serverhardware toch wel de voorkeur?

Ik zit sowieso te denken aan 16 hotswappable bays, dan heb ik ruim voldoende uitbreidingsmogelijkheden voor de toekomst.

Als je geen idee hebt hoe een hypervisor werkt, dan zou ik er niet aan gaan beginnen.
Ik werk zelf, vanuit mijn beroep, met Hyper-V 2012 en heb in het verleden met ESX 3.5 gewerkt.

Zoals je zelf al aangeeft weet je niet waar de klepel hangt.
Zolang je niet het inzicht hebt in virtualisatie, bouw dan servers die specifiek aan de behoefte doen van wat je er mee wilt doen.
Die zijn simpel te bouwen, en stil. Zo'n bak die jij wilt bouwen is dat namelijk vooral niet.

Je noemt een aantal dingen, ook dubbel, en mist een van de belangrijkste dingen.
Het netwerk. Als je je daar op inleest, en dan vooral hoe je dingen best practice zou moeten aanpakken, dan gaan je oren helemaal klapperen.
Je gaat dan voorbij aan je server, en komt terecht in netwerkland. Met front- en back-end firewalls. DMZ omgevingen.

En wat doe je als je server uitvalt? Dan heb je niks meer. Wilt je dus redundant gaan draaien met een cluster aan servers? Dan zul je je storage al in een NAS of SAN omgeving moeten gaan draaien.
En dan ook bij voorkeur in een apart VLAN.

Waar jij nu staat, met jou gebrek aan kennis, ben je helemaal aan het begin.
Bepaal eerst wat je wilt.

Hallo Weust,

Jouw reactie maakt voor mij duidelijk dat ik echt niet toe ben aan een virtualisatieserver. De meeste technische termen die je noemt zeggen me niets. Niet de weg voor mij dus. Daarvoor dank.

Wat ik wil is een server voor:
- opslag (min. 8 x 4TB met mogelijkheid uit te breiden)
- draaien van veel torrents
- downloaden via usenet (incl. rarren en parren)
- ftp-server draaien

Ik vind het belangrijk dat de server krachtig, stabiel, duurzaam, stil en (relatief) energiezuinig is. Stroomredundantie hoeft van mij niet, maar ik wil natuurlijk geen data kwijt zijn als de stroom een keer uitvalt. Volgens mij kom ik dan al snel uit op echte server hardware. Met een mooi moederbord van Supermicro, een zuinige maar krachtige Intel Xeon processor, 8GB ECC geheugen, 8 x 4TB WD Red en een Samsung 840 Pro SSD kom ik denk ik al een heel eind.

Zou een dergelijke server met voornoemde taken tegelijk ook als gameserver dienst kunnen doen door b.v. de resources goed te prioriteren? Kan een dual cpu systeem daar nog iets in betekenen? Ik hoef niet morgen een gameserver te hebben, maar in de loop van het jaar wil ik toch wel iets gaan inrichten en zet daarvoor graag hoog in. En als ik de gecombineerde hardware alvast heb draaien, dan is dat wel zo makkelijk. Maar goed, een aparte gameserver behoort ook tot de mogelijkheden. Wellicht is het aan te raden om voor verschillende taken toch netjes e.e.a. gescheiden te houden.

Dat gezegd hebbende, ben ik op zoek naar een globaal beeld van de benodigde hardware en software voor tenminste de opslag-torrent-usenet-ftp-server. ZFS lijkt me de goede weg en heb ook wel zin dat te leren kennen. Qua OS ben ik bekend met Windows, maar er zijn voor voornoemde taken vast betere en goedkopere opties. Ik sta open voor suggesties.

Ik ga er later even op reageren.
Volgens denk je namelijk veel te moeilijk :)

Inderdaad. Wat is er mis met een server met deftige RAID controller die een aantal disken gaat inregelen en presenteren aan je OS als een dikke schijf...
Hardware RAID hoeft niet, een hoop schijven met ZFS kan ook.
Vergeet dan wel Windows ... ZFS=Linux & co besturingsystemen.

Ik draai ook gewoon alles samen ; Logitech Media Server, Plex DLNA server, ftp/nfs/smb services, Deluge torrent en alles via webbrowser beheerbaar. Oerstabiel.

Ik heb talent voor te moeilijk denken, dus dat verbaast me niets.  ;)

Waarom ik af wil van de hardwarematige RAID is omdat RAID5 en in zekere zin ook RAID6 verouderde technieken zijn die risico's opleveren die groter worden naarmate de schijven groter worden. ZFS beschermt je data veel slimmer en beter waardoor je minder risico's loopt data te verliezen.
Zie onderstaande artikelen.

http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

http://www.zdnet.com/blog/storage/why-raid-6-stops-working-in-2019/805

Wat betreft het samen draaien, daar zie ik niet tegenop, maar een NAS combineren met een gameserver die goed moet presteren is wellicht niet erg slim. Maar ik weet te weinig van de mogelijkheden om resources toe te wijzen aan processen. Wellicht is het met een dikke Xeon helemaal geen probleem.

Tja, begin je dan maar alvast in te werken in de wondere wereld van Linux als je echt met ZFS aan de slag wil gaan zodat je weet waar je mee bezig bent.
Die Linux kennis kan je dan ook gebruiken om alle andere zaken erop te zwieren ; ftp/smb/torrent/news/dlna/whatever...

Met tools als "Webmin" kan je héél veel doen allemaal netjes in een webbrowser, maar dan nog moet je basics van Linux onder de knie hebben.
Voor "Webmin" is zelfs een ZFS module**** om netjes je spullen te beheren om dingen te doen als :

* Create a new storage pool.
* Add capacity to an existing pool.
* Move (export) a storage pool to another system.
* Import a previously exported storage pool to make it available on another system.
* View information about storage pools.
* Create a file system.
* Create a volume.
* Take a snapshot of a file system or a volume.
* Roll back a file system to a previous snapshot.

Bovengenoemde module *ENKEL* op Solaris ;-) dus niet op Linux. En Solaris x86 zou ik nu niet direct gaan draaien ;-)

Ik zou alles op een leuke NAS gaan draaien, en een aparte machine voor je gameserver.
Dat RAID 5 en 6 oud zijn betekend niet dat ze er niet meer toe doen.
De meeste SAN oplossingen draaien nog altijd met meerdere RAID 5 arrays in een pool of aggregate.

Voordeel van de NAS is dat je er geen omkijken meer naar hebt.
Software packagemaker voor FTP en torent installeer je zonder nadenken, alleen wat configureren.

Die gameserver hoeft ook echt geen Xeon te zijn. Of je moet heel veel logische processoren nodig hebben, en heel veel L3 cache.

Eh.. dit is eigenlijk helemaal niet zo moeilijk. Zelf precies hetzelfde als de openingspost gedaan en dus ook ESXi draaien. Reden was storage (Win7 OS) te scheiden en zelfs met Areca kaart. Vt -d is iets wat je moederbord moet ondersteunen en redelijk makkelijk terug te vinden op het forum van tweakers.

Komt neer op: Doos met hardware (Wel belangrijk VMware compatible HW te kopen (dus bijv intel NIC en geen onboard NIC op veel consumenten mainboards. Ondersteuning van VT -d wel belangrijk. Uitleg hier: http://feedmytv.tweakblogs.net/blog/8652/aankoopgids-storage-en-virtualisatie-servers.html

(overigens veeeeel meer uitleg daar maar zijn vast betere topics te vinden op tweakers).

Areca is gewoon een goede en stabiele raid kaart en kan je prima blijven gebruiken lijkt me.... gewoon al je disks in een (zou aanraden RAID6 zetten ipv RAID5 bij grotere hoeveelheiden schijven). Wel even een apart SSD schijfje voor je OS'n.. Zet VMware ESXi op een USB stick (installatie handleiding online te vinden) en upload je ISO's van je OS's die je wilt gebruiken op de SSD kaart.. VMware is niet ingewikkeld als je het principe snapt.

Zelf draai ik een aparte Win7 VM waar ik m'n areca controller aan heb verbonden (direct = optie in Vmware en hier heb je dus Vt-d ondersteuning voor nodig). en nog wat andere VM's voor andere doeleinden zoals bijvoorbeeld downloads (ik wil geen download programma's op m'n storage server)..weer een aparte voor firewall en weer een andere VM voor een linux disti.

Kind kan de was doen. Draait hier al erg lang als een zonnetje. Zelf een kleine 30TB netto in RAID6..

Bedankt voor de reacties.

Ik ga toch weer denken aan virtualisatie. Wat dat betreft zit ik in een luxe positie, omdat de server in eerste instantie gewoon kan draaien naast mijn Areca array (welke overigens probleemloos draait al een jaar). Met een nieuwe krachtige server zou ik eigenlijk gek zijn als ik geen ZFS zou gebruiken. Het is een modern filesystem dat meer biedt dan RAID. RAID is niet slecht, maar ik snap wel dat met hele grote volumes de kans op fouten steeds groter wordt. ZFS heeft dat probleem niet en heeft nog andere voordelen. Kortom, ik zie met een nieuwe server geen reden om nog voor RAID5/6 te gaan nu ZFS de beste papieren in handen lijkt te hebben.

Hoe ik de server en de virtualisatie precies moet/ga inrichten komt later wel. Allereerst de hardware op een rijtje krijgen. Ik denk nu aan het volgende.

Intel Xeon E3-1230 V3 Boxed (http://tweakers.net/pricewatch/338613/intel-xeon-e3-1230-v3-boxed.html) (€ 216,59)
Supermicro X10SL7-F (http://tweakers.net/pricewatch/347332/supermicro-x10sl7-f.html) (€ 217,76)
WD Red SATA 6 Gb/s WD40EFRX, 4TB (http://tweakers.net/pricewatch/347909/wd-red-sata-6-gb-s-wd40efrx-4tb.html) (8 x € 149,-)
Ri-vier 3U 16bay storage chassis (No SGPIO) - RV-3316-03A (http://tweakers.net/pricewatch/353191/ri-vier-3u-16bay-storage-chassis-(no-sgpio)-rv-3316-03a.html) (€ 320,65)   
Crucial CT2KIT102472BA160B (2 x 8GB ECC) (http://tweakers.net/pricewatch/352283/crucial-ct2kit102472ba160b.html) (€ 152,71)
Samsung 840 series Pro 512GB (http://tweakers.net/pricewatch/318331/samsung-840-series-pro-512gb.html) (€ 322,48)

Het mobo heeft een onboard LSI SAS 2308 chip, waardoor ik 8 + 6 = 14 hdd's kan aansluiten. Ik weet alleen niet of ik met deze config ZFS optimaal faciliteer. Ik heb e.e.a. gelezen over write-cache.

Wat vinden jullie van dit lijstje?

Als je voor ZFS wilt gaan (en daar zijn genoeg redenen voor) dan zou ik ook serieus overwegen om dan als OS Solaris of eventueel FreeBSD te gaan draaien, dan heb je tenminste alle features en geen verder gedoe met kinderziektes. Dan kun je daar op je virtualisatie draaien.
Ik draai zelf met Solaris en Virtualbox, dat draait echt als een trein.

FreeBSD lijkt een goede keuze. Wat betreft Solaris ben ik wat terughoudender, omdat het OpenSolaris project is stopgezet. Is er nog wel voldoende ontwikkeling en support? Ik hoor ook goede dingen over OpenIndiana. Zou dat nog een goede optie kunnen zijn? En welk OS is het meest gebruiksvriendelijk voor beginners? Ook niet onbelangrijk.

Wat betreft de hardware. Ik lees over ZFS dat deze erg profiteert van een SSD voor de ZIL (write cache, kleine SSD) en eentje voor de L2ARC (read cache, grote SSD). De ZIL zou ik dan nog bij voorkeur in mirror uitgevoerd moeten worden omdat deze zo kritiek is voor de gezondheid van ZFS. Dat je voor de ZIL alleen SLC geheugen zou moeten gebruiken ipv goedkoper MLC geheugen vanwege de betrouwbaarheid lijkt me niet zo'n issue meer tegenwoordig, maar dat is een indruk, geen feit.

Bron: http://constantin.glez.de/blog/2011/02/frequently-asked-questions-about-flash-memory-ssds-and-zfs#benefit

voor een paar tientjes meer zou ik voor dit moederbord gaan:

http://tweakers.net/pricewatch/339877/asus-p9d-e-4l/specificaties/
Voorzien van SAS 3.0 ipv SAS 2.0. En beschikt over 4x Gbit internet (Intel I217V)

4 x Gbit is leuk, maar hoe gebruik ik dat in de praktijk? Mijn router is gigabit en daarmee de beperking toch?

Dat Asus bord lijkt me verder wel de moeite waard, maar onderstaande opmerking doet me vermoeden dat ik er nog iets extra bij moet kopen voordat de SAS sloten werken.

QuoteSAS sloten werken pas na het installeren van één van de volgende SAS RAID kaarten in het Asus PIKE slot onderaan het moederbord:
ASUS PIKE 2008 8-port SAS2 6G RAID card
ASUS PIKE 2008/IMR 8-port SAS2 6G RAID card
ASUS PIKE 2108 8-port SAS2 6G RAID card
ASUS PIKE 2208 8-port SAS 6G HW RAID card
ASUS PIKE 2308 8-port SAS 6G RAID card (Optional)
ASUS PIKE 9230 4-port SATA 6G RAID card (Optional)

De vraag is of ik echt profijt ga hebben van 12Gb/s ipv 6 Gb/sec.

Quote from: Moondust on April  6, 2014, 13:06:09
4 x Gbit is leuk, maar hoe gebruik ik dat in de praktijk? Mijn router is gigabit en daarmee de beperking toch?

Eigenlijk wel, leuk voor in bedrijfsomgevingen waar je met verschillend clients tegelijk naar je server toekomt.
Je zou dan 2 x 1Gbits (of 4x1Gbits) in LACP "bundel" kunnen hangen voor verhoogde doorvoer als je meerdere mensen te bedienen hebt...

Niet echt relevant om > 1Gbits te gebruiken in een thuis-situatie...als je een hoog nerd-gehalte hebt en je wil zoiets echt realiseren "omdat het kan" kan je wat gaan experimenteren, maar dan met je echt gaan tunen met de protocols (SMBv2,NFSv4) & tcp/ip stack om het beste eruit te persen.

Ik denk ook niet dat het enige nut heeft om meer dan gigabit te gebruiken.

Wat betreft het gebruik van SSD's voor ZFS heb ik inmiddels geleerd dat je voor zowel L2ARC als de ZIL op dezelfde SSD's moet draaien en dan met stripe kan versnellen en met mirror kan beveiligen. Dat betekent dat ik te weinig heb aan de 8xSAS en 6xSATA. Er moet dan nog een extra 8xSAS-kaartje in.

Hoe zit het eigenlijk met backplanes? Zo'n Ri-vier 3U case heeft hotswappable bays die verbonden zijn met een backplane waar je dan je SATA-connectoren in stopt?

Quote from: Moondust on April  6, 2014, 13:17:36
Hoe zit het eigenlijk met backplanes? Zo'n Ri-vier 3U case heeft hotswappable bays die verbonden zijn met een backplane waar je dan je SATA-connectoren in stopt?

RTFM, ja dus  O0


    Generality
        Metal material - SGCC
        Metal thickness - 1.0mm
        Handle material - Aluminum
    M/B support
        CEB(12"*10.5") / ATX / mATX / ITX
    Size
        D*W*H(mm) 550*430*132
        D*W*H(inch) 21.65"*16.9"*5.2"
    Drive Bay
        hot-swap HDD - 16 (3.5" or 2.5")
            Extra Air-blockers for disk tray find here
        Internal HDD - 2x 2.5" or 1x 3.5''
        Slim CD-ROM - 1
    Power support
        Standard 2U/Redundant 1+1(Optional)
    Front panel
        Control button - power on/off / reset
        indicator - power status / HDD Activity / Lan Activity
        I/O ports - USB(1x 2.0)
    4pcs SAS backplane (not mini-sas: SFF-8087, but sas) (Support SAS and SATA HDD)
        you can connect sas and sata cables to this backplane.
    System cooling
        middle -3x 12025
        rear - 2x 60
    7x slot

het blijft hier een htforum. Waarom niet even op tweakers.net de topics over " zuinige nas" en " ESXI Server"  doornemen. Dan heb je meer dan voldoende goede voorbeeldsetup's die kunnen wat je wil.

Voor ZFS is geheugen erg belangrijk.. gb per tb is het uitgangspunt.

Toch heb ik mijn twijfels bij de case. Deze moet stil zijn, 16 hotswappable, 3U of 4U en niet al te diep. De eerder uitgekozen Ri-vier case is 68cm diep en dat is teveel voor de kast waarin ik um wil gebruiken. Ik lees over server cases vooral dat ze erg luidruchtig zijn, maar er zullen toch wel cases zijn die wel stil zijn? Wie weet meer?

@jantje
Op GoT heb ik ook al e.e.a. gepost in het DIY NAS topic. Ik combineer alle tips.

Quote from: Moondust on April  6, 2014, 15:27:17
Toch heb ik mijn twijfels bij de case. Deze moet stil zijn, 16 hotswappable, 3U of 4U en niet al te diep. De eerder uitgekozen Ri-vier case is 68cm diep en dat is teveel voor de kast waarin ik um wil gebruiken. Ik lees over server cases vooral dat ze erg luidruchtig zijn, maar er zullen toch wel cases zijn die wel stil zijn? Wie weet meer?

@jantje
Op GoT heb ik ook al e.e.a. gepost in het DIY NAS topic. Ik combineer alle tips.

Server cases zijn gebouwd op betrouwbaarheid, niet op " stilte ". Het zijn dus zonder tweaks altijd stofzuigers met zoveel mogelijk koeling en in een zo krap mogelijke behuizing (serverruimte is kostbaar)

Waarom zou je perse hotswap willen? Het aantal keren dat je moet wisselen is toch minimaal in de praktijk. Zelf heb ik destijds voor een compacte setup gekozen met ITX en 6 * 3.5" ruimte en als het dan eenmaal draait ben je vaak weer even zoet.

Overigens kun je een servercase met wat fancontrollers een stuk stiller krijgen, is dat een optie? Kijk wel uit bij de " goedkope" drivebays. Je zult niet de eerste zijn waar een array uitvalt ivm slecht backplanes.

Ik ga voor mooie hardware, dus dan ga ik niet bezuinigen op een server case. Hotswappable echter is geen harde eis. Stil en betrouwbaar is veel belangrijker, maar ik heb geen idee welke cases dan in aanmerking komen. Een stofzuiger mag het zeker niet zijn. Ik moet er in de woonkamer amper last van hebben als de case is ingebouwd in de kast met exhaust aan de achterkant door de kast heen. Ik sta eigenlijk open voor elke 3U/4U case waarin ik tenminste 16 hdd's kwijt kan en welke daarnaast stil en betrouwbaar is.

Ik zit dit ff door te lezen en sta echt met m'n oren te klapperen....
Wat een hoop onzin in dit topic, voor een hobby kastje, beetje torrents en nieuwsgroepen.

Koop een Synology 13xx series NAS of hoger
Koop de Tweakers high end beste koop voor gaming
Klaar........

Quote from: Raphie on April  7, 2014, 08:11:49
Ik zit dit ff door te lezen en sta echt met m'n oren te klapperen....
Wat een hoop onzin in dit topic, voor een hobby kastje, beetje torrents en nieuwsgroepen.

Koop een Synology 13xx series NAS of hoger
Koop de Tweakers high end beste koop voor gaming
Klaar........

+1. Totale onzin in dit topic...

Een Synology DS2413+ (12-bay) + 2GB extra RAM en 8 x 4TB WD Red kost ruim € 2.400,-

Een zelfbouw server met goede hardware (Supermicro mobo, Intel Xeon, 32GB ECC RAM, 8 x 4TB WD Red, 2 x 256GB SSD en een servercase waar 16 hdd's in kunnen) kost ongeveer € 2.800,-.

Het verschil is dus zo'n € 400,- en voor dat bedrag krijg ik heel veel meer (!) dan wat de Synology kan bieden en bovendien kan ik leuk gaan knutselen en weer nieuwe dingen leren. Ik zie hier absoluut geen onzin in. Dat jij dat wel vindt is je goed recht natuurlijk.

een 24xx is ZWAAR overkill. Maar goed blijkbaar heb je een server hardware fetish....
een 13xx is meer dan zat, koop je nog een expansion erbij en kan je 10 drives kwijt
draait op linux
zet je een core i5 PCtje ernaast voor het freubelen en klaar ben je. voor nog geen 2k euro

Een DS2413+ kost € 1.200 voor 12 bays. De door jou voorgestelde DS1513+ (13xx bestaat niet) + DX513 expansion kost € 700 + € 400 = € 1.100 voor 10 bays. Kan je mij uitleggen waarom dat beter zou zijn? Ik zie het niet.

En als ik naast een Synology setup van € 2.400 ook nog een Core i5 pc'tje ga zetten, dan zit ik natuurlijk ook op € 2.800 of hoger (hoe kom jij aan € 2.000???). Ook hier zou ik niet weten waarom dat beter zou zijn dan een mooie server met virtuele machines die veel krachtiger is en waarmee ik oneindig flexibel ben. Ja, een Synology is een hoop gebruiksgemak, maar blijkbaar is dat voor mij niet doorslaggevend, anders had ik echt niet voorgesteld een eigen server te gaan bouwen. Kan best dat ik aan een bepaalde fetish lijdt (wie niet?), maar ik vind het gewon leuk en interessant om met hardware te knutselen. Mag dat van jou?

Voor +\- 3000 koop je een ECHTE server, HP ML350 met dual xeon E5 en een mix van 15K schijven SAS en terabyte schijven SAS en 32 gb ECC koop ik in voor 2570 ex btw.  Heb je gelijk 3 jaar next businessday onsite garantie die zit er altijd gratis bij.

Quote from: Moondust on April  7, 2014, 12:09:55
maar ik vind het gewon leuk en interessant om met hardware te knutselen. Mag dat van jou?

ja natuurlijk mag dat, je kan ook een DAF truck kopen als personenwagen, maar of dat handig is.
kijk, servers zijn niet sneller, maken meer lawaai en hebben voorzieningen die je in een consumenten/hobby omgeving niet gebruikt. Als jij het leuk vind om daar mee te spelen, prima natuurlijk, maar als je server is opgetuigd zet je hem in een hoek uit het zicht en is het "spelen" afgelopen. wel hoor je dan nog steeds de hoge toeren ventilatoren gieren.
"spelen" met server software en virtualisatie kan je ook gewoon op een laptop, dáár heb je geen server voor nodig.
voor wat jij aangeeft torrents/newsgroups/parren is een Synology NAS gewoon een véél betere oplossing.

Uiteindelijk moet je helemaal lekker zelf weten wat je doet, maar qua value for money zijn er véél betere opties om hetgeen te doen wat jij hierboven aangeeft.

@Etiennevh
Dat is dik 6.000 euro bij elkaar. Als ik die power zou gaan gebruiken ok, maar dat zie ik niet gebeuren. Bovendien lijkt een dergelijke machine me niet bepaald stil. Power gaat altijd ten koste van de stilte. En dat is niet erg zolang het verlies aan stilte niet te groot is.

@Raphie
Niet sneller? Bij gelijke investering is een goed ingerichte zelfbouwserver zeker wel veel sneller dan een Synology. Bovendien ben je veel flexibeler en is de data veiliger (met ZFS). Met de Synology betaal je vooral voor gebruiksgemak en dat weegt voor mij niet zwaar genoeg om daarvoor te kiezen. En als mijn eisen m.b.t. de geluidsproductie niet haalbaar zijn, dan kan ik altijd nog voor een Synology kiezen.

Ik heb voorgerekend dat zelfbouw versus Synology financieel nauwelijks verschilt. Dus waar baseer je de bewering op dat er betere opties zijn qua value for money?

Voorlopige setup

Intel Xeon E3-1230 V3 Boxed (http://"http://tweakers.net/pricewatch/338613/intel-xeon-e3-1230-v3-boxed.html") (€ 216,59)
Meer dan genoeg power. Ik kan eventueel ook nog voor een Intel G3420 (dual core, 3.2GHz) gaan als ik wil besparen.

Supermicro X10SL7-F (http://"http://tweakers.net/pricewatch/347332/supermicro-x10sl7-f.html") (€ 217,76)
Stabiel zuinig servermoederbord met 14 x SATA en alles wat je op een servermoederbord wil hebben

10 x WD Red SATA 6 Gb/s WD40EFRX, 4TB (http://"http://tweakers.net/pricewatch/347909/wd-red-sata-6-gb-s-wd40efrx-4tb.html") (€ 1.498,-)
In ZFS RAID-Z2 configuratie waarbij dus maximaal 2 willekeurige disks mogen uitvallen. Bij RAID-Z2 is i.v.m. alignment het ideale aantal disks 4, 6, 10, 18, etc. Bij 10 x 4TB heb ik 32GB opslag (effectief 29TB).

Fractal Design Define XL R2 Black Pearl (http://"http://tweakers.net/pricewatch/323677/fractal-design-define-xl-r2-black-pearl.html") (€ 113,-)
Ik heb het idee van een 3U/4U-servercase laten vallen. Hotswappable is niet nodig en doorgaans maken deze cases veel meer herrie. Vandaar de als stil bekend staande Fractal Design Define XL R2. Met een drivecage kan ik van 3 x 5.25" eenvoudig 4 x 3.5" maken, waardoor ik 12 disks kwijt kan.

Kingston ValueRAM KVR16E11K4/32 (http://"http://tweakers.net/pricewatch/326519/kingston-valueram-kvr16e11k4-32.html") (€ 281,49)
ZFS is gemaakt voor ECC RAM. 32GB is wel overkill heb ik begrepen. Dus als ik wil besparen kan ik nog naar 16GB. Maar men zegt bij ZFS dat je nooit teveel RAM hebt.

Seasonic G-Serie 360Watt (http://"http://tweakers.net/pricewatch/317759/seasonic-g-serie-360watt.html") (€ 51,-)
Zuinige stabiele voeding, ook op laag vermogen.

2 x Samsung 840 series Pro 256GB (http://"http://tweakers.net/pricewatch/318253/samsung-840-series-pro-256gb.html") (€ 323,80)
Het OS gaat in mirror en wat scratch space in stripe voor de downloads. Voor de ZIL en L2ARC (voor ZFS) hoef ik voor de wijze waarop ik mijn server ga gebruiken geen SSD in te zetten, maar kan daar later altijd nog een beetje mee gaan spelen.

APC Back-UPS Power-Saving ES 8 outlet 700VA (http://"http://tweakers.net/pricewatch/261492/apc-back-ups-power-saving-es-8-outlet-700va.html") (€ 83,-)
Een UPS om eventuele stroomonderbrekingen en stroompieken op te vangen. Deze UPS kan je zodanig configureren dat hij b.v. bij 20% accupower de pc netjes gaat afsluiten. Dit om datacorruptie te vermijden. Met ZFS met je erg uitkijken en niets aan het toeval overlaten. Er schijnen legio mensen te zijn die hun data zkwijt zijn geraakt door niet de juiste keuzes te maken.

Suggesties, opmerkingen, etc. zijn weer welkom.

is de voeding wel sterk genoeg voor 12 schijven? niet liever een 500w?
je hebt natuurlijk geen gaming video, maar toch?

Ik heb elders gelezen dat de WD Red schijven 21Watt voor spinup nodig hebben. Dat is dus 210Watt voor alle hdd's maximaal. De processor is max 80Watt. Geheugen en SSD trekken nauwelijks iets en het mobo misschien ook nog 20-30 Watt, maar dat laatste is een beetje een gok. En de 80+ Gold certificering levert doorgaans een redement rond de 90% op, dus dat is zo'n 325Watt. Dat zou op basis van de snelle rekensom hierboven voldoende moeten zijn. Het nadeel van een grotere voeding is dat deze vaak minder efficient zijn bij lagere vermogens. Mijn server gaat het grootste deel van de tijd waarschijnlijk ongeveer 80-90Watt trekken en dan is een kleinere efficiente voeding wel het mooiste. Ik heb op verschillende sites gelezen dat mensen 10-12 disks met een 350-360Watt voeding prima kunnen draaien. Mijn ervaring met systemen die ik eerder al gebouwd heb supporten dat.

als je het onderzocht heb is het prima i.d.d.

Ik draai 20 hdd nas units met ongeveer de config die je opgeeft qua CPU. Spin up blijft onder de 400 watt.
Als het draait 170 ongeveer.

Dat zit in een norco 4220 en is helaas niet stil te krijgen. De hdd's zitten zonder isolatie aan de voorkant, en maken lawaai. 3 x 120 mm fan zit intern, en 2 x 80 mm fans aan de achterkant.

Er naast staat een define XL met 11 Hdd's die maakt bijna net zo veel lawaai  :(
Ik heb de standaard fans geupgrade naar Noctua omdat die stiller zouden zijn. Het is wel een iets andere toonhoogte geluid dan de Norco (ook Noctua fans)
De hdds worden overigens in de onderste inbouw compartiment op de 2e rij wel flink warmer (120 mm fan input, hdd rij 1, hdd rij 2 voeding uit) En dat zijn 5900 rpm WD RE hdds van 1 TB, dus niet eens de meest warmste drives.

Quote from: jaco on April  9, 2014, 14:34:17
Ik draai 20 hdd nas units met ongeveer de config die je opgeeft qua CPU. Spin up blijft onder de 400 watt.
Als het draait 170 ongeveer.

Voor mij zou dan zelfs een 300Watt PSU voldoende zijn.

Quote from: jaco on April  9, 2014, 14:34:17
Er naast staat een define XL met 11 Hdd's die maakt bijna net zo veel lawaai  :(
Ik heb de standaard fans geupgrade naar Noctua omdat die stiller zouden zijn. Het is wel een iets andere toonhoogte geluid dan de Norco (ook Noctua fans)
De hdds worden overigens in de onderste inbouw compartiment op de 2e rij wel flink warmer (120 mm fan input, hdd rij 1, hdd rij 2 voeding uit) En dat zijn 5900 rpm WD RE hdds van 1 TB, dus niet eens de meest warmste drives.

De Define XL R2 schijnt wel wat stiller te zijn dan zijn voorganger, maar hoeveel dat werkelijk scheelt weet ik niet. Als ik de reviews zo lees van dergeljike kasten dan zou de Define XL R2 een van de stilste zijn. Daar ben ik op afgegaan. Kortom, ik zou niet weten welke tower nog stiller is.

Overigens heb ik ook naar een synology gekeken, maar het concept stond me niet aan en het was veel te duur.

Grootste nadeel is het oude file systeem wat ze gebruiken, gevoelig voor bitrot. Ik ben files kwijtgeraakt in een Unraid systeem door bitrot en dat ving de parity niet op (ook een verouderd file systeem)
Nu is de data weer niet zo belangrijk, film weg, download een nieuwe, maar waarom zou je een verouderd concept gebruiken als er een betere manier is...

Quote from: jaco on April  9, 2014, 14:48:39
Overigens heb ik ook naar een synology gekeken, maar het concept stond me niet aan en het was veel te duur.

Grootste nadeel is het oude file systeem wat ze gebruiken, gevoelig voor bitrot. Ik ben files kwijtgeraakt in een Unraid systeem door bitrot en dat ving de parity niet op (ook een verouderd file systeem)
Nu is de data weer niet zo belangrijk, film weg, download een nieuwe, maar waarom zou je een verouderd concept gebruiken als er een betere manier is...

Ja, ik heb dezelfde afweging gemaakt. Bij Synology betaal je voornamelijk voor de software en niet de hardware. De hardware van de synology kan ik voor een prikkie in elkaar zetten, al krijg je de case natuurlijk nooit zo compact. Een eigen build is voor hetzelfde geld vele malen sneller. Nadeel is dat je alles zelf moet bouwen en configureren, maar dat is eigenljik geen nadeel als je het leuk vindt om te doen. :-)

En dat bouwen voor film opslag  :blink:

Op zolder een SAN storage en minimaal 2 servers die als HOST dienen uiteraard op verschillende locaties.

Sta toch ff flink te kijken wat men bouwt voor thuis. Ik heb voor me vorige werk een hele ESX omgeving geconfigureerd en beheerd voor heel EMEA. Om dat thuis te hebben  :blink: knetter :D

Ach, elke gek heeft zijn gebrek. Er zijn ook mensen die elke week hun auto wassen, andere die postzegels sparen..

Ik noem niemand een gek die dit doet. Ben alleen verbaasd.

Ach waar ik werk hebben ze denk ik honderden of misschien wel duizenden petabytes storage, dan steek 100 TB wat magertjes af.

Op het werk ok, maar hebben ze dat ook thuis dan??

Zit ik thuis dan met me QNAPie 459 pro met 3 * 3TD REDs in RAID5 :D

Bij het bedrijf staat het in Datacenters uiteraard.

Geen idee hoeveel storage collega's hebben, niet snel veel meer dan ik denk  8)

Er zijn maar weinig gekken die 20+ hebben staan thuis, zei de gek.

Heb niet alles meer bijgehouden maar een virtualisatielaag tussen HW en OS lijkt me nu eigenlijk geen overbodige luxe. Zelfbouw vs kant en klaar is denk ik ook al wel voorbij gekomen... maar ESX heeft wat mij betreft thuis ook een functie.

Tuurlijk is het leuk om een beetje te hobbyen (als dat mag van andere forumleden tenminste..... ???) maar uiteindelijk een apart VM voor de "NAS", een apart VM voor een FW/VPN concentrator, een apart VM voor downloads.. etc heeft wat mij betreft een functie.

Ben i.e.g blij dat ik destijds wat tijd gestopt heb hierin. Ervaring rijker en leuk systeempje staan nu met nog 22TB vrij  ;D

Quote from: Raymond187 on April  9, 2014, 15:08:00
En dat bouwen voor film opslag  :blink:

Op zolder een SAN storage en minimaal 2 servers die als HOST dienen uiteraard op verschillende locaties.

Sta toch ff flink te kijken wat men bouwt voor thuis. Ik heb voor me vorige werk een hele ESX omgeving geconfigureerd en beheerd voor heel EMEA. Om dat thuis te hebben  :blink: knetter :D

Robert, stel ik gebruik de server alleen voor storage, usenet, torrents en ftp. Waarom zou ik daar aparte VM's van maken? Welk voordeel heeft dat ten opzichte van alles bij elkaar?

Ik zou storage scheiden van de rest en zo kaal mogelijk houden ivm stabiliteit. Ik zou je download machine non-windows maken als het ff mogelijk is en alle content wat binnenkomt van internet laten scannen op virus/malware etc voordat je het permanent opslaat.

Quote from: Moondust on April  9, 2014, 18:42:14
Robert, stel ik gebruik de server alleen voor storage, usenet, torrents en ftp. Waarom zou ik daar aparte VM's van maken? Welk voordeel heeft dat ten opzichte van alles bij elkaar?

Quote from: Moondust on April  9, 2014, 17:32:03
Er zijn maar weinig gekken die 20+ hebben staan thuis, zei de gek.

Juist ik ben een van de gekken die meer dan 20 TB heeft.
Nu nog 30TB vrij hier, dus nog 1000 rips te gaan minimaal.

Hoi Moondust,
Ik heb niet alles door gelezen, maar hoe ga je om met backups of ga je geen backups maken.
Ik zeg dit omdat een single raid en of ZFS oplossing dus geen backup is de raid/zfs zorgt alleen maar voor een hogere beschikbaarheid.
Er zijn nog vele manieren waarmee met deze setup je data kan verliezen. Ik probeer je niet te ontmoedigen maar dit is iets waar je wel bewust van moet zijn.

Als je geen ervaring hebt met virtualisatie dan zal ik als ik jouw was daar zo ver mogelijk vandaan blijven.
En wanneer je wel gaat virtualiseren bouw dan je storage buiten je virtualisatie en gaan dan met Isci ofzo werken. (lun via HBA zal wel te duur worden).
wanneer je een zelfde storage pool gaat toe wijzen aan meerdere virtual machines dan moet je op passen dat je IO wait niet een bottle neck gaat worden.

Mvgr
Eduard

Ik maak al backups van de data die ik per se niet wil verliezen, b.v. mijn muziekcollectie, foto's, etc. Mijn films (zo'n 15TB nu) vind ik niet het backuppen waard. Als ik echt zo'n pech heb om alles te verliezen, dan zij dat maar zo en ga ik weer downloaden. Ik kan toch niet alles van de 15TB kijken. kortom, films verliezen is vervelend en jammer, maar eigenlijk alleen tussen mijn oren. Ik maak dagelijks automatisch een backup van mijn belangrijke bestanden en ongeveer maandelijks van mijn muziek. Ik heb destijds voor een RAID5 config met Areca controller gekozen omdat ik dan 1 grote hdd kon creëren ipv al die losse schijven. Eén grote logische hdd werkt heerlijk. Alle films overzichtelijk in één map.

Mijn behoefte bestaat eruit dat ik:
1. Meer hdd-ruimte krijg
2. Meer veiligheid heb (RAID5 naar RAID6, maar geen vervanging voor backup)
3. Werkpc- en servertaken kan scheiden

Het laatstgenoemde punt is meer een handige bijkomstigheid en zeker geen leidend argument. Ik dacht de eerste 2 punten te kunnen oplossen door een nieuwe server met ZFS, RAID-Z2, etc. te bouwen. Lekker fris nieuw begin. Maar ik kan natuurlijk ook een 12-port RAID-controller kopen en daar 8 x 4TB aan hangen in RAID6. En naderhand kan ik altijd nog extra schijven toevoegen tot 12 stuks. Dan doe ik alleen niets met punt 3, maar het scheelt wel een berg geld en het is relatief makkelijk en snel te regelen. Hmmmm, mijn gedachten vliegen weer alle kanten op. Maar het wordt vanzelf duidelijk welke oplossing mij het beste past. Virtualisatie lijkt steeds meer definitief van de baan. Ik heb eigenlijk ook onvoldoende zin om daar in te duiken. ZFS lijkt me daarentegen wel leuk en interessant, maar ik ben er zoals gezegd allemaal nog niet zeker van.

Als je naar zfs wilt moet je vooruit plannen, en niet denken dat je er wellicht 1 of 2 hdds bij kunt zetten onder hetzelfde volume. Dat is je op tweakers al uitgelegd.
Ik heb 2x een update van een server gedaan, en dan 10 hdds erbij gezet. Ik gebruik 10 disk raidz2 in een volume. Het grote nadeel is dat ik 4 shares op mijn dune heb. Maar ja, 4x een shortcut en je bent snel klaar, alleen moet ik weten welke film op welke share staat.

@jaco: Maar waarom heb je vier shares dan? Je kunt als je een recente ZFS versie hebt gewoon disks toevoegen aan bestaande ruimte. Je moet alleen dan als je bijvoorbeeld raidz draait met drie schijven er ook weer drie bij doen en niet bijvoorbeeld één want dan is de data op die ene niet in raidz.
Als ik het zo lees dan had je toen ook gewoon je 10 nieuwe schijven toe kunnen voegen als raidz2 aan je bestaande pool.

Quote from: jaco on April 10, 2014, 07:32:52
Maar ja, 4x een shortcut en je bent snel klaar, alleen moet ik weten welke film op welke share staat.

Dat heb je natuurlijk voor als je op deze manier werkt.
Als je gebruik maak van een indexer/upnp server maakt het allemaal niet uit waar de data staat en is dit allemaal relatief.

Zo kan je vb gewoon 10 losse disks toevoegen, niks van RAID/ZFS whatever en de content die erop staat gewoon netjes laten indexeren  (vb Yadis, Plex oid). Als je natuurlijk met gewoon NFS export aan de slag gaat moet je inderdaad weten wat waar staat...
Dit is de meest eenvoudige vorm, telkens /home/DISK1 ... DISK10 mountpoints, elk van deze HD's ext4 en klaar.
Bij uitval van 1 disk ben je inderdaad een 10%  films kwijt...so what. Geen enkel verlies/overhead en snel genoeg.

Ik heb 4x yadis geinstalleerd, dat vindt ik niet echt optimaal. Maar het werkt.

Quote from: activ on April 10, 2014, 07:39:12
@jaco: Maar waarom heb je vier shares dan? Je kunt als je een recente ZFS versie hebt gewoon disks toevoegen aan bestaande ruimte. Je moet alleen dan als je bijvoorbeeld raidz draait met drie schijven er ook weer drie bij doen en niet bijvoorbeeld één want dan is de data op die ene niet in raidz.
Als ik het zo lees dan had je toen ook gewoon je 10 nieuwe schijven toe kunnen voegen als raidz2 aan je bestaande pool.

Ja dat kan maar dan maak je een raid-0 van die 2 vdev's
Als er dan 1 van de 2 vdev's uitvalt ben je alles kwijt. Nu weet ik niet of de kans daarop groter is dan 2 losse pools.

Andere reden is dat ik nu per pool spindown heb. Dus als ik de nas gebruik is het maar vanaf 1 pool, en is de andere spinned down. Minder lawaai, minder warmte ontwikkeling.

Ah, dat tweede argument snap ik helemaal. Bedankt voor de toelichting.

Na wat wat meer onderzoek in ZFS-land heb ik mijn aspiraties wat getemperd. Een beetje gezonde downsizing dus, maar tevens wat wijzigingen in het kader van veiligheid van de server en data waar nodig. En virtualisatie is nu echt definitief van de baan, heeft voor mij bij nader inzien geen meerwaarde. Ik overweeg nu onderstaande hardware te gaan aanschaffen.

Intel Pentium G3420 Boxed (http://tweakers.net/pricewatch/349271/intel-pentium-g3420-boxed.html) (€ 53,-)
Scythe Samurai ZZ Rev.B (http://tweakers.net/pricewatch/307834/scythe-samurai-zz-rev-punt-b.html) (€ 22,36)
Arctic Cooling MX-2 Thermal Compound (4g) (http://tweakers.net/pricewatch/162342/arctic-cooling-mx-2-thermal-compound-(4g).html) (€ 3,50)
Ik ben afgestapt van de Xeon. Deze G3420 is krachtig genoeg voor storage, torrents, usenet en ftp en heeft support voor PC3-12800 (1660MHz) RAM. Wat goede pasta erbij om de temps zo laag mogelijk te houden. En een low profile koeler die ik ook in mijn HTPC heb zitten en mijn i7 al 2 jaar passief prima koelt. De truuk is zorgen voor een goede airflow in de kast.

Supermicro X10SL7-F (http://tweakers.net/pricewatch/347332/supermicro-x10sl7-f.html) (€ 217,56)
Servermoederbord met 6 x SATA en 8 x SAS en verder alles wat ik op een servermoederbord zou wensen (b.v. KVM/IPMI). Een aardig wat goedkoper alternatief is de ASRock C226 WS (€ 168,-) met 10 x SATA (ken net!) maar wel met een HDMI-port en UEFI ipv BIOS. Ben hier nog niet uit.

2 x Samsung M391B1G73BH0-CK0 (8GB ECC CL11) (http://http://tweakers.net/pricewatch/332933/samsung-m391b1g73bh0-ck0.html) (€ 90,- via vriend)
Via-via heb ik geleerd dat Samsung heel goed servergrade ECC geheugen maakt. Het is tamelijk slecht verkrijgbaar voor consumenten, maar ik koop het via-via. De eerdere 32GB ECC zijn voor virtualisatie prima, maar voor mij niet noodzakelijk. Ik zou zelfs met 8GB toekunnen, maar dat vind ik met ZFS te krap worden.

10 x [http://tweakers.net/pricewatch/347909/wd-red-sata-6-gb-s-wd40efrx-4tb.html]WD Red SATA 6 Gb/s WD40EFRX, 4TB[/url] (€ 149,77)
40TB schoon aan de haak en in ZFS RAID-Z2 hou ik nog 32TB over, wat effectief ongeveer 29TB is. Daar moet ik het wel even mee uit kunnen houden.

Silverstone Grandia SST-GD07B (http://tweakers.net/pricewatch/307981/silverstone-grandia-sst-gd07b.html) (€ 120,50)
Evercool Armor Black (http://tweakers.net/pricewatch/243777/evercool-armor-black.html) (ong. € 30,-)
Mooie compacte kast, eigenljik een HTPC model, maar met de Evercool erbij kan ik er 10 hdd's in kwijt. Veel stiller en kleiner dan een servercase. Ik moet nog wel even kijken waar en hoe ik deze ga plaatsen, want afgesloten in een kastje lijkt me geen goed idee.

2 x Sandisk Extreme USB 3.0 Flash Drive 16GB Zwart (http://tweakers.net/pricewatch/314083/sandisk-extreme-usb-30-flash-drive-16gb-zwart.html) (€ 41,72)
Voor het OS in RAID1.

be quiet! Straight Power E9 450W (http://tweakers.net/pricewatch/295069/be-quiet!-straight-power-e9-450w.html) (€ 71,50)
Silverstone SST-CP06 4x SATA (http://tweakers.net/pricewatch/288778/silverstone-sst-cp06-4x-sata.html) (€ 8,17)
Deze voeding komt bij testen erg goed uit de verf en laat zowel bij lage als hoge vermogens hoge efficiëntie zien. Daarnaast heeft deze voeding 7 x SATA waardoor ik maar extra kabeltje nodig heb om alle 10 de disks van juice te voorzien.

In de prullenbak zijn de UPS en de SSD's. Kans op corrupte data bij stroomstoringen is nihil en de snelheid van SSD's heb ik voor mijn toepassing niet nodig. De array zelf is snel genoeg.

Totaal: € 2.250,- + nog wat verzendkosten enzo

Nog steeds een hoop geld, maar het gaat vooral in de hdd's zitten en daar moet en kan ik niet op bezuinigen. In ieder geval is deze setup goedkoper, sneller en flexibeler dan een kant-en-klare oplossing van Synology of Qnap. Ik lever er alleen gebruiksgemak voor in, maar dat is juist het leuke gedeelte, lekker rommelen. Met de verkoop van mijn huidige Areca RAID-kaart en 8 x 3TB WD Red (1 jaar gedraaid zonder spindowns, dus weinig slijtage) hoop ik de investering ruim onder de € 1.500,- te krijgen.

Ik ben wel benieuwd hoe je 2 USB sticks in Raid 1 Bootable krijgt, ik ben nog geen mobo tegen gekomen dat daar oondersteuning voor heeft.

Met ZFS kan softwarematige RAID toegepast worden, waaronder RAID1. Maar ik moet toegeven dat het idee niet van mij afkomstig is. Ik zal eens navragen bij diegene.

Geen wd red kopen als je nfs wilt gebruiken.
Het is software raid, waarom meer betelen voor de opties voor een hardware raid compatible hdd ?
Green 4 TB iss prima, en goedkoper.

Green = 300,000 load/unload cycles en 2 jaar garantie
Red = 600000 load/unload cycles en 3 jaar garantie

Het schijnt de moeite waard te zijn.

Je koopt ze dan wel enkel voor het jaartje extra garantie denk ik, zulke aantallen load cycles zou je nooit moeten halen in een NAS/SAN, mijn Samsungs in mijn synology hebben na 3 jaar nu 67 load cycles.

Daar heb je gelijk in Dennis, ik ga dat nog even bekijken. Staat een langere garantieperiode gelijk aan betere kwaliteit? En is dat in cijfers uit te drukken? MTBF?

Domme vraag misschien...wat zijn load cycles ?

Gr Hans

Ik heb even snel e.e.a. gelezen over load cycles. Load cycles is het aantal keren dat de koppen van de harde schijf worden geactiveerd vanuit slaapstand. De koppen in de slaapstand schijnt energie te sparen, maar kost wel extra tijd bij het activeren. Via google kom ik verhalen tegen van zo'n 500 load cycles per dag en zou de Green dus in krap 2 jaar versleten zijn. De volgende vraag is wat precies bepaald hoeveel loadcycles er worden uitgevoerd. Zijn daar parameters voor die je kan aanpassen? Ik ben geneigd te denken dat de Red hdd's toch wat meer gebouwd zijn op continu draaien dan de Greens, en dat WD dat vertaalt naar een langere garantie. Het is dan niet alleen de garantie maar de betere kwaliteit die eraan ten grondslag ligt die de doorslag geeft. Maar ik moet er nog wat meer induiken.

Red's zijn volgens mij 24/7 gecertificeerd inderdaad, Greens niet, deze zijn geloof ik maar 8/5 of 8/7 gecertificeerd. Niet alle greens series zijn trouwens even betrouwbaar gebleken, ik geloof dat de eerste series vooral in NAS'sen regelmatig uitval hadden maar dat dit bij latere series flink verbeterd is, volgens mij waren dit de series waar de koppen van de greens na iedere 8 seconden inactviteit gingen parkeren, ik weet niet of de laatste series dit nog steeds doen. In enkele 2 bay syno's gebruik ik recente greens naar tevredenheid (wel pas sinds de op de synology HCL staat), of ik greens voor een array van 40 zou gebruiken weet ik niet afhankelijk van de kritiekheid van de data zou me dat mogelijk een te groot risico zijn met consumenten schijfjes daar ik niet verwacht dat je er een 2de unit naast zet voor backups en je dus ws voor de bulk van je data zal vertrouwen op de redundantie in je array van zo te zien 2 schijven. Zakelijk gebruik ik in NAS'sen voor bijv. Backups wel alleen maar 24/7 gecertificeerde schijven van diverse merken.

Ik ben geneigd toch voor de Reds te gaan ivm het 24/7 operationeel zijn van de schijven. Greens lijken daar niet voor gemaakt. Ik heb wel wat redundantie, maar voorkomen is beter. Op een totaalbedrag van 2250 euro ga ik niet bezuinigen op betrouwbaarheid voor 10-15 euro per schijf. Maar ik geef toe dat het meer een gevoel is dan dat ik het hard kan bewijzen.

Er is ook nog een ander verschil tussen de red en de niet red schijven het heeft te maken met TLER.

OP een ander forum kwam ik het volgende tegen

http://arstechnica.com/civis/viewtopic.php?f=11&t=1207347

Well, there's a little more to it than "paying for firmware" you're not getting. You're getting a feature that you probably don't want in any single-drive configuration, be it in your computer or in a NAS. The good news is that it's THAT big of a deal, and should be disable-able in software. There are other differences in the drive that are generally positive-- reduced temps and vibration resistance for example. I'd probably just keep using it, but here's the big think to know.

The Red enables TLER, which prevents the drive from hammering on a sector for more than ~7 seconds if it's having trouble reading or writing. All drives, including good ones, will go through a certain number of sectors they have trouble reading/writing over time and will re-map those. A simple re-map is not very time-consuming and while you may be able to perceive a minor hitch or hiccup in performance, that's all it is. If something is really bad, a desktop class drive would hammer on that sector and try desperately to read the data and remap it rather than just giving up. In extreme cases, this can take 30+ seconds to a minute or two. Well, in a RAID set, you want it to give up as soon as possible because you're holding up the drive from doing anything else. In RAID 1, 5 or 6 (or more complicated RAID types) you know that you have the data on another drive somewhere. The goal here would be to take that disk offline and request that a new drive be added to replace the one that's having trouble. That prevents performance and reliability issues for RAID.

In practice, you're probably OK if your drive gives up after 7 seconds. That's enough to fix any normal issue and you're not using it for life-or-death documents or media.

Ik meen dat TLER alleen bij hardware RAID werd aangeraden en bij software RAID (waaronder ZFS) het geen meerwaarde heeft. Maar, correct me I'm wrong.

Maar ga je dat ding 24/7 aan laten staan? Wat trekt dat ding aan W? Iedere W is een euro per jaar aan energiekosten.

Ok, een rekensom.

Een WD Red 4TB trekt idle 3.3 Watt volgens WD. In standby slechts 0.4 Watt. Een verschil van 2,9 Watt. Bij 10 stuks wordt dat 29 Watt. Als ze 24 uur draaien is dat 29 x 24 = 696 Wh. Op jaarbasis is dat afgerond 250 kWh. Ik weet de prijs van een kWh niet precies, maar uitgaande van 25 cent, kost het laten spinnen van 10 hdd's dus iets meer dan 60 euro per jaar. Dat is 5 euro per maand voor 10 disks. En dan hebben we het over de ideale standby-situatie (dus altijd in standby stand). In de praktijk zullen de disks zeker geregeld spinnen en wordt het verschil in stroomverbruik minder. Ik gok dat ik voor mijn situatie minimaal de helft eraf kan halen. Dan hebben we het over tientjeswerk op jaarbasis. Significant, maar voor mij niet significant genoeg om mijn disks in standby zetten bij inactiviteit. Geen spindowns en spinups zorgen naar verluid bovendien voor minder slijtage, maar ik heb die claim nooit tot de bodem uitgezocht.

Een 40TB array (en eigenlijk een kleinere array ook niet) wil je echt niet regelmatig laten down en up spinnen met consumenten drives, dat is een van de slechtste zaken voor de levensduur van een HD naast geloof ik de spanningspiek bij een cold boot.

Quote from: Moondust on April 16, 2014, 01:05:14
Ik meen dat TLER alleen bij hardware RAID werd aangeraden en bij software RAID (waaronder ZFS) het geen meerwaarde heeft. Maar, correct me I'm wrong.

Doordat TLER al ingebakken zit zou dit eventueel een probleem kunnen zijn. Maar ik weet er zelf ook te weinig van om een goede conclusie te trekken.
Wat ik er van begrijp is dat doordat disk tler heeft sneller opgeeft voor het herstellen van fouten.

Eduard

Correct maar 7 seconden schijnt meer dan genoeg te zijn.

Heb je ook al eens gedacht aan zfsguru als os?
Ook compleet zfs minded en gelijk alle services erin om als nas te werken.
Ook goeie support op het tweakers forum en er staan nog grote ontwikkelingen op stapel binnenkort.
Ik draai het hier ook in een define xl2 en is gewoon lekker stil in de kelderkast.
Opslag is 6x2tb wdearx/s schijven en os op een klein ssd'tjs ocz vertex3 60gb.

Het OS heb ik nog geen knoop over doorgehakt. ZFSGuru is zeker een van de kanshebbers.

Ik kan het je aanraden, gebruik het ook en werkte vanaf de 1e install zoals verwacht.
Gewoon in de gui samba support aanzetten, mediaplayer laten zoeken en hupla verbinding. Niks geen gezeur met userids en passworden.

Ik heb nu ZFSGuru draaien, maar het installeren van het OS op een USB stick is een drama. Uren mee bezig geweest, maar het lukt echt niet. Dus nu Intel 320 40GB in bestelling, daarmee gaat het wel lukken. De performance op de livecd is niet zo heel geweldig, omdat er allerlei beperkingen in zitten. Vooral het geheugengebruik is zeer beperkt.

De config wordt dan:
Intel Pentium G3420 Boxed (http://tweakers.net/pricewatch/349271/intel-pentium-g3420-boxed.html)
Supermicro X10SL7-F (http://tweakers.net/pricewatch/347332/supermicro-x10sl7-f.html)
10 x WD Red SATA 6 Gb/s WD40EFRX, 4TB (http://tweakers.net/pricewatch/347909/wd-red-sata-6-gb-s-wd40efrx-4tb.html)
Silverstone Grandia GD08B (http://tweakers.net/pricewatch/307980/silverstone-grandia-gd08b.html)
5 x Coolink Swif 1201 HDB Bearing 1200RPM, 120mm (http://tweakers.net/pricewatch/139269/coolink-swif-1201-hdb-bearing-1200rpm-120mm.html)
2 x Samsung M391B1G73BH0-CK0 8GB ECC RAM (http://tweakers.net/pricewatch/332933/samsung-m391b1g73bh0-ck0.html)
be quiet! Straight Power E9 450W (http://tweakers.net/pricewatch/295069/be-quiet!-straight-power-e9-450w.html)
Intel 320 40GB (http://tweakers.net/pricewatch/279966/intel-320-40gb.html)

Met een SSD is de install een eitje.
Gewoon alleen de SSD en de DVD drive aansluiten, dan kun je maar 1 device kiezen, daar maak je een pool op aan waar het system op gaat installeren.
Afhankelijk wat je wilt heb je geen 40 GB nodig voor het OS, 10 is wel genoeg volgens mij, maar lees dat nog even na.
Dan zou je ook nog L2ARc van 20 GB kunnen maken wellicht. (kan later)

Je hdds voor je storage sluit je aan als je al je OS hebt geinstalleerd, dan raak je niet in de war en komt je zfsguru install niet op de storage pool (dat kan namelijk ook)

Ja, ik heb inmiddels al wat ervaring met ZFSguru opgedaan en weet heo het werkt met de pools. Zodra de SSD binnen is ga ik het OS daarop installeren. Ik verwacht geen problemen. De support voor USB sticks laat alleen te wensen over. Overigens vraag ik me af of de L2ARC op de SSD wel zin heeft. Er staan voornamelijk grote bestanden op de pool. Maar zoals je zegt kan ik dat later altijd nog instellen. De OS-installatie neemt overigens ruim minder dan 1GB in beslag. Dus 5GB voor het OS moet genoeg zijn. Dan kan ik eventueel later de rest gebruiken voor de L2ARC. Of kunnen het OS en de L2ARC op dezelfde pool staan?

Volgens mij kan de L2ARC geen deel uitmaken van de pool. En ZIL zou ik niet aan beginnen.
Je kan L2ARC wel toevoegen en verwijderen achteraf. Dus je kan het testen. Ook heb je nog meer geheugen nodig als je L2ARC gebruikt.
Het OS kan wel op de pool worden geinstalleerd bij zfsguru. Ik wilde dat zelf niet want als er dan een probleem is met je pool kan je gelijk niet meer booten zonder de usb stick of cd.

Ik gebruik ZFS-on-Linux. Dat is minder 'klaar' dan ZFSGuru of ZFS op OpenIndiana etc. Maar ZoL werkt verder prima en erg handig omdat je het gewoon op een bestaande 64 bits linux server kan gebruiken. Ik heb 3 pools van 10 schijven nu. Om dezelfde reden als Jaco, ivm powerdown en ook omdat je dan je data over 3 pools verdeelt. Dus als er iets mis gaat ben je maar 33% kwijt :) Ik zet mijn machine met crontab uit 's nachts.

34TB vrij nu :) 50% ongeveer. storage stats pagina (http://etmriwi.home.xs4all.nl/pc/pc_storage.htm)

Een aparte ZIL begin ik niet aan idd, is niet de moeite waard. De huidige ZIL is opgenomen in de pool. De L2ARC kan je volgens mij niet in de pool opnemen idd. Dat zou ook niet logisch zijn, want de L2ARC is juist bedoeld om de pool te versnellen en dat lukt natuurlijk niet met de pool zelf. Ik heb nu een 40GB Intel 320 (met capacitor om dataverlies bij stroomuitval te voorkomen) met 2 partities: één van 4GB voor het OS en één van 20GB voor de L2ARC. De resterende 13GB is overprovisioning. Installatie in ZFSguru was een eitje, al moest ik sommige keuzemogelijkheden wel even googlen om te zien wat ik het beste kon kiezen. De L2ARC heb ik nog niet echt goed getest, evenals de datapool, maar alles loopt nu als een zonnetje. Al moet ik zeggen dat de performance bij de eerste test nog slecht was (45MB/sec), maar dat was blijkbaar een opstartdingetje, want nu trekt hij direct de Gbit vol. Scrubs wil ik maandelijks automatisch laten uitvoeren, maar daar moet ik me nog even in verdiepen. Voor nu ben ik er tevreden mee dat alles stabiel draait. Was toch een experimentje om met ZFS te beginnen. Enige wat een beetje tegenviel was de totale schijfruimte. Die is 27,1TB terwijl ik 3,6TB x 8 = 28,8 TB had verwacht. Blijkbaar gaat er nog ongeveer 5-6% verloren aan overhead. Ik heb nu nog een kleine 6TB over dus ik moet nodig weer wat films en series gaan kijken zodat ik ze daarna weg kan gooien. ;-) Men zegt dat je voor de performance 20% van je pool vrij moet houden, maar ik vermoed dat dat een beetje een achterhaald advies is nu de schijven zoveel groter zijn. Ik bedoel, zelfs 100-200GB zou toch voldoende buffer moeten zijn om de snelheid niet in te laten kakken. Hoe dan ook, ik ben tot op heden blij dat ik deze stap heb genomen. Later nog wat meer testjes doen.

Ja die 6 - 9% slack space was ik ook tegen aan gelopen. Dat is wel jammer.

Wat ZFS op den duur langzamer maakt is fragmentatie. En als de pool/vdev voller laat lopen schijn je meer fragmentatie te krijgen.

Is er nog een manier om te defragmenteren? Doet mer wel een beetje denken aan Windows 98, maar als het helpt de snelheid erin te houden...

bij zol is er geen defragmentatie methode volgens mij

Nu ik de fileserver zo een tijdje in gebruik heb valt me wel op dat als ik voor bewerking data van de fileserver naar mijn desktop haal en deze vervolgens weer voor opslag naar de fileserver stuur de gbit verbinding bij lange na niet vol gaat. Up- en download blijven hangen rond de 30MB/sec. Blijkbaar is tegelijk lezen en schrijven niet bevorderlijk voor de snelheid. Ik had hier meer vna verwacht. Hopelijk ligt het aan bepaalde instellingen en kan ik dit nog verder tunen. Bij alleen bestandsoverdracht gaat de gbit wel zo goed als vol.

@moondust

Ik heb plannen om van unraid over te stappen naar zfsguru met het zelfde board, geheugen en G processor (3258 in mijn geval).   
Hoe draait het bij nu jou ? 

Quote from: riwi on May 14, 2014, 21:46:51
Ja die 6 - 9% slack space was ik ook tegen aan gelopen. Dat is wel jammer.

Wat ZFS op den duur langzamer maakt is fragmentatie. En als de pool/vdev voller laat lopen schijn je meer fragmentatie te krijgen.

Volle pool wordt helaas erg langzaam, laatste TB of zo maar niet vol zetten..

Ik lees dat velen er voor kiezen om hun ZFS implementatie virtueel te draaien op ESXI.    Ik snap hier de voordelen van, maar met extra laag software zie ik eerder de nadelen.

In mijn geval zalmijn setup dan enkel en alleen ZFSGuru draaien.   Heeft het dan uberhaupt nog wel nut ?

Als je hardware setup dedicated is voor een NAS heeft het geen zin te virtualizeren. Gebruik zelf wel ESXi maar dat is omdat ik meerdere servers naast elkaar wil draaien waaronder een NAS.

ik heb het geprobeerd op een dual core Celeron op 1.2 Ghz met 16 GB ram. Dikke stroop zo langzaam met een unbunto en een windows server. Weinig throughput voor ahum file exchange..
Kaal doet die machine 4x zo veel throughput met windows.

Volgens mij heb je VT-D nodig om een hele controller aan je NAS door te zetten en niet op software te draaien.

Er komt overigens ook een virualiseer mogelijkheid op FreeBSD. Dan doe je het wel op een andere level (geen Dom0), maar of het veel uit maakt ?

Yup, Heb zelf een mainboard gekocht (volgens mij ASrock) die dat ondersteunt en m'n Areca kaart direct aan een VM gehangen. Dit is niet een feature op elk mainboard dus voor de mensen die willen virtualiseren, wel even goed opletten als je hardware koopt.

Quote from: jaco on December 30, 2014, 16:38:52

Volgens mij heb je VT-D nodig om een hele controller aan je NAS door te zetten en niet op software te draaien.

Je hebt een rijtje extra hardware eisen vanwege de virtualisatie en de compatibiliteit met ESXi

Als je zoals Jaco zegt niet VT-d hebt kan je niet de sata controller aan ESXi doorgeven en dan verlies je veel performance. En VT-d moet ondersteund worden door de CPU, de chipset en door het moederbord (alle 3 dus). Ook vind ik het lastig dat je per controller moet doorgeven aan ESXi en niet per sata interface. Voordelen zijn dat je zowel voor virtualisatie en ZFS beide veel geheugen nodig hebt en dat kan dan in 1 machine. Kwa performance zijn er op z'n gunstigste alleen "geen nadelen". Voordelen zijn er niet echt, behalve dat je een gevirtualiseerde machine heel makkelijk kan overzetten naar een andere host. Maar met ZFSguru installeer je dat net zo eenvoudig op die 2de host.

Voor providers/operators is het handig omdat ze host platforms hebben op meerdere locaties en dan hun VM's gemakkelijk van een locatie naar een andere kunnen verhuizen bij calamiteiten of capaciteits problemen.

Quote from: Robbo on December 29, 2014, 16:20:15
Ik heb plannen om van unraid over te stappen naar zfsguru met het zelfde board, geheugen en G processor (3258 in mijn geval).   
Hoe draait het bij nu jou ?

Beter laat reageren dan helemaal nooit, nietwaar?  ;D

Ik heb ZFSguru een paar maanden gedraaid en was het toen zat. Ik vond het te lastig om me te fverdiepen in een nieuw OS. En ook al is de basis setup van ZFSguru redelijk simpel, je moet toch nog wel het eea tweaken. Dat lukte me niet goed vaak en zodra ik niet meer wist wat te doen kwam ik vast te zitten. Google kon me vaak ook niet verder helpen. Ik had geen zin meer om telkens een beroep te doen om ZFSguru experts. De throughput was overigens ook erg onstabiel. Soms 30 MB/sec, dan wer 105 MB/sec. Tot slot ervaarde ik weinig vrijheid. Dat is deels een gebrek aan ZFSguru kennis, deels een gebrek aan software en deels de beperkingen van het OS zelf. De dreigende fragmentatie vond ik overigens ook geen prettig vooruitzicht, omdat defragmenteren onmogelijk was. Kortom, je machine wordt alleen maar langzamer.

Dus.....uiteindelijk heb ik de server omgebouwd naar een Windows 7 machine met hardwarematige RAID. Ik had nog een Areca kaart liggen. Naderhand heb ik nog het eea getweakt om de koeling aanvaardbaar stil te krijgen. Zo wordt de RAID-kaart semipassief gekoeld (met een koelblokje en een casefan erop). Al met al ben ik zeer tervreden. Ik ken Windows 7 van haver tot gort en ervaar veel vrijheid. Ik kan eindelijk alles doen wat ik wil. :-)

Het draait bij mij inmiddels prima.  De mogelijkheid om enkel te kunnen installeren vanaf een LiveCD was problematisch als je geen SATA DVD speler hebt, maar uiteindelijk via een donor PC toch gelukt.  Voor de rest is het allemaal goed te doen. En het performed ook prima. Enige probleem nu is dat Gb Lan te beperkt is  :)

FIber NICs. Kan ff niet op de naam komen, maar die gaan toch tot 10GB  :wub:

Quote from: Raymond187 on March 19, 2015, 13:42:18
FIber NICs. Kan ff niet op de naam komen, maar die gaan toch tot 10GB

10Gb/s  :dry:

Lijkt me idd stug dat ze stoppen na 10GB, ja  :D

Bij de AMSiX leveren ze uit met modules van 100Gbe Dat is al een aantal jaren beschikbaar (sinds 2011).

https://ams-ix.net/newsitems/29

http://en.wikipedia.org/wiki/100_Gigabit_Ethernet

Quote from: Robert T on March 19, 2015, 13:49:53
Lijkt me idd stug dat ze stoppen na 10GB, ja  :D

Dag quota :D

100GE is erg duur om in je netwerk te zetteb, maar als 8x10GE niet meer genoeg is moet je wat (8 is bij Cisco de grens van een aggregated link - etherchannel voor cisco)

Zou de use case best eens willen horen voor 10Gbps thuis  :butbut:

Quote from: Robert T on March 20, 2015, 12:38:45
Zou de use case best eens willen horen voor 10Gbps thuis  :butbut:

Da's simpel :
Je hebt 1 NAS server vol staan met  100 TB en wil een backup maken naar de tweede NAS. Dan is het via 10Gbe wel een stuk vlotter gedaan dan via 1Gbe.

Ik heb met 3 zpools in 1 PC ook al eens een pool 'leeg' gekopieerd (data naar de andere 2 pools) en dat gaat dan intern in de PC met 400-500MB/sec. Dat soort acties duren anders gewoon te lang. Ik heb mijn 2de PC via dual gbit gekoppeld, maar moet nog testen hoe snel het nu is. De 2de PC is ook een beetje een oud gebakje die moet ik eigenlijk vervangen, maar voor testwerk nog wel OK.

Quote from: riwi on March 20, 2015, 12:48:47
Da's simpel :
Je hebt 1 NAS server vol staan met  100 TB en wil een backup maken naar de tweede NAS. Dan is het via 10Gbe wel een stuk vlotter gedaan dan via 1Gbe.

Ik heb met 3 zpools in 1 PC ook al eens een pool 'leeg' gekopieerd (data naar de andere 2 pools) en dat gaat dan intern in de PC met 400-500MB/sec. Dat soort acties duren anders gewoon te lang. Ik heb mijn 2de PC via dual gbit gekoppeld, maar moet nog testen hoe snel het nu is. De 2de PC is ook een beetje een oud gebakje die moet ik eigenlijk vervangen, maar voor testwerk nog wel OK.

Het schijnt veranderen de regeltjes in sommige applicaties (vb SMBv2/NFSv3/4) die bovenop UDP/TCP/IP lopen een beetje als het echt snel begint te gaan zeker als je hoopt van 1 bron naar een ander te kunnn gaan en die "volle" snelheid te benutten.

Dan nog alles rond "offloading" van CRC-checks etc die je systeem ook nog eens kunnen belasten etc.

Op een netwerk met veel clients & servers kan je die linken wel beter benutten dan van 1 IP naar een ander IP proberen te gaan een echt hoge snelheid te halen.

Wij hebben ondertussen ook wel 100Gbits/sec op wat interconnects tussen wat routertjes ;-) maar dat is natuurlijk een grote mix verkeer...

1sessie met mtu van 1500 via smb is inderdaad een bottleneck..

Als je de mtu naar 9K zet wordt het al beter en kun je wel een 10GE bijna volkrijgen heb ik op youtube gezien.

En het waarom ? Het scheelt wacht tijd. Copy met 200-300 MB/sec/sec is minder lang wachten dan met 100 MB/sec.

Quote from: jvanhambelgium on March 20, 2015, 13:34:44
Het schijnt veranderen de regeltjes in sommige applicaties (vb SMBv2/NFSv3/4) die bovenop UDP/TCP/IP lopen een beetje als het echt snel begint te gaan zeker als je hoopt van 1 bron naar een ander te kunnn gaan en die "volle" snelheid te benutten.

Dan nog alles rond "offloading" van CRC-checks etc die je systeem ook nog eens kunnen belasten etc.

Op een netwerk met veel clients & servers kan je die linken wel beter benutten dan van 1 IP naar een ander IP proberen te gaan een echt hoge snelheid te halen.

Wij hebben ondertussen ook wel 100Gbits/sec op wat interconnects tussen wat routertjes ;-) maar dat is natuurlijk een grote mix verkeer...

SMBv3 is al veel efficienter dan v2. Eigenlijk even snel als NFS naar het schijnt. Maar vergt nog wel meer CPU. Dus inderdaad zal je met een 10Gbe link andere bottlenecks tegenkomen. Nu met 1x 1Gbe link zie ik gewoon een strakke lijn 110-115MB/sec ongeveer dus dan is de netwerk link wel duidelijk de bottleneck.
Ik zie in de ZFS iostat ook dat de schijven af en toe even wat moeten schrijven en dan weer 2 seconden wachten tot de Gbe link eindelijk weer wat data heeft aangeleverd ;)

En mijn eerste Gbe switch (een 3com in 2002) kon ook niet echt de complete gbit snelheid aan. Dat zal met de huidige 10Gbe spullen ook wel weer gelden.

100Gbe zal nog wel een paar jaar duren voor we dat thuis gaan gebruiken :)

Uitgaande van een volle backup en je daadwerkelijk 100TB moet transporteren, dan is tijd toch geen factor? Leuk als het sneller kan maar of dat een use case is.. tja, moet ieder voor zich weten.

Na een initiele backup zullen het toch alleen maar incremental backups zijn en dus een fractie van de data.

Desalniettemin zou ik ook wel 10Gbps/100Gbps tot m'n beschikking willen hebben maar dat is nog altijd gewoon hobby.

Quote from: riwi on March 20, 2015, 12:48:47
Da's simpel :
Je hebt 1 NAS server vol staan met  100 TB en wil een backup maken naar de tweede NAS. Dan is het via 10Gbe wel een stuk vlotter gedaan dan via 1Gbe.

Ik heb met 3 zpools in 1 PC ook al eens een pool 'leeg' gekopieerd (data naar de andere 2 pools) en dat gaat dan intern in de PC met 400-500MB/sec. Dat soort acties duren anders gewoon te lang. Ik heb mijn 2de PC via dual gbit gekoppeld, maar moet nog testen hoe snel het nu is. De 2de PC is ook een beetje een oud gebakje die moet ik eigenlijk vervangen, maar voor testwerk nog wel OK.

Uhm. Je haalt het eea door elkaar hier.

Met applicatie protocollen als cifs ben je idd niet altijd beter af, zeker niet wanneer je latency introduceert maar daar heb je thuis geen last van natuurlijk. IP is het protocol, TCP of UDP is de transport laag. Met data transfer wil je eigenlijk geen UDP gebruiken als het betrouwbaar moet dus zit je aan TCP vast.

Thuis, weer uitgaande van 1 "fatsoenlijke" switch zal dit elkaar ook niet bijten. Een switch transporteert van poort naar poort op basis van laag 2, (MAC addressen). Een switch leert welke hosts op welke poorten zitten dus de data kan niet andere poort storen (misconfiguraties daargelaten)

Quote from: jvanhambelgium on March 20, 2015, 13:34:44
Het schijnt veranderen de regeltjes in sommige applicaties (vb SMBv2/NFSv3/4) die bovenop UDP/TCP/IP lopen een beetje als het echt snel begint te gaan zeker als je hoopt van 1 bron naar een ander te kunnn gaan en die "volle" snelheid te benutten.

Dan nog alles rond "offloading" van CRC-checks etc die je systeem ook nog eens kunnen belasten etc.

Op een netwerk met veel clients & servers kan je die linken wel beter benutten dan van 1 IP naar een ander IP proberen te gaan een echt hoge snelheid te halen.

Wij hebben ondertussen ook wel 100Gbits/sec op wat interconnects tussen wat routertjes ;-) maar dat is natuurlijk een grote mix verkeer...

netwerktechnisch zou het niet uit moeten maken, maar minder packets door grotere packets betekent minder overhead (elk packet heeft headers) en minder processing door de hosts en dus sneller.  Jumbo frames worden idd ook vaak toegepast op high bandwidth netwerken, evenals andere TCP tweaks.

Quote from: jaco on March 20, 2015, 13:52:21
1sessie met mtu van 1500 via smb is inderdaad een bottleneck..

Als je de mtu naar 9K zet wordt het al beter en kun je wel een 10GE bijna volkrijgen heb ik op youtube gezien.

En het waarom ? Het scheelt wacht tijd. Copy met 200-300 MB/sec/sec is minder lang wachten dan met 100 MB/sec.

Quote from: riwi on March 20, 2015, 14:55:35
SMBv3 is al veel efficienter dan v2. Eigenlijk even snel als NFS naar het schijnt. Maar vergt nog wel meer CPU. Dus inderdaad zal je met een 10Gbe link andere bottlenecks tegenkomen. Nu met 1x 1Gbe link zie ik gewoon een strakke lijn 110-115MB/sec ongeveer dus dan is de netwerk link wel duidelijk de bottleneck.
Ik zie in de ZFS iostat ook dat de schijven af en toe even wat moeten schrijven en dan weer 2 seconden wachten tot de Gbe link eindelijk weer wat data heeft aangeleverd ;)

En mijn eerste Gbe switch (een 3com in 2002) kon ook niet echt de complete gbit snelheid aan. Dat zal met de huidige 10Gbe spullen ook wel weer gelden.

100Gbe zal nog wel een paar jaar duren voor we dat thuis gaan gebruiken :)

Dat valt best mee, 10GBe is allang geen cutting edge meer, met goede nic's, een goede switch en goede storage (met goede caching, of all flash), en niet te vergeten goede bekabeling is 10GBe goed te benutten.

Ik heb er vandaag weer een 10GE kaart gekocht voor weinig: €142 voor een intel x520da2 met 2x SR sfp+ optics. Die overkoop ik door voor €50 en dan kost de kaart dus €92

Komt aan een D-Link switch met 4 spf+ poorten die €351 was, dus het hoeft niet meer de hoofdprijs te kosten. Er moet dan wel een direct attach kabel van €60 tussen.

Quote from: Robert T on March 20, 2015, 16:25:30
Uitgaande van een volle backup en je daadwerkelijk 100TB moet transporteren, dan is tijd toch geen factor? Leuk als het sneller kan maar of dat een use case is.. tja, moet ieder voor zich weten.

Even rekenen :
100TB via 100MB/sec = 10^6 seconden is 277 uur is 11 dagen
100TB via 1000MB/sec = 10^5 seconden is 27.7 uur is 1.1 dagen

En je mag aannemen dat tijdens deze "backup" de service wel geimpact is. Dwz geen film kijken ;)

Bij mij komt het ong. 1x per jaar voor dat ik een pool wil leeg kopieren om iets met de schijven te herorganiseren. Dus inderdaad hobby :) Je vraagt een man met een Ducati toch ook niet waarom die motor zo snel moet zijn, en of het allemaal wel nodig is :)

Nu nog een NAS en HDD's die 1000MB/s aan kan, zijn die er al?

Quote from: Robert T on March 20, 2015, 16:31:08
Uhm. Je haalt het eea door elkaar hier.

Met applicatie protocollen als cifs ben je idd niet altijd beter af, zeker niet wanneer je latency introduceert maar daar heb je thuis geen last van natuurlijk. IP is het protocol, TCP of UDP is de transport laag. Met data transfer wil je eigenlijk geen UDP gebruiken als het betrouwbaar moet dus zit je aan TCP vast.

Thuis, weer uitgaande van 1 "fatsoenlijke" switch zal dit elkaar ook niet bijten. Een switch transporteert van poort naar poort op basis van laag 2, (MAC addressen). Een switch leert welke hosts op welke poorten zitten dus de data kan niet andere poort storen (misconfiguraties daargelaten)

En de doorvoer moet natuurlijk ook mee willen van de switch, blocking / non-blocking / sustained etc.
Er zijn genoeg switches met 1G/10G poorten die helemaal geen "sustained" 1/10Gbits effectief continue kunnen leveren
Verschillende switchpoortjes op dezelfde ASIC etc.Nu in een thuis-netwerkje hoeft dat niet zo direct een probleem te zijn...hobby...

Vanaf je 10Gbits begint te stressen komen inderdaad OS/kernel-tuning/tcp-tuning/firmware van NIC's zeer zeker terug in de picture om het goed te krijgen in een "real world" omgeving.
Bij ons worden de servertjes "standaard" met 4x10GBits (LACP) voorzien en daar komen we wel even mee toe voorlopig denk ik  :devil:

Quote from: Kjelt on March 20, 2015, 22:26:21
Nu nog een NAS en HDD's die 1000MB/s aan kan, zijn die er al?

Als ik in zfsguru test van raid-z2 met 10x4TB is het 1000MB/sec

Maar ja om dat nu over een 10GE nic naar een andere server te kopiëren is andere koek.

Ik denk maar een apart vlan te maken voor file copy tussen PC en NAS units, en een 1 GE poort of LAGG te nemen voor afspelen naar Dune units.
Dan kan de MTU op het copy vlan naar 9000, en dan kan de snelheid tussen NAS units omhoog.
Alleen is dat geen dagelijks werk..

Groot nadeel is dat ik dan een mapping naar een share moet maken voor copy, en een andere om met Yadis dezelfde share te indexeren.

Ik heb in het verleden wel MTU 9000, jumboframes gebruikt op de NAS, maar kwam er achter dat de mediaplayers daar niet tegen kunnen. Als je TCP doet dan volgt er wel een window size onderhandeling, maar als je UDP gebruikt zal de NAS gewoon MTU 9000 gebruiken terwijl de Dune er niet tegen kan. Bij mijn testen toen, hielp de hogere MTU niet voor betere kopieer snelheden dus ik ben weer naar de standaard MTU van 1500 gegaan.

Ach ik kan enkel voor een nas copy een re-config doen en daarna weer terug naar 1500

Ik zou trouwens geen wonderen verwachten van MTU 9000 of Jumbo frames. Op high end hardware zien wij vaak maar een verschil van +- 10% t.o.v. MTU 1500, en dat is dan binnen omgevingen die er gericht op gebouwd zijn om met MTU 9000 te werken. Afhankelijk van de inrichting van de omgeving kan het beter werken, maar het is zeker niet iets waar ik speciaal voor thuis hardware voor zou kopen en zelfs zakelijk zie ik eigenlijk alleen  MTU 9000 gebruik wanneer het een best practise / explicite aanbeveling is voor de gekozen soft/hardware oplossing.

Aparte Vlans of beter nog een apart storage netwerk zou ik in ieder geval wel aanraden als je er thuis mee aan de slag wil anders kan je rare zaken gaan zien op je netwerk en zelfs je netwerk performance negatief beinvloeden.

dan zijn we het helemaal eens ja :)

Quote from: riwi on March 20, 2015, 22:16:32
Bij mij komt het ong. 1x per jaar voor dat ik een pool wil leeg kopieren om iets met de schijven te herorganiseren. Dus inderdaad hobby :) Je vraagt een man met een Ducati toch ook niet waarom die motor zo snel moet zijn, en of het allemaal wel nodig is :)

Niet elke NIC ondersteunt jumbo frames, nee.

Vwb UDP/TCP is dat wel een beetje vreemd. Ja, de ontvanger adverteerd een TCP window size maar dat zegt niks over de grootte van de packets, dat zegt alleen maar wat over hoeveel data tergelijkertijd onderweg kan zijn zonder acknowledgement van ontvanging. Uitgaande van standaard TCP (RFC793) is het TCPwindow size veld 16 bits groot dus 2^16 = 64KB / 1500bytes = grofweg 40 packets maar met jumbo frames is dat 7 packets. Het zal wel iets met de TCP MSS te maken hebben.

Quote from: riwi on March 21, 2015, 12:27:51
Ik heb in het verleden wel MTU 9000, jumboframes gebruikt op de NAS, maar kwam er achter dat de mediaplayers daar niet tegen kunnen. Als je TCP doet dan volgt er wel een window size onderhandeling, maar als je UDP gebruikt zal de NAS gewoon MTU 9000 gebruiken terwijl de Dune er niet tegen kan. Bij mijn testen toen, hielp de hogere MTU niet voor betere kopieer snelheden dus ik ben weer naar de standaard MTU van 1500 gegaan.

Ik heb nu veel getest met NFS tussen 2 servers met freebsd os.
Met mtu 1500 blijft het op 100 mbps steken. Met mtu 9000 kom ik tot 150 MB/sec.
Het gaat over Intel x520-ad2 kaarten via een D-Link switch.

Vanaf de PC kan ik een copy maken via smb van 300-340 MB/sec.
Als ik dan het terug copy krijg ik ook maar 100-150 Mb/sec.

Het zal dus liggen aan de oplevering van de data van de server. Met test van freebsd is dat tussen 900-1000 MB/sec van de pool.

Als ik met iperf test, dan haal ik met 1 sessie 400 MB/sec als ik de packet size wat verhoog tussen pc en server.

Quote from: jaco on March 31, 2015, 18:31:28
Vanaf de PC kan ik een copy maken via smb van 300-340 MB/sec.
Als ik dan het terug copy krijg ik ook maar 100-150 Mb/sec.

Interessant. Wat ik heb gemerkt is dat het ook veel scheelt aan welke kant je het commando geeft.
Dus lezen van lokale PC en schrijven naar NFS bestemming is trager dan lezen van NFS en lokaal schrijven. Dat komt omdat het schrijven via NFS veel meer CPU kost. Dus met een dikke CPU zal het niet uitmaken verwacht ik.

Ik heb met mijn 2 ZFSonLinux PCs vorige week getest met dual Gbit met bonding in balance-rr mode. Heb de tips van louwrentius doorgelezen, maar kreeg het op die manier niet werkend (vlan definities in de switch). Als ik een LAG op de switch definieer voor de beide poorten van de server kreeg ik de doorvoer niet boven de 115MB/sec. Als ik 2 losse poorten in de switch neem per PC en flowcontrol aanzet dan zie ik 170-180MB/sec. Maar het gaat wel met horten en stoten want de oude core2duo PC kan het niet aan (4GB geheugen is voor ZFS ook echt te weinig). Ik zag ook dat de grote NAS eerst z'n 24GB geheugen vol pompt en dan pas via de 2xGbit de data overpompt. Dus initieel zie je 500MB/sec en dan zakt het naar 170MB/sec of lager omdat de oude PC staat te hikken.

Bede servers zijn Xeon 1220 (v1/v3) met 32 GB ram.CPU staat niets te doen, of niet veel.

Het is voor mij de onbekendheid met FreeBSD en NFS om te snappen waarom er dingen gebeuren.
NFS zou sneller zijn dan samba, maar van mijn bejaarde i7-920 gaat er tot 450 MB/sec naar zo'n server toe (van ramdisk)
Testen op file systeem geven 900-1000Mb/sec. Dat zijn dan wel interne testen, dus wat er getest wordt is me niet duidelijk, zla wel buiten ZFS omgaan.

Ik heb met iperf getest, als ik dan de buffer wat opschroef met de packet size, dan gaat er 400 MB/sec door 1 sessie. Met 3 sessies is de 10GE link vol.
Dus de I/O over de NIC lijkt goed te zijn na tuning van de buffers.

NFS gaat niet echt snel. Je hebt rsize en wsize parameters, en dat is standaard 8kb, die heb ik al op 32 en 256 gehad. Dan zie je de snelheid toenemen, maar niet over de 150 MB/sec.

Nu worden er weer dingen als zfs prefetch en weet ik wat gesuggereerd.

Ach, met m'n eigen Linux servertje beneden in de kast klaag ik niet.
Ik maar 1Gbits liggen in huis, dus véél meer als hieronder gaat het niet worden ;-)
Geen fancy RAID-controllers etc, erg kleinschalig.

(http://www.vanham-franck.be/pics/transfer.png)

Op de gigabit naar mijn low power atom servertje haal ik ook de gbit wel vol met SMB van windows7 naar de kleine linux PC. :)

@Jaco : Als je intern in de PC van de ene pool naar de andere gaat dan haal je toch wel hogere snelheden? Dan zou ik denken dat het niet door ZFS wordt gelimiteerd.

Ik heb bij mij ook wel dat wegschrijven van windows naar ZFS met 115MB/sec gaat en lezen soms wat langzamer. 90MB/sec of zo.
En dat heb ik ook naar/van de atom PC die ext4 heeft (geen zfs) en een enkele SSD. Ik denk soms dat het de windows kant is die niet sneller wil lezen.

Van windows naar ZFS raidz2 (10x4TB) :

(http://etmriwi.home.xs4all.nl/forum/itraffic_monitor_2015-03-31_23-00-21.jpg)

En terug lezen van dezelfde 33GB file :
(http://etmriwi.home.xs4all.nl/forum/itraffic_monitor_2015-03-31_23-13-04.jpg)

Eigenlijk zou je even een TCPdumpje moeten maken van de transacties zodat je de verschillen kan zien in de sessie.

Of eens kijken op OS-vlak of je bijvoorbeeld geen I/O waits hebt etc.
Een Win7 is natuurlijk geen "server os" qua kernel/tcp-ip stack tunings en parametrage op dat vlak kan dus wel een beetje verschil geven, echter meestal als je het ding echt begint te gebruiken als server met een hoop clients,sessies,concurrency etc niet gewoon 1 file'tje copieren beginnen de verschillen duidelijker te worden.

Alsof je elke dag continu ISO's van 50Gbytes over & weer moet copieren  :D

ik kwam erachter dat ik de hdds/pool opzet niet zo slim over de backplanes van de kast verdeeld had. Backplane weg, data onbereikbaar.
Dus wil ik de zaak omzetten. Voor de veiligheid maar "even" data copieren. Dat is iets meer dan 50 GB..

Quote from: jvanhambelgium on April  1, 2015, 09:54:53
Of eens kijken op OS-vlak of je bijvoorbeeld geen I/O waits hebt etc.
Een Win7 is natuurlijk geen "server os" qua kernel/tcp-ip stack tunings en parametrage op dat vlak kan dus wel een beetje verschil geven, echter meestal als je het ding echt begint te gebruiken als server met een hoop clients,sessies,concurrency etc niet gewoon 1 file'tje copieren beginnen de verschillen duidelijker te worden.

Alsof je elke dag continu ISO's van 50Gbytes over & weer moet copieren  :D

Volgens mij hanteert win7 grenzen om de desktop gebruiker nog wat performance te geven als er systeem taken zoveel vragen van het systeem.

In top zie ik bij de read inderdaad wel wat "wait". Maar ik vind de 90MB lezen wel prima. Schrijven met 118MB/sec is super. En die richting komt ook het meeste voor.

Niet elke dag... maar wel bijna elke avond ;)

Quote from: Robert T on April  1, 2015, 09:26:00
Eigenlijk zou je even een TCPdumpje moeten maken van de transacties zodat je de verschillen kan zien in de sessie.

Tsja als je aan de grenzen van je systeem zit is een tcpdump van 100MB/sec ook niet echt handig want dan slaat de server geheid op tilt. En dan moet ie naast de 100MB/sec data ook nog 100 MB/sec traces weg schrijven. Dan moet je dus werken met een mirrorpoort en een (dikke) trace PC. We gebruiken (op het werk) wel hele dikke HP proliant DL3xx G8 voor trace PC toepassingen. Die halen wel 50x 50MB trace files per minuut. Wat eigenlijk ook maar 45MB/sec is.

Niet als je snaplength instelt. Eerste trace gewoon even alleen de headers capture -s 96 of 128 uit m'n hoofd. Payload is niet erg relevant tenzij je echt dieper in de trace wilt kijken.

Tja ik gebruik FreeBSD op mijn NAS. voor 1 GE werkt alles ok. Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec (4 GB file vanaf RAM disk)
Vanaf disk volume tussen 300-350 MB/sec.

Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

Quote from: jaco on April  1, 2015, 16:19:19
Tja ik gebruik FreeBSD op mijn NAS. voor 1 GE werkt alles ok. Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec (4 GB file vanaf RAM disk)
Vanaf disk volume tussen 300-350 MB/sec.

Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

Heb je ook de nodige tuning gedaan op de /etc/sysctl.conf ?

 Jawel,

https://pleiades.ucsc.edu/hyades/FreeBSD_Network_Tuning

De bovenstaande (niet alles) voor de 10GE op speed te krijgen. Werkt met iperf ok, met tcp window size wat omhoog, 400 MB/sec voor 1 sessie, met meer sessies is de link vol te krijgen.

Daarnaast heb ik nog verschillende dingen voor NFS geprobeerd:

vfs.zfs.prefetch_disable="0"
vfs.zfs.vdev.cache.size="64M"
vfs.zfs.vdev.cache.max="65536"

Dit maakt niet uit (145 MB/sec)

Daarna heb devolgende aanpassing in sysctl.conf gezet:
vfs.zfs.l2arc_write_boost=268435456 # (default 8388608)
vfs.zfs.l2arc_write_max=268435456 # (default 8388608)

Geen verbertering.

Als laatste in de loader.conf:
vfs.zfs.vdev.min_pending="1"
vfs.zfs.vdev.max_pending="1"

Dan is de overdracht snelheid rond de 143 MB/sec
Die laatste weer naar de originele waarden gezeg.

Dus nu rond de 145 MB/sec.
Zal weer die andere dingen terugzetten. Dan wordt het weer rond de 150MB/sec neem ik aan.

Hoe doe je de copy dan van de ene NAS naar de andere?

Je mount mbv NFS de pool van nas1 op een mountpoint van nas2.
En dan ga je via commandline op nas2 staan en doet een cp commando ? Of een andere manier?
Heeft ZFSguru ook een soort filemanager ingebouwd in de GUI ?


Ik vraag dat omdat als ik van NAS1 naar NAS2 kopieer mbv mijn windows PC (met SMB) dat dan de datastroom ook via mijn windows PC gaat lopen.  SMB v3 kent wel een mode "server side copy", maar dat werkt alleen binnen 1 SMB server en dezelfde share en alleen als je windows 8 gebruikt of een windows filecopy tool als robocopy. Voor NFS denk ik dat remote copy niet zomaar mogelijk is.

ik gebruik Midnight Commander voor copy.
En ja ik mount een file systeem van server 3 op een directory van server 2.
Dan in midnight commander heb je 2 delen, je navigeert naar de gemounte directory en andere beeldhelft ga je naar de doel directory en drukt de copy knop. (Je moet wel de files selecteren die je wilt copieren)
Dat is zeer geschikt voor simpele zielen zoals ik :)

Ok dan gaat het definitief niet via de windows PC.

Ik zou ook een snapshot kunnen maken en die met zfs send en receive kunnen doen.
Maar mijn eerste poging koste me 11 tb aan data (user error)

Loop je niet tegen de max I/O van je hdd aan? Of draai je raid1 ofzo?

Quote from: Kjelt on April  1, 2015, 22:21:40
Loop je niet tegen de max I/O van je hdd aan? Of draai je raid1 ofzo?

raidz2 met 10 schijven doet Jaco. ZFS raidz2 is een soort raid6 maar dan anders ;)

Schijven zijn het issue niet:
Bron systeem:

zpool iostat -v 1

                            capacity     operations    bandwidth
pool                     alloc   free   read  write   read  write
-----------------------  -----  -----  -----  -----  -----  -----
bootski3                 1.93G  9.95G      0      0      0      0
  gpt/Bootski-disk1      1.93G  9.95G      0      0      0      0
-----------------------  -----  -----  -----  -----  -----  -----
tank5                    16.2T  20.1T  1.22K      0   155M      0
  raidz2                 16.2T  20.1T  1.22K      0   155M      0
    gpt/7K4000_PAH2558S      -      -    194      0  18.6M      0
    gpt/7K4000_PAH2KW1S      -      -    193      0  18.6M      0
    gpt/7K4000_PAH35T7S      -      -    201      0  18.6M      0
    gpt/7K4000_PAGYN28S      -      -    201      0  18.6M      0
    gpt/7K4000_PAGW6JRW      -      -    200      0  18.7M      0
    gpt/7K4000_PAH2HHKS      -      -    206      0  18.6M      0
    gpt/7K4000_PAH2GB9S      -      -    201      0  18.7M      0
    gpt/7K4000_PAH2AU1S      -      -    206      0  18.6M      0
    gpt/7K4000_PAH2DBPS      -      -    200      0  18.6M      0
    gpt/7K4000_PAH2HGPS      -      -    205      0  18.6M      0
-----------------------  -----  -----  -----  -----  -----  -----


Ze kunnen per stuk 170MB/sec doen op gunstige sectoren, en nog 100 op de slechtste denk ik..

Ik heb in het verleden iets gezien als dit met zfs op FreeBSB i.c.m NFS en ESXI. Probleem zat hem daar in Sync writes die werden afgedwongen door ESXI. Writes Async laten uitvoeren loste het probleem op, maar was door ESXI niet supported dus voor mij destijds geen oplossing, daarna op iscsi gegaan ipv NFS en geen issues meer, Misschien dat jouw BSD naar BSD copy ook ergens sync writes afdwingt?

Dat kan je setten met : zfs set sync=disable tank5

http://www.oug.org/files/presentations/zfszilsynchronicity.pdf

Bij mij staat het nog default :
# zfs get sync pool1 pool3 pool4
NAME   PROPERTY  VALUE     SOURCE
pool1  sync      standard  default
pool3  sync      standard  default
pool4  sync      standard  default


Je gaat niet sync uitzetten op ZFS.
Dan moet je een SLOG device (SSD) toevoegen om meer iops te halen.

wellicht is dat wel de grens waar ik tegen aan loop.

Als ik binnen een server van pool naar pool copier haal ik wel 250-270 MB/sec, dus het lijkt niet een iops grens naar de SLOG op de hdd te zijn (ik heb geen dedicated SLOG device)

iperf tussen de 2 servers:


[root@zfsguru2 /]# iperf -c 192.168.3.153 -P 1 -i 1 -p 5001 -f M -t 10
------------------------------------------------------------
Client connecting to 192.168.3.153, TCP port 5001
TCP window size: 2.01 MByte (default)
------------------------------------------------------------
[  3] local 192.168.3.152 port 50742 connected with 192.168.3.153 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0- 1.0 sec   988 MBytes   988 MBytes/sec
[  3]  1.0- 2.0 sec  1052 MBytes  1052 MBytes/sec
[  3]  2.0- 3.0 sec  1135 MBytes  1135 MBytes/sec
[  3]  3.0- 4.0 sec  1183 MBytes  1183 MBytes/sec
[  3]  4.0- 5.0 sec  1075 MBytes  1075 MBytes/sec
[  3]  5.0- 6.0 sec  1181 MBytes  1181 MBytes/sec
[  3]  6.0- 7.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  7.0- 8.0 sec  1179 MBytes  1179 MBytes/sec
[  3]  8.0- 9.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  9.0-10.0 sec  1180 MBytes  1180 MBytes/sec
[  3]  0.0-10.0 sec  11346 MBytes  1134 MBytes/sec


Tja als je dan kijkt naar een off the shelf NAS product met 10Gbe interface van Synology voor 1100 euro te koop, die claimen 1.635.12 MB/s  read en rond de 750 MB/s write doorvoer. Dan denk ik dat ik niet zelf ga klooien maar gewoon zo'n doos aanschaf als ik er aan toe ben.

https://www.synology.com/nl-nl/products/DS2015xs#overview

Tja op papier.. Als ik 2x 10GE bundel kom ik wellicht ook wel tot 2000 MB/sec met iperf.
Maar .. Wat heb je er aan, tenzij je 10-20 clients hebt die tegelijk veel data willen. Maar dan is het afwachten of je disk systeem die data ook kan opleveren.
Uitbreiden van synology kost ook de hoofdprijs met 1000€ voor een 1215 erbij die dan 12 disks aan kan. Samen met de 8 uit de nas zijn dat er 20 samen. Ben je 2100€ kwijt.
Dat kan voor de helft met zelfbouw.

Quote from: jaco on April  2, 2015, 19:02:55
Tja op papier.. Als ik 2x 10GE bundel kom ik wellicht ook wel tot 2000 MB/sec met iperf.....
Dat kan voor de helft met zelfbouw.

Dan snap ik je eerdere opmerking wellicht verkeerd:

Quote from: jaco on April  1, 2015, 16:19:19
Als je naar 10GE gaat werkt copy van PC naar NAS max naar 450 MB/sec
Alleen teruglezen is goed 100 MB/sec, en ook nu met copy tussen 2 servers blijft het onder de 150 MB/sec steken. Dat vindt ik bedroefend langzaam om eerlijk te zijn.

Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het 70% zijn dan is het nog steeds 7x sneller en dat voor een kant en klare doos.
Toch niet slecht zou ik zeggen. En ja als je in de praktijk vanaf een conventionele hdd leest heb je er nu weinig aan, als je over een tijdje deze jongen in je pc hebt zitten:
http://nl.hardware.info/reviews/6008/intel-ssd-750-12tb-review-met-ruime-afstand-de-snelste-consumenten-ssd-ooit!
of zelfs beter nog een betaalbare versie van deze pro met read van 1600MB/s:
http://nl.hardware.info/reviews/6000/pro-intel-p3700-400gb-pcie-ssd-review-eerste-ervaring-met-nvme-overtuigt
dan wordt het andere koek  :)

Quote from: Kjelt on April  2, 2015, 22:11:24
Dan snap ik je eerdere opmerking wellicht verkeerd:Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het

Het probleem is dat de theoretische performance vaak niet te vergelijken is met de real world performance.
Die 10Gbe bundelen is natuurlijk onzin, dat is hooguit voor redundancy/fail-over interessant. Je hebt in de praktijk al moeite genoeg om de 10Gbe vol te krijgen laat staan 20Gbe.
Synology rekent met 8 schijven en 1600MB/sec dus met 200 MB/sec per schijf en nul overhead. Yeah right..  ::)

De Synology's zijn leuke dingen hoor. Mooie features en mogelijkheden, leuk als je niet verder dan 4,  8 of 12 schijven wil. Maar met zelfbouw kan je veel goedkoper naar 20 of zelfs 30 schijven. En ik denk dat de zelfbouw nas mensen het ook als hobby zien. Dus kant-en-klaar kopen is een beetje vals spelen.

Quote from: jaco on April  2, 2015, 08:20:10
Je gaat niet sync uitzetten op ZFS.
Dan moet je een SLOG device (SSD) toevoegen om meer iops te halen.

Je kan het als test proberen toch? Je kan het gewoon weer aan zetten naderhand.

Merk je nog verschil of je de mc op NAS1 draait en van NAS2 naar NAS1 kopieert (NFS read, local write)
Vergeleken met mc op NAS1 en van NAS1 naar NAS2 kopieren (local read, NFS write).

Ik heb zelf (onder linux) minder goede resultaten met mc als ik vergelijk met het onder KDE met grafische tool kopieren. Dwz mc blijft bij mij op 200MB/sec en grafisch onder KDE met Dolphin filemanager kom ik tot 400-500MB/sec bij kopieren van pool naar pool binnen de PC.

Pool naar pool met MC is 250 MB/sec

Interesante gedachte om de copy de andere kant op te doen inderdaad, dat ga ik proberen.
Ik moet nu server 1 leegmaken, dat is 48 TB, maar dat doe ik niet met 150 MB/sec.

Volgende oplossing is dan extender in server 1 met sff-8088 kabel naar server 3 en dan een local copy.

Ik heb geen grafische desktop standaard, maar kan die wel installeren. Ik heb een kvm switch waar alle servers aan hangen, dus dat moet lukken.

Quote from: Kjelt on April  2, 2015, 22:11:24
Dan snap ik je eerdere opmerking wellicht verkeerd:Zoals ik dit lees haal je dus 150MB/s read, terwijl de Synology het 11 voudige claimt, laat het 70% zijn dan is het nog steeds 7x sneller en dat voor een kant en klare doos.
Toch niet slecht zou ik zeggen.

Wat wel jammer is, is dat je het bij Synology met raid-5 of 6 moet doen, en een ext4 file systeem. Helaas beide zwaar achterhaald.
Ze schijnen wel met BTFRS bezig te zijn, dan wordt het interessanter om wat op op te slaan, heb je geen kans op bitrot meer.

Quote from: riwi on April  2, 2015, 23:42:12
De Synology's zijn leuke dingen hoor. Mooie features en mogelijkheden, leuk als je niet verder dan 4,  8 of 12 schijven wil.
Maar met zelfbouw kan je veel goedkoper naar 20 of zelfs 30 schijven.

Ik vraag me wel serieus af waar de grens van betrouwbaarheid ligt.
Mijn onderbuik gevoel zegt me dat de kans dat er binnen zeer korte tijd meerdere schijven kapot gaan als je veel meer schijven in een cluster hebt groter wordt.
Dan zou ook de redundantie van het systeem groter moeten zijn, dus ik vermoed des te meer schijven in een cluster des te hoger de redundantie des te lager het netto opslag rendement.
Dus ergens zal er een optimale clustergrootte zijn per NAS lijkt mij. Zal toch wel uitgezocht zijn ooit, iemand enig idee waar white papers hierover te vinden zijn?

Quote from: Kjelt on April  3, 2015, 09:58:31
Ik vraag me wel serieus af waar de grens van betrouwbaarheid ligt.
Mijn onderbuik gevoel zegt me dat de kans dat er binnen zeer korte tijd meerdere schijven kapot gaan als je veel meer schijven in een cluster hebt groter wordt.
Dan zou ook de redundantie van het systeem groter moeten zijn, dus ik vermoed des te meer schijven in een cluster des te hoger de redundantie des te lager het netto opslag rendement.
Dus ergens zal er een optimale clustergrootte zijn per NAS lijkt mij. Zal toch wel uitgezocht zijn ooit, iemand enig idee waar white papers hierover te vinden zijn?

Je hoeft niet 30 schijven in 1 volume te zetten. Je kan meerdere volumes maken. Mijn 30 schijven zitten in 3 losse pools, maar wel in 1 nas. Dat kan je in een Synology ook doen.

Whitepapers niet echt, dat is afhankelijk van het raid systeem, de toepassing, het doel, hoe kritisch de data is die erop staat, en de kans op een disk failure.
Met ZFS kan je kiezen voor raidz1, raidz2 en raidz3 (met 1, 2 of 3 redundante schijven), of je kan mirrors maken of zelfs 3-way mirrors. daar maak je dan een vdev mee. En je kan meerdere (oneindig veel)  vdev's in een pool zetten. Maar als je 1 vdev verliest ben je de pool kwijt. Daarom kies ik voor meerdere pools met 1 vdev per pool.
Dimensionering van bv. een raidz2 vdev zijn veel meningen over. Sommigen zeggen dat 4 data disk + 2 redundant disks gewenst is. Ik doe zelf 8 data + 2 red. schijven. Ik heb ook al printouts gezien van mensen die 16+2 schijven in raidz2 doen. De 2^n+2 komt voort uit de manier waarop ZFS de data verspreid over de disks in blokken van 128kB.
Ik las iemand op de ZoL mailinglist die een server bouwde met 240x6T schijven. Op de vraag hoe die dat ging backuppen was het antwoord dat ie er 2 bouwde :) Ik geloof dat die man voor vdevs van 16+3 ging met raidz3, maar wel alles in 1 pool.

Als je raid5 en raid6 bekijkt is 4+1 voor raid5 wel de max. en 8+2 voor raid6 denk ik. Bij raid5/6 moet bij een restore van een disk de volledige dataset doorlopen worden om te rebuilden.

De term cluster wordt meer gebruikt voor oplossingen met meerdere NAS servers. Dan krijg je dingen als Glusterfs. Een filesysteem dat meerdere servers overspant. http://en.wikipedia.org/wiki/GlusterFS

10 disk raid-z2 wordt wel als optimaal gezien met de verhouding tussen verlies aan redundantie en betrouwbaarheid heb ik meerdere malen gelezen. Dus daar ben ik ook maar voor gegaan.
Past ook mooi in gemiddelde server cases met 20 of 24 slots.
Op tweakers is er inderdaad iemand die 18 en 6 disken in vdev's heeft gestopt. Dat zal zijn om alle hdd posities vol te krijgen. Verder zal de read snelheid beter worden met een 18 disk raid-z2. Je krijgt niet meer iops, dus echte performance winsts is er wellicht niet voor veel toepassingen.

Net maar nog een mount gemaakt en nog een copy process gestart. Die start ook op met dezelfde snelheid en de anderezakt niet in.
Dus samen nu 290-300 MB/sec :)

Zojuist een test uit 2012 (dus resultaten zullen iets beter zijn vandaag de dag) gelezen van een NAS met 10Gbe interface.
Ook hier typerend dat het schrijven 2x sneller gaat dan het lezen, maar ik vermoed dat dit dus volledig gecached wordt dus zodra je out of RAM raakt zal het wel instorten.
Inderdaad vallen de resultaten wat tegen, afhankelijk van RAID type rond de 750/820 MB/s voor schrijven en 420/480 MB/s voor lezen.
Dus 6,5Gb/s schrijven en 3,8Gb/s voor lezen.
Nu hertesten met SSD's  ;D

Oeps vergeten de URL toe te voegen:
http://www.techspot.com/review/528-nas-10gbe-performance/page7.html

Jammer dat ze niet beter beschrijven hoe ze testen.
Ik kan ook een youtube linken waarin een freebsd nas 10GBE vol pompt, maar dat is dan vanuit een cache uit ram (wat zfs standaard doet)
Als je met 6GB iso files test zijn ze goed in ram te cachen..

Klopt dat cache effect is volgens mij de delta tussen het schrijven (upload) en lezen (download) want zonder cache zou schrijven altijd langzamer zijn dan lezen.

Ik heb wat testen gedaan die iemand op tweakers voor me opgesteld heeft.
Iperf: 965 MB/sec
Copy via mbuffer van gegenereerde data: 1073 MiB/sec
Lezen vanuit de pool op de nas: 1.11GB/sec

Dus theoretisch kan ik met ZFS send en receive via mbuffer 1 GB per seconde over het netwerk  krijgen.
De laatste test liep spaak omdat ik een pool aan moet maken op doel systeem, en daar wil ik wat meer van weten. Als het met die snelheid loopt is het in een paar uur klaar..

Da's goed nieuws :) Dan heb je de 10 Gbit verbinding niet voor niets  :ph34r:

Ik las in de ZoL commits en pull requests dat ze die "mbuffer" feature willen inbouwen in zfs send en receive. Of in ieder geval dat het niet meer nodig is om via mbuffer te gaan.

Het loopt nu goed.

Ontvangend system:

receiving full stream of tank5/share@2015-04-09 into pool1/share/share@2015-04-09
in @ 1023 MiB/s, out @ 1027 MiB/s,  614 GiB total, buffer   0% full


zendend system:
[root@zfsguru3 /home/ssh]# zfs send -R tank5/share@2015-04-09 | mbuffer -4 -s 128k -m 1G -O 192.168.3.151:5001
in @  989 MiB/s, out @  989 MiB/s,  502 GiB total, buffer 100% full

Snelheden schommelen tussen de 750-1120 MiB/sec  :headbanging:

Ofwel 4 TB na 90 minute nu.

Update: complete pool copy loopt tussen de 850-880 MB/sec

Gaaf

 Mooi werk. Ik heb sinds vanmiddag ook een 10Gb/s optische backbone tussen mijn zolderkamer en ht ruimte. Ik heb alleen niet de mogelijkheid het te testen want ik heb nog geen PC met 10Gbs nic.  ;D
Mijn eenvoudige Synology NAS van de week eens via link aggregatie aansluiten.