Bouw flinke NAS

Started by Moondust, April 5, 2014, 10:40:05

Previous topic - Next topic

0 Members and 1 Guest are viewing this topic.

jaco

Als je naar zfs wilt moet je vooruit plannen, en niet denken dat je er wellicht 1 of 2 hdds bij kunt zetten onder hetzelfde volume. Dat is je op tweakers al uitgelegd.
Ik heb 2x een update van een server gedaan, en dan 10 hdds erbij gezet. Ik gebruik 10 disk raidz2 in een volume. Het grote nadeel is dat ik 4 shares op mijn dune heb. Maar ja, 4x een shortcut en je bent snel klaar, alleen moet ik weten welke film op welke share staat.

activ

@jaco: Maar waarom heb je vier shares dan? Je kunt als je een recente ZFS versie hebt gewoon disks toevoegen aan bestaande ruimte. Je moet alleen dan als je bijvoorbeeld raidz draait met drie schijven er ook weer drie bij doen en niet bijvoorbeeld één want dan is de data op die ene niet in raidz.
Als ik het zo lees dan had je toen ook gewoon je 10 nieuwe schijven toe kunnen voegen als raidz2 aan je bestaande pool.

jvanhambelgium

Quote from: jaco on April 10, 2014, 07:32:52
Maar ja, 4x een shortcut en je bent snel klaar, alleen moet ik weten welke film op welke share staat.

Dat heb je natuurlijk voor als je op deze manier werkt.
Als je gebruik maak van een indexer/upnp server maakt het allemaal niet uit waar de data staat en is dit allemaal relatief.

Zo kan je vb gewoon 10 losse disks toevoegen, niks van RAID/ZFS whatever en de content die erop staat gewoon netjes laten indexeren  (vb Yadis, Plex oid). Als je natuurlijk met gewoon NFS export aan de slag gaat moet je inderdaad weten wat waar staat...
Dit is de meest eenvoudige vorm, telkens /home/DISK1 ... DISK10 mountpoints, elk van deze HD's ext4 en klaar.
Bij uitval van 1 disk ben je inderdaad een 10%  films kwijt...so what. Geen enkel verlies/overhead en snel genoeg.
HT Zolder Topic : http://www.htforum.nl/yabbse/index.php?topic=107044.0
A multichannel audio system is intended to be a social experience,
shared among several listeners. It is not like stereo, an antisocial
experience, if it is to be heard properly. (Floyd E. Toole, Ph. D.)

jaco

Ik heb 4x yadis geinstalleerd, dat vindt ik niet echt optimaal. Maar het werkt.

jaco

Quote from: activ on April 10, 2014, 07:39:12
@jaco: Maar waarom heb je vier shares dan? Je kunt als je een recente ZFS versie hebt gewoon disks toevoegen aan bestaande ruimte. Je moet alleen dan als je bijvoorbeeld raidz draait met drie schijven er ook weer drie bij doen en niet bijvoorbeeld één want dan is de data op die ene niet in raidz.
Als ik het zo lees dan had je toen ook gewoon je 10 nieuwe schijven toe kunnen voegen als raidz2 aan je bestaande pool.
Ja dat kan maar dan maak je een raid-0 van die 2 vdev's
Als er dan 1 van de 2 vdev's uitvalt ben je alles kwijt. Nu weet ik niet of de kans daarop groter is dan 2 losse pools.

Andere reden is dat ik nu per pool spindown heb. Dus als ik de nas gebruik is het maar vanaf 1 pool, en is de andere spinned down. Minder lawaai, minder warmte ontwikkeling.

activ

Ah, dat tweede argument snap ik helemaal. Bedankt voor de toelichting.

Moondust

#56
Na wat wat meer onderzoek in ZFS-land heb ik mijn aspiraties wat getemperd. Een beetje gezonde downsizing dus, maar tevens wat wijzigingen in het kader van veiligheid van de server en data waar nodig. En virtualisatie is nu echt definitief van de baan, heeft voor mij bij nader inzien geen meerwaarde. Ik overweeg nu onderstaande hardware te gaan aanschaffen.

Intel Pentium G3420 Boxed (€ 53,-)
Scythe Samurai ZZ Rev.B (€ 22,36)
Arctic Cooling MX-2 Thermal Compound (4g) (€ 3,50)
Ik ben afgestapt van de Xeon. Deze G3420 is krachtig genoeg voor storage, torrents, usenet en ftp en heeft support voor PC3-12800 (1660MHz) RAM. Wat goede pasta erbij om de temps zo laag mogelijk te houden. En een low profile koeler die ik ook in mijn HTPC heb zitten en mijn i7 al 2 jaar passief prima koelt. De truuk is zorgen voor een goede airflow in de kast.

Supermicro X10SL7-F (€ 217,56)
Servermoederbord met 6 x SATA en 8 x SAS en verder alles wat ik op een servermoederbord zou wensen (b.v. KVM/IPMI). Een aardig wat goedkoper alternatief is de ASRock C226 WS (€ 168,-) met 10 x SATA (ken net!) maar wel met een HDMI-port en UEFI ipv BIOS. Ben hier nog niet uit.

2 x Samsung M391B1G73BH0-CK0 (8GB ECC CL11) (€ 90,- via vriend)
Via-via heb ik geleerd dat Samsung heel goed servergrade ECC geheugen maakt. Het is tamelijk slecht verkrijgbaar voor consumenten, maar ik koop het via-via. De eerdere 32GB ECC zijn voor virtualisatie prima, maar voor mij niet noodzakelijk. Ik zou zelfs met 8GB toekunnen, maar dat vind ik met ZFS te krap worden.

10 x [http://tweakers.net/pricewatch/347909/wd-red-sata-6-gb-s-wd40efrx-4tb.html]WD Red SATA 6 Gb/s WD40EFRX, 4TB[/url] (€ 149,77)
40TB schoon aan de haak en in ZFS RAID-Z2 hou ik nog 32TB over, wat effectief ongeveer 29TB is. Daar moet ik het wel even mee uit kunnen houden.

Silverstone Grandia SST-GD07B (€ 120,50)
Evercool Armor Black (ong. € 30,-)
Mooie compacte kast, eigenljik een HTPC model, maar met de Evercool erbij kan ik er 10 hdd's in kwijt. Veel stiller en kleiner dan een servercase. Ik moet nog wel even kijken waar en hoe ik deze ga plaatsen, want afgesloten in een kastje lijkt me geen goed idee.

2 x Sandisk Extreme USB 3.0 Flash Drive 16GB Zwart (€ 41,72)
Voor het OS in RAID1.

be quiet! Straight Power E9 450W (€ 71,50)
Silverstone SST-CP06 4x SATA (€ 8,17)
Deze voeding komt bij testen erg goed uit de verf en laat zowel bij lage als hoge vermogens hoge efficiëntie zien. Daarnaast heeft deze voeding 7 x SATA waardoor ik maar extra kabeltje nodig heb om alle 10 de disks van juice te voorzien.

In de prullenbak zijn de UPS en de SSD's. Kans op corrupte data bij stroomstoringen is nihil en de snelheid van SSD's heb ik voor mijn toepassing niet nodig. De array zelf is snel genoeg.

Totaal: € 2.250,- + nog wat verzendkosten enzo

Nog steeds een hoop geld, maar het gaat vooral in de hdd's zitten en daar moet en kan ik niet op bezuinigen. In ieder geval is deze setup goedkoper, sneller en flexibeler dan een kant-en-klare oplossing van Synology of Qnap. Ik lever er alleen gebruiksgemak voor in, maar dat is juist het leuke gedeelte, lekker rommelen. Met de verkoop van mijn huidige Areca RAID-kaart en 8 x 3TB WD Red (1 jaar gedraaid zonder spindowns, dus weinig slijtage) hoop ik de investering ruim onder de € 1.500,- te krijgen.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

dennism

Ik ben wel benieuwd hoe je 2 USB sticks in Raid 1 Bootable krijgt, ik ben nog geen mobo tegen gekomen dat daar oondersteuning voor heeft.

Moondust

Met ZFS kan softwarematige RAID toegepast worden, waaronder RAID1. Maar ik moet toegeven dat het idee niet van mij afkomstig is. Ik zal eens navragen bij diegene.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

jaco

Geen wd red kopen als je nfs wilt gebruiken.
Het is software raid, waarom meer betelen voor de opties voor een hardware raid compatible hdd ?
Green 4 TB iss prima, en goedkoper.

Moondust

Green = 300,000 load/unload cycles en 2 jaar garantie
Red = 600000 load/unload cycles en 3 jaar garantie

Het schijnt de moeite waard te zijn.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

dennism

Je koopt ze dan wel enkel voor het jaartje extra garantie denk ik, zulke aantallen load cycles zou je nooit moeten halen in een NAS/SAN, mijn Samsungs in mijn synology hebben na 3 jaar nu 67 load cycles.

Moondust

Daar heb je gelijk in Dennis, ik ga dat nog even bekijken. Staat een langere garantieperiode gelijk aan betere kwaliteit? En is dat in cijfers uit te drukken? MTBF?
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

chansig

Domme vraag misschien...wat zijn load cycles ?

Gr Hans
Teleskopos, Paradigm PW Link, BACCH software, akoestisch gefröbel, Audio Gear powerkabels,  AQ Forest digitale/optische kabels.

Moondust

#64
Ik heb even snel e.e.a. gelezen over load cycles. Load cycles is het aantal keren dat de koppen van de harde schijf worden geactiveerd vanuit slaapstand. De koppen in de slaapstand schijnt energie te sparen, maar kost wel extra tijd bij het activeren. Via google kom ik verhalen tegen van zo'n 500 load cycles per dag en zou de Green dus in krap 2 jaar versleten zijn. De volgende vraag is wat precies bepaald hoeveel loadcycles er worden uitgevoerd. Zijn daar parameters voor die je kan aanpassen? Ik ben geneigd te denken dat de Red hdd's toch wat meer gebouwd zijn op continu draaien dan de Greens, en dat WD dat vertaalt naar een langere garantie. Het is dan niet alleen de garantie maar de betere kwaliteit die eraan ten grondslag ligt die de doorslag geeft. Maar ik moet er nog wat meer induiken.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

dennism

Red's zijn volgens mij 24/7 gecertificeerd inderdaad, Greens niet, deze zijn geloof ik maar 8/5 of 8/7 gecertificeerd. Niet alle greens series zijn trouwens even betrouwbaar gebleken, ik geloof dat de eerste series vooral in NAS'sen regelmatig uitval hadden maar dat dit bij latere series flink verbeterd is, volgens mij waren dit de series waar de koppen van de greens na iedere 8 seconden inactviteit gingen parkeren, ik weet niet of de laatste series dit nog steeds doen. In enkele 2 bay syno's gebruik ik recente greens naar tevredenheid (wel pas sinds de op de synology HCL staat), of ik greens voor een array van 40 zou gebruiken weet ik niet afhankelijk van de kritiekheid van de data zou me dat mogelijk een te groot risico zijn met consumenten schijfjes daar ik niet verwacht dat je er een 2de unit naast zet voor backups en je dus ws voor de bulk van je data zal vertrouwen op de redundantie in je array van zo te zien 2 schijven. Zakelijk gebruik ik in NAS'sen voor bijv. Backups wel alleen maar 24/7 gecertificeerde schijven van diverse merken.

Moondust

Ik ben geneigd toch voor de Reds te gaan ivm het 24/7 operationeel zijn van de schijven. Greens lijken daar niet voor gemaakt. Ik heb wel wat redundantie, maar voorkomen is beter. Op een totaalbedrag van 2250 euro ga ik niet bezuinigen op betrouwbaarheid voor 10-15 euro per schijf. Maar ik geef toe dat het meer een gevoel is dan dat ik het hard kan bewijzen.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

eduard

#67
Er is ook nog een ander verschil tussen de red en de niet red schijven het heeft te maken met TLER.

OP een ander forum kwam ik het volgende tegen

http://arstechnica.com/civis/viewtopic.php?f=11&t=1207347

Well, there's a little more to it than "paying for firmware" you're not getting. You're getting a feature that you probably don't want in any single-drive configuration, be it in your computer or in a NAS. The good news is that it's THAT big of a deal, and should be disable-able in software. There are other differences in the drive that are generally positive-- reduced temps and vibration resistance for example. I'd probably just keep using it, but here's the big think to know.

The Red enables TLER, which prevents the drive from hammering on a sector for more than ~7 seconds if it's having trouble reading or writing. All drives, including good ones, will go through a certain number of sectors they have trouble reading/writing over time and will re-map those. A simple re-map is not very time-consuming and while you may be able to perceive a minor hitch or hiccup in performance, that's all it is. If something is really bad, a desktop class drive would hammer on that sector and try desperately to read the data and remap it rather than just giving up. In extreme cases, this can take 30+ seconds to a minute or two. Well, in a RAID set, you want it to give up as soon as possible because you're holding up the drive from doing anything else. In RAID 1, 5 or 6 (or more complicated RAID types) you know that you have the data on another drive somewhere. The goal here would be to take that disk offline and request that a new drive be added to replace the one that's having trouble. That prevents performance and reliability issues for RAID.

In practice, you're probably OK if your drive gives up after 7 seconds. That's enough to fix any normal issue and you're not using it for life-or-death documents or media.

Moondust

Ik meen dat TLER alleen bij hardware RAID werd aangeraden en bij software RAID (waaronder ZFS) het geen meerwaarde heeft. Maar, correct me I'm wrong.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

Kjelt

Maar ga je dat ding 24/7 aan laten staan? Wat trekt dat ding aan W? Iedere W is een euro per jaar aan energiekosten.

Moondust

#70
Ok, een rekensom.

Een WD Red 4TB trekt idle 3.3 Watt volgens WD. In standby slechts 0.4 Watt. Een verschil van 2,9 Watt. Bij 10 stuks wordt dat 29 Watt. Als ze 24 uur draaien is dat 29 x 24 = 696 Wh. Op jaarbasis is dat afgerond 250 kWh. Ik weet de prijs van een kWh niet precies, maar uitgaande van 25 cent, kost het laten spinnen van 10 hdd's dus iets meer dan 60 euro per jaar. Dat is 5 euro per maand voor 10 disks. En dan hebben we het over de ideale standby-situatie (dus altijd in standby stand). In de praktijk zullen de disks zeker geregeld spinnen en wordt het verschil in stroomverbruik minder. Ik gok dat ik voor mijn situatie minimaal de helft eraf kan halen. Dan hebben we het over tientjeswerk op jaarbasis. Significant, maar voor mij niet significant genoeg om mijn disks in standby zetten bij inactiviteit. Geen spindowns en spinups zorgen naar verluid bovendien voor minder slijtage, maar ik heb die claim nooit tot de bodem uitgezocht.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

dennism

#71
Een 40TB array (en eigenlijk een kleinere array ook niet) wil je echt niet regelmatig laten down en up spinnen met consumenten drives, dat is een van de slechtste zaken voor de levensduur van een HD naast geloof ik de spanningspiek bij een cold boot.

eduard

Quote from: Moondust on April 16, 2014, 01:05:14
Ik meen dat TLER alleen bij hardware RAID werd aangeraden en bij software RAID (waaronder ZFS) het geen meerwaarde heeft. Maar, correct me I'm wrong.

Doordat TLER al ingebakken zit zou dit eventueel een probleem kunnen zijn. Maar ik weet er zelf ook te weinig van om een goede conclusie te trekken.
Wat ik er van begrijp is dat doordat disk tler heeft sneller opgeeft voor het herstellen van fouten.

Eduard

Moondust

Correct maar 7 seconden schijnt meer dan genoeg te zijn.
Pioneer KRP-600M • Anthem MRX-700 • 2 x Revel F32 + 2 x Revel M22 + Revel C32 • Velodyne DD12 • Samsung DCB-H380R

ikkeenjij36

Heb je ook al eens gedacht aan zfsguru als os?
Ook compleet zfs minded en gelijk alle services erin om als nas te werken.
Ook goeie support op het tweakers forum en er staan nog grote ontwikkelingen op stapel binnenkort.
Ik draai het hier ook in een define xl2 en is gewoon lekker stil in de kelderkast.
Opslag is 6x2tb wdearx/s schijven en os op een klein ssd'tjs ocz vertex3 60gb.
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks