RAID based storage oplossingen

[jaco]

Ik heb nas4free en zfsguru gedraaid met 4 gb op een atom en dat ging wel redelijk.
De copy snelheid met een snellere machine en meer ram is wel beter.
Dat ging van 60 naar 110 mbyte/sec

[jaco]

Deduplicatie lijkt me voor films helemaal onzin, werkt neem ik aan met datablokken.
Moet dan de fbi warning daarin passen ? Of studio logo's

[riwi]

Deduplicatie lijkt me voor films helemaal onzin, werkt neem ik aan met datablokken.
Moet dan de fbi warning daarin passen ? Of studio logo's

Ik weet niet zeker hoe het met 3D films werkt op een bluray, maar daarbij wordt ook datareductie toegepast op filesystem niveau volgens mij. Hoe krijgen ze anders 80GB op een 45GB schijfje. Tussen de left en right eye stream zal data deduplicatie misschien ook goed werken omdat daar weinig verschillen in zitten.

Met series zou je de minuut intro-leader misschien goed met data dedup kunnen compressen. Ik denk dat de "woke up this morning" intro in de Soprano's, die bij alle afleveringen identiek is, wel met data dedup is te doen

Maar het lijkt me inderdaad niet erg efficient voor films. tenzij je ze per ongeluk 2x op gaat slaan

[eduard]

Ik herhaal even mijn vraag van verleden jaar.

Vandaag viel er weer een schijf uit in mijn qnap nas. Ik hoop dat de schijf nog te redden is maar.

Opzich lijkt het me wel interessant om te kijken hoe win 8 als nas werkt.

Ik vroeg me af of er al personen aan het spelen zijn met een nas op basis van win 8 windows 8 heeft een eigen oplossing Storage space.

Ik heb zelf win 8 pro draaien maar even geen schijven beschikbaar om er mee te spelen in nl versie kwam ik het tegen via configuratie scherm en dan zoeken op space of opslag ruimte.

Heb onderstaande topics nog niet echt door genomen maar ze lijken me wel interessant.

http://arstechnica.com/information-technology/2012/10/storage-spaces-explained-a-great-feature-when-it-works/
http://forum.xbmc.org/showthread.php?tid=119029
http://blogs.msdn.com/b/b8/archive/2012/01/05/virtualizing-storage-for-scale-resiliency-and-efficiency.aspx
http://arstechnica.com/information-technology/2012/01/windows-8-storage-spaces-detailed-pooling-redundant-disk-space-for-all/
http://www.theregister.co.uk/2012/01/07/windows_8_storage_spaces/

[dennism]

Ik herhaal even mijn vraag van verleden jaar.

Vandaag viel er weer een schijf uit in mijn qnap nas. Ik hoop dat de schijf nog te redden is maar.

Opzich lijkt het me wel interessant om te kijken hoe win 8 als nas werkt.

Ik vroeg me af of er al personen aan het spelen zijn met een nas op basis van win 8 windows 8 heeft een eigen oplossing Storage space.

Ik heb zelf win 8 pro draaien maar even geen schijven beschikbaar om er mee te spelen in nl versie kwam ik het tegen via configuratie scherm en dan zoeken op space of opslag ruimte.

Heb onderstaande topics nog niet echt door genomen maar ze lijken me wel interessant.

http://arstechnica.com/information-technology/2012/10/storage-spaces-explained-a-great-feature-when-it-works/
http://forum.xbmc.org/showthread.php?tid=119029
http://blogs.msdn.com/b/b8/archive/2012/01/05/virtualizing-storage-for-scale-resiliency-and-efficiency.aspx
http://arstechnica.com/information-technology/2012/01/windows-8-storage-spaces-detailed-pooling-redundant-disk-space-for-all/
http://www.theregister.co.uk/2012/01/07/windows_8_storage_spaces/

Ik heb er mee getest, en hoewel het een leuke feature is, vind ik het nog niet "af" genoeg om het daadwerkelijk te overwegen als NAS vervanger, mogelijk dat MS bij de volgende generatie Storage space op deze punten verbeterd waardoor het wel een geschikte tegenhanger wordt. De huidige versie is vrij traag naar mijn mening (60-40MB/s write naar een Mirror storage space, en 50-25MB/s naar een Parity based storage space. Mijn 2 jaar oude 4 Bay synology haalt significant hogere snelheden met dezelfde grootte en generatie drives, Samsung HD204 greens in de synology en WD 2TB Green drives gebruikt voor het testen van Storage spaces.

Tevens zitten er o.a. nog wat onhandigheden in bij het uitbreiden van capaciteit, hier moet je goed over nadenken anders kom je in de problemen bij het daadwerkelijk uitbreiden, ik kwam o.a. tegen dat bij het uitbreiden van een 3 disk parity space naar een 4 disk parity space de uitbreiding alleen volledig te gebruiken is wanneer de andere 3 disks leeg zijn, anders stopt de space er na een tijdje alsnog mee, omdat bij de uitbreiding bestaande data niet wordt herverdeeld. Bijv als disk 1,2,3 van 2TB allen 50% vol zijn en je gaat uitbreiden wordt je space wel 6TB effectief (5.x geformatteerd uiteraard). echter op disk 1,2,3 zal al zo'n 1TB per drive in gebruik zijn. De toegevoegde disk zal volledig leeg zijn. Ga je dus data schrijven dan wordt disk 4 gevuld met data, echter zal ie ook parity gegevens op de andere disks plaatsen waardoor als nog de originele 3 disks sneller vol zijn dan de 4de. 

Verder zie ik het ook niet als een veiligere opzet dan bijv een Qnap nas, als een disk in een Qnap klapt dan zal ie in een storage space server ook klappen, tenzij uiteraard je Qnap zelf hardware matig defect is. Ik zou zelf ook een defecte schijf nooit terugzetten in een NAS dan wel server maar altijd vervangen met een nieuwe tenzij ik er 100% van overtuigd zou zijn dat de disk niet uit de array gegooid is door diskfalen.

[eduard]

Hoi Dennism
Bedankt voor je uitgebreide reactie. Je hebt me nog wat stof gegeven om over na te denken.

Mvgr
Eduard

[Bart_M]

Ik zat nog eens naar een andere aanpak te kijken.

Waarom zou je geen RAID0 configuratie gebruiken en een cloud backup oplossing nemen met een onbeperkte dataopslag?
Snelheid zou beter moeten zijn en je hebt geen schijf meer nodig voor redundantie.

[dennism]

Raid-0 is leuk voor zaken als boot schijven e.d. al wordt het daar de laatste jaren ook minder voor gebruikt ivm SSD's die nog een pak sneller zijn, maar in een NAS vaak geen toegevoegde waarde, een NAS is veelal gelimiteerd aan de snelheid van Gbit ethernet bij single access, en sommige nassen gelimiteerd op 2x Gbit Ethernet bij multiple access. Welke door de wat meer highend NAS modellen al zo goed als benut worden. De snelheid is er over het algemeen genomen dus wel, gebrek aan snelheid ligt vaak meer aan de gebruikte implementatie (zoals bij Storage spaces, wat gewoon nog teveel overhead heeft) of gebruik van goedkope hardware (budget NAS).

Daarnaast is Cloudbackup redelijk goedkoop (of zelfs gratis) bij kleine volumes. Als je grotere volumes gaat gebruiken loopt de prijs vaak snel op. Bijvoorbeeld Amazon S3, een veel gebruikte cloudbackup oplossing rekend voor 4TB backup ruimte zo'n €300 per maand voor 2 TB nog zo'n €150 per maand en dit is exclusief requests (put, get, copy, list) welke ongeveer €0,01 per request kosten en het restoren van data wat bij zulke volumes ook ongeveer €0.10 per GB kost. Ook ben je hierbij natuurlijk afhankelijk van de internet connectie. Bij een glasvezel aansluiting van 100Mbit zal een cloudbackup met deze volumes al redelijk lang bezig zijn met backup en restore, als je echter nog een 20mbit oid ADSL hebt dan is het helemaal een drama.

Bij grote volumes zoals bij NAS gebruik vaak normaal is, zijn dit soort oplossing dus niet echt kosten effectief tegenover NAS capaciteit uitbreiden, al is redundantie nog steeds geen backup, daar zou je eigenlijk een 2de NAS voor moeten aanschaffen en deze mirroren op een alternatieve locatie

[riwi]

Ik zat nog eens naar een andere aanpak te kijken.

Waarom zou je geen RAID0 configuratie gebruiken en een cloud backup oplossing nemen met een onbeperkte dataopslag?
Snelheid zou beter moeten zijn en je hebt geen schijf meer nodig voor redundantie.

Ik gebruik al jaren raid-0 voor de data partities van mijn video verzameling. Werkt prima.
ipv de cloud backup, doe ik wel eens backup van bepaalde zaken naar 'oude' schijven die toch al dan in de kast liggen.

Ooit begonnen met raid-0 van 2 schijven, later raid-0 over 4 schijven en momenteel heb ik 4 raid-0 partities van respectievelijk 10, 6, 4 en 4 schijven. Die van 10 is wat overdone, maar 6 moet prima kunnen.

Ik ben nog nooit veel kwijt geraakt, maar ik vervang redelijk snel schijven en zorg voor goede koeling en bewaak schijven via de smart tools. Desalniettemin is het bij raid-0 weg=pech en daar moet je dan niet moeilijk over doen achteraf.

@dennism : raid-0 voor boot schijven zie ik het nut niet van in tenzij je een tweaker bent die 30 per dag z'n windows PC reboot. Het OS van een nas oplossing zal er weinig baat van hebben.

[dennism]

Van een NAS idd niet nee, voor een NAS (gebaseerd op PC hardware) zou ik nu een 40GB SSDtje (of misschien een 80GB wanneer er ook nog andere meuk op moet draaien) oid als boot device nemen,  Echter in de tijd dat SSD's nog onbereikbaar waren voor de normale mens, dad ik in mijn game PC / Workstation 2x een 150GB WD Velociraptor in Raid-0 als boot/programma/game disk. En dat was toch wel even een pak sneller dat de destijds standaard 7200 toeren schijfjes bij het booten, gamen en het draaien van bepaalde programma's. Ben nu uiteraard over naar SSD wat nog een pak sneller is, maar heb er zeker geen spijt van gehad dat ik destijds (ik geloof in 2007) voor die Raid-0 opstelling ben gegaan, data stond uiteraard op andere drives.

[jaco]

Alle films inmiddels op de zfsguru server staan.
Eindelijk weer eens een film kunnen kijken zonder stress die ik met Unraid had. (Mijn hardware en unraid zijn geen goede vrienden)
Bij al die copy slagen die ik gemaakt heb nooit issues met snelheid etc gehad.

De films met de dune kunnen aspelen kan niet makkelijker: browse worgroup, selecteer de share en daar ga je. Niets instellen op zfsguru (ok je moet 1 keer klikken op samba sharing bij de share die op een pool draait) maar geen gezeik met users en passworden etc.
Snelheid moet ook toenemen omdat de hele yadis structuur in een ssd gecached moet worden.
Dan zou het selecteren en scrollen een stuk sneller moeten gaan..

Ik kan het iedereen aanraden.

[Bart_M]

Alle films inmiddels op de zfsguru server staan.
Eindelijk weer eens een film kunnen kijken zonder stress die ik met Unraid had. (Mijn hardware en unraid zijn geen goede vrienden)
Bij al die copy slagen die ik gemaakt heb nooit issues met snelheid etc gehad.

De films met de dune kunnen aspelen kan niet makkelijker: browse worgroup, selecteer de share en daar ga je. Niets instellen op zfsguru (ok je moet 1 keer klikken op samba sharing bij de share die op een pool draait) maar geen gezeik met users en passworden etc.
Snelheid moet ook toenemen omdat de hele yadis structuur in een ssd gecached moet worden.
Dan zou het selecteren en scrollen een stuk sneller moeten gaan..

Ik kan het iedereen aanraden.

Je hebt dan alleen een file oplossing, geen squeezebox ondersteuning?

[riwi]

Ik kan het iedereen aanraden.

Ik heb een 128GB ssd vrijgemaakt voor het booten. En een PC staat klaar met 4 schijven van 1.5TB. Nu alleen nog wat tijd vinden om er zfsguru op te zetten. Ik ben benieuwd.

[jaco]

Wat moet ik met een squeeze server, ik heb een sooloos ding, en die gebruikt zijn eigen storage.

[riwi]

Ik heb een 128GB ssd vrijgemaakt voor het booten. En een PC staat klaar met 4 schijven van 1.5TB. Nu alleen nog wat tijd vinden om er zfsguru op te zetten. Ik ben benieuwd.

De machine draait nu met zfs guru.

Ik heb alleen ergens een rare keuze gemaakt want het systeem staat nu op de harddisk pool en niet op de SSD.
De SSD van 128G wordt gebruikt als pure L2Arc cache.

Machine is puur als experiment bedoeld nu.
Asus bordje met Athlon64-x2 3800 (low power 35W), 4GB DDR2 geheugen, video onboard.
5x onboard sata, 1x e-sata, PCI-E 1x Highpoint kaartje met 4x sata.
1 RAIDZ pool met single parity over 4 disks van 1.5TB en een oude Crucial C300 128GB SSD als L2ARC cache.

Transfer rate naar de PC toe via SMB is ong. 80MB/sec, dus da's best netjes. Met raid-0/slack haalde ik +-90MB/sec met deze PC.

Ik heb alleen de wake-on-lan nog niet werkend. De PC luistert niet naar magic packets. Deed ie onder slackware wel. Daar moest ik met ethtool de wol aan zetten. Met BSD moet dat met ifconfig schijnt alleen werkt dat nog niet hier.

Misschien dat ik nog eens vers opnieuw begin en het systeem wel op een deel van de SSD zet.
Ik vind het wel prettig om systeem en data te scheiden.
@jaco : Waar heb je de keuze gemaakt om het systeem op de SSD te zetten? Moet je een pool maken van de 'ene' SSD en dan op die pool installeren?

[jaco]

Ehh, ik heb van cd  geboot met de ssd actief in het systeem. Dan moet je een disk kiezen voor de instal, en ik heb een pool gemaakt op de ssd. (Unprotected pool)
Ik hoefde er weinig over na te denken, het leek allemaal logisch te gaan.
Ik heb daarnaast 2 raidz2 pools van 10 disks gemaakt voor de films.

Het leek logischer om van ssd te booten eigenlijk, zfsguru ondersteund haast als enige van de pool booten.

[riwi]

Ehh, ik heb van cd  geboot met de ssd actief in het systeem. Dan moet je een disk kiezen voor de instal, en ik heb een pool gemaakt op de ssd. (Unprotected pool)
Ik hoefde er weinig over na te denken, het leek allemaal logisch te gaan.
Ik heb daarnaast 2 raidz2 pools van 10 disks gemaakt voor de films.

Het leek logischer om van ssd te booten eigenlijk, zfsguru ondersteund haast als enige van de pool booten.

Inderdaad. Zo heb ik het nu ook begrepen. Dus een pool maken van die ene SSD en dan daarop het systeem zetten. Dan een pool maken van de rest van de disks voor de data. Eens kijken of ik de SSD kan indelen in bv. 20GB voor het systeem en 100GB voor bv die L2ARC toestand.

Ik wil nog wat negative testing doen deze week. Power eraf trekken, disk trekken, sata kabels omwisselen etc.

[jaco]

Ja je kunt de SDD indelen in ZFSguru.
Je moet simpel op de balk van de device drukken, en dan kun je partities maken.
Daar keek ik ook eerst vol overheen, maar het werkt super.

lees deze post op tweakers: http://gathering.tweakers.net/forum/list_message/37454704#37454704

Je schijnt ook ruimte op de SSD niet compleet te moeten indelen.

Verder hoef je geen 100 GB voor L2ARC te maken omdat er standaard geen streaming data gecached wordt.
Het is meer metadata. Ik gebruik Yadis voor de Dune, en als je een keer naar benenen scrolled, en dan weer omhoog, is die data wel gecached leek me. De Yadis directory is iets van 6 GB of zo (voor 500-600 films)

[jaco]

Ik heb nu copy snelheden van 250 mb/sec van pc naar zfsguru server.
Vanuit een ramdisk zelfs 450 MB/sec 

En niets geen cachedisk, gewoon direct naar de zfs pool.

[riwi]

Heel netjes zeg 250MB/sec is wel erg snel. Maar die ZFS server bereik ja dan niet via gigabit neem ik aan? iSCSI ? Of wat gebruik je dan?

Ik ben toch afgestapt van mijn experiment met FreeBSD/ZFSGuru. Ik wil verder met mdadm en linux. Misschien dat ik nog ZFS-on-Linux probeer. Ik merkte dat ik het lastig vond om met FreeBSD te werken.

Ik heb nu 8x1.5TB in RAID5 met mdadm in de test PC. Nu moet ik data kopieren om de 10x2T en 6x3T partities leeg te maken en van RAID0 naar RAID5 over te zetten. En dan wil ik nog een setje 4T schijven kopen en de 1.5T afschrijven cq. in de test PC laten zitten.

[jaco]

Hehe, 10GE ethernet. Dat hebben we op mijn werk, dat ,wilde ik thuis ook wel 

Nic card van ongeveer 300 euro (2x) en kabel van 60 euro en je draait 10GE tussen 2 pc's
Meer 10 GE kaarten wordt lastig, switches beginnen rond de 1000 euro met 4 x een 10ge poort en wat 10/100/1000 poorten erbij.

[jaco]

Ik moest nog wel wat buffers groter maken om de 10GE kaarten goed te laten werken onder freebsd.
Dat viel gelukkig mee toe ik eenmaal op een support site de oplossing vondt.
Windows pc hoefde ik niets aan te configureren.

[riwi]

Ik ben weer een stapje verder met mijn ZFS servertje.
Ik heb nog steeds Linux/Slackware64. Ik heb ZFS-Fuse (user space ZFS) verwijderd en draai nu native ZFS-on-Linux met ZFS en SPL als kernel modules.
Nieuw moederbord een Z77 Asrock bordje met i3-3220T processor en 24GB geheugen.
Het raidz1 volume van 6x1.5T kon worden geimporteerd en geupgrade naar ZFS versie 5000 (vreemde versie sprong van 28 naar 5000 in ZFS).

Performance is nu :
110-115MB/sec via SMB schrijven naar de ZFS pool  (dat is perfect denk ik)
50-60 MB/sec via SMB lezen van de ZFS pool (dat moet ik nog wel verbeteren)

Het vreemde is dat intern kopieren / lezen van de pool wel snel gaat. Dat moet ik dus nog uitzoeken.
Daarna kan ik de partities van de andere NAS PC (10x2T en 6x3T) naar ZFS gaan overzetten.

[MegaJ]

Dat ZFS Guru ziet er leuk uit moet ik zeggen.

Op dit moment draait mijn NAS de standaard versie van FreeBSD, met een ZFS pool over 3 schijven.

[riwi]

Dat ZFS Guru ziet er leuk uit moet ik zeggen.

Op dit moment draait mijn NAS de standaard versie van FreeBSD, met een ZFS pool over 3 schijven.

Als je FreeBSD beheerst en je ZFS pool al hebt draaien dan heeft de Guru GUI niet zo heel veel toegevoegde waarde.
Maar het ziet er leuk uit en geeft je een mooi overzicht van de status van de pools en sharings.