RAID based storage oplossingen

[Robert T]

Zijn hier ook mensen die zelf hun NAS hebben gebouwd op basis van een HW oplossing? Ik wil niet het unraid topic vervuilen met vergelijken in de bediening en performance maar wil toch even kijken of er hier andere mensen ook mee bezig zijn?

Ik sla 'JBOD' even over en kijk alleen naar RAID oplossingen (muv Raid 0  )

Ik gebruik nu een Netgear 4-bay NAS systeem met netto 5.5TB storage ruimte en zal dit jaar overgaan naar iets (veel) groters. Waarschijnlijk ook geen kant en klaar systeem maar zelfbouw.

Zoals ik het zie kan je op storage gebied 3 kanten op:

- Kant en klaar: Synology, Qnap, Netgear en anderen met bijhorend prijskaartje en wellicht wat beperkingen in het platform als in je bent aangewezen op plug-ins om apps te laten werken etc.

- Software RAID oplossingen: basic PC met unraid, freenas, ZFS, flexraid.

- Hardware RAID oplossing: Basic PC met RAID kaart (bijvoorbeeld Areca, Adaptec, Highpoint). Overigens kan je volgens mij met hardware RAID ook nog onderscheid maken tussen onboard CPU/memory op de RAID controller en kaarten die alleen de RAID functionaliteit overnemen maar de CPU/memory van de PC gebruiken.

Ben nu overigens zelf maar eens Areca en Adaptec aan het bekijken voor de HW raid oplossing maar loop een beetje vast met "wat als de controller stuk gaat"... wat dan? Is dan de config opgeslagen en kan je met een nieuwe RAID controller zonder dataloss weer vrolijk verder? Dit lijkt erg afhankelijk van de kaart.

Adaptec werkt verder nog met SAS-expanders maar die kan ik nergens vinden in de PC winkels hier in NL.

Misschien dit topic maar eens gebruiken voor ervaringen? Geen idee of er animo voor is.

[Point7]

Voor beperkte data is een echte NAS volgens mij het beste. Voor grote hoeveelheden data worden de zelfbouw servers/NAS interessanter. Meestal veel goedkoper en beter uitbreidbaar.

Mijn ervaring met Windows Home Server 1.0 met zijn drive pool is zeer positief. Nooit problemen gehad en de storage kan simpel mee groeien als de data groeit.
Nadelen waar ik tegenaan liep na een tijd.  Alles wordt dubbel opgeslagen waardoor de nodige storage enorm snel groeit bij bv. Blu-RAY rips/downloads. De snelheid is redelijk maar haalde nooit 100MB/s.  Eerder rond de 70MB/s.

Ik heb dan uitgekeken naar een alternatief voor mijn data.  WHS draait hier nog steeds voor backups en kleinere data.

Hardware RAID vond ik duur bij grote array's. Je hebt ook geen flexibele uitbreiding. Kan moeilijk groeien naar gelang de behoefte. (willekeurige grootte van schijven en schijf per schijf uitbreiden). Als de RAID controller stuk gaat na enkele jaren heb je volgens mij een probleem. Hopelijk wordt die kaart dan nog verkocht.

FreeNAS  met ZFS heb ik ook getest maar ik miste ook de flexibele uitbreiding. Het is wel uitbreidbaar maar ik vond het omslachtig. Ook kan je niet optimaal gebruik maken van verschillende grootte van harde schijven. Is zoals bij normale RAID dat de kleinste schijf in de array de werkelijke grootte bepaald.

Ik ben uitgekomen bij unRAID wat voor mijn doeleinden perfect is. Zie ook de unRAID thread. unRAID is onafhankelijk van de controller hardware. Dus je kan zonder problemen andere moederborden/ controllers gebruiken. unRAID kijkt naar de harde schijven zelf en het speelt geen rol op welke controller deze zitten.
Nadeel van unRAID. Snelheid is trager omdat er geen striping gebruikt wordt.  Ook maar 1 parity schijf. Dat laatste is vooral een nadeel als je een groot aantal (bv. meer dan 20) schijven hebt. De kans dat er op korte tijd 2 stuk gaan wordt groter.

Geen striping heeft dan weer het voordeel dat de data gewoon op de harde schijven blijft staan moesten er 2 schijven tegelijk stuk gaan (enkel de 2 kapotte schijven ben je kwijt).  Bij een echte RAID5 ben je ALLES kwijt. bv. 24 schijven met data kwijt.  Ik zou dan zeker voor RAID6 kiezen in zulk geval.

[Robert T]

Voor beperkte data is een echte NAS volgens mij het beste. Voor grote hoeveelheden data worden de zelfbouw servers/NAS interessanter. Meestal veel goedkoper en beter uitbreidbaar.

helemaal mee eens, idd. Vandaar ook mijn "onderzoekje en het volgen van het unraid topic. Unraid is zeker nog wel interessant. De performance voor thuis is prima van unraid maar het gedoe waar je tegenaan loopt heb ik een beetje een onderbuik gevoel bij.

Mijn ervaring met Windows Home Server 1.0 met zijn drive pool is zeer positief. Nooit problemen gehad en de storage kan simpel mee groeien als de data groeit.
Nadelen waar ik tegenaan liep na een tijd.  Alles wordt dubbel opgeslagen waardoor de nodige storage enorm snel groeit bij bv. Blu-RAY rips/downloads. De snelheid is redelijk maar haalde nooit 100MB/s.  Eerder rond de 70MB/s.

Ik heb dan uitgekeken naar een alternatief voor mijn data.  WHS draait hier nog steeds voor backups en kleinere data.

Het mooie van HW raid is dat je redelijkerwijs platform onafhankelijk bent. Dat is ook een beetje mijn probleem met unraid en hetgeen waar o.a. Jowi tegenaan loopt. Met een HW raid systeem kan je gewoon het platform kiezen waar je het meeste ervaring mee hebt, voor de meeste mensen windows en op je raid controller je setup instellen. Wat mij betreft een enorm pluspunt van HW raid (al kan je flexraid ook op zowel windows and linux draaien)

Hardware RAID vond ik duur bij grote array's. Je hebt ook geen flexibele uitbreiding. Kan moeilijk groeien naar gelang de behoefte. (willekeurige grootte van schijven en schijf per schijf uitbreiden). Als de RAID controller stuk gaat na enkele jaren heb je volgens mij een probleem. Hopelijk wordt die kaart dan nog verkocht.

Dat is dus niet makkelijk te vinden informatie en ben ik niet over uit. De meeste kaarten hebben online capacity expansion mogelijkheden alleen zit je wel met een beperking van de hoeveelheid SAS/SATA poorten. De 16 en 24 poorts kaarten zijn behoorlijk kostbaar ja. Bij Areca kan ik niet echt achterhalen hoe het werkt. Ik lees wel verhalen van mensen die hun controller vervangen en geen data loss hebben maar ik wil weten hoe dat werkt. Een HW raid oplossing met een RAID6 setup met bijvoorbeeld 10 * 4TB disks lijkt mij een redelijke oplossing. Ik wil wel de hoeveelheid schijven beperken ivm drive failures.

[jowi]

Het 'gedoe' met unraid is natuurlijk ook erg afhankelijk van hoe je er in staat. Kijk naar Rob Dingen of mijzelf, dezelfde setup, Rob zijn insteek is totaal anders en is dus uiterst tevreden, ik zit meer de grenzen op te zoeken, en niet altijd even redelijk, en dan loop je vanzelf tegen dingen aan.

Dat gezegd hebbende, alhoewel het forum van unraid groot en actief is, is het een echt gevecht om de juiste info te vinden. Wat alle oplossingen gemeen hebben is dat ALS er onverhoopt iets mis gaat, je al snel advies en hulp nodig hebt... zorg dat je een goed gevoel hebt bij de support en ondersteuning van de oplossing die je kiest.

[dennism]

Wat is veel op Fora als tweakers lees is dat Hardware raid met de komst van steeds grotere schijven steeds meer uit de gratie begint te raken vanwege de kosten (dure adapters en speciale raid  harddrives benodigd wanneer je zeker wil zijn dat je geen uitval krijgt in je array) en dit in combinatie met rebuild tijden, bij grote array's van bijv 4TB schijven wordt eigenlijk Raid 5 al niet meer aangeraden en Raid 6 is eigenlijk een must, ook Raid 10 word steeds vaker aangeraden maar is natuurlijk relatief duur.

Vandaar dat er steeds meer gekozen wordt voor goedkopere setups met Sas/Sata initiator kaarten en een vorm van software raid/storage (o.a. ZFS, Freenas (diverse opties), WHS, en andere raid 5/6/10 oplossingen. De huidige cpu's zijn snel genoeg voor de parity berekeningen, wat vroegen natuurlijk wel anders was. Ook virtuele NAS/San oplossingen komen steeds meer in opkomst vanwege de verdere flexibiliteit. Ook alle grote jongens beginnen met Virtuele oplossingen te komen voor zakelijk gebruik.

[EJ]

Ik heb al sinds jaar en dag een nas (heck, het is eigenlijk een SAN(!) want ook iSCSI ondersteuning) draaien. Veel nassen gebouwd, allemaal nog naar volle tevredenheid in gebruik (bij mkb omgevingen). Varierend van 2 disken in raid 1 naar 16 disken in raid 6 met iSCSI ten behoeve van een xen virtualisatie cluster met multi netwerk aansluiting en 200 MByte/s performance (5 jaar geleden...).

Als je een dedicated nas draait is het gebruik van een raid kaart (afgezien van het maken van extra poortjes) zinloos in de zin dat moderne processoren (al heel lang) rondjes draaien om de verwerkingscapaciteit van een dedicated raid kaart. Denk aan gigabytes/s die een processor kan doen ten opzichte van een dedicated raid kaart.

Daarnaast is het gebruik van softraid m.i. te prefereren ten opzichte van hardware raid. Ik krijg ieder softraid disk array wel weer aan de praat (mits niet te veel disks kapot zijn), maar bij hardware raid moet je echt opletten dat je dezelfde kaart (en dezelfde firmware!) weer terug krijgt, anders is het bye-bye-zwaai-zwaai naar de data.

Zoals al door anderen aangegeven zijn er diverse bijna kant en klare oplossingen, mijn voorkeur gaat uit naar zelfbouw met debian, maar ook openfiler doet het prima. Virtuele san/nas oplossingen zijn om voor de hand liggende redenen niet praktisch (hint: je virtuele omgeving moet op zijn om je virtuele omgeving te kunnen laden).

[dennism]

Virtuele san/nas oplossingen zijn om voor de hand liggende redenen niet praktisch (hint: je virtuele omgeving moet op zijn om je virtuele omgeving te kunnen laden).

ligt er natuurlijk aan waaroor je het gebruikt en hoe je het inzet. je VM's op een virtuele SAN/Nas zetten is natuurlijk niet praktisch, echter voor opslag archief, Media data, non performance critical data e.d. zijn virtuele Sans/Nassen zeer geschikt en kunnen tot goede kosten besparingen leiden.

[Robert T]

Als je kijkt naar de grotere NAS oplossingen op bijvoorbeeld tweakers is een groot deel toch echt gebaseerd op HW raid oplossingen waarvan het merendeel areca is. Nu is het wel zo dat areca aanraadt enterprise schijven te kopen maar het werkt ook gewoon met andere schijven en ondersteuning wordt er sowieso wel gegeven vanuit de fabrikant.

(Even voor de duidelijkheid - ik ben niet pro HW raid maar zie er wel een aantal voordelen in.) Software raid is mogelijk idd makkelijker te herstellen bij een fout maar aan de andere kant, fabrikanten als adaptec and areca schrijven hun array data weg op de schijven en dus als er een controller vervangen moet worden zou dat zonder data loss moeten kunnen. Heb hier overigens geen praktijk ervaring mee.

Raid6 - helemaal mee eens. Grote schijven, grote arrays - absoluut het minimum maar volgens mij wordt dat nu wel zo'n beetje overal ondersteund.

Vraagje; zijn er RAID kaarten die geen eigen CPU gebruiken waar je zomaar een 12+ disk array mee kan bouwen?

[dennism]

Voorbeeld:

http://www.lsi.com/products/storagecomponents/Pages/LSISAS9201-16i.aspx 16 disk intern Sas/sata via breakout cables, met expanders kunnen nog een stuk meer disks worden aangestuurd.

Ik verwacht dat Areca net als meer fabrikanten van raid kaarten ook dit soort kaarten heeft.

[riwi]

Mijn voorkeur gaat momenteel ook nog uit naar een zelfbouw PC als nas.
Voor mijn gebruik (met HD download materiaal) beschouw ik de data niet als kritisch en draai derhalve in raid-0 : weg = pech. Ik maak wel meerdere raid-0 volumes zodat ik niet snel 'alles' kwijt ben maar hooguit een kwart. Daarnaast kan je nog backups draaien natuurlijk om meer kritische data veilig te stellen (muziek, flac eigen geripte CD's, foto's en film die zelf geschoten is).

Om volumes te maken vind ik lvm + md erg fijn. Is compleet platform en linux versie onafhankelijk dat is een groot voordeel. Ik doe geen bios-raid meer behalve op windows. Met lvm en md kan je ook prima een raid-5 set maken.

Met 'veel' sata interfaces in 1 PC moet je goed kijken hoe ze zijn aangesloten. De interne sata zijn meestal het beste. De onboard bijgeplaatste sata's zijn gezamelijk via 1 PCI-E lane (250MB/sec) aangesloten. Een losse PCI-E kaart is dan nog beter mits PCI-E 4x (1GB/sec). Als je een sata insteek kaartje op PCI neemt dan heb je gezamelijk maar 133MByte/sect voor je insteek sata poorten die je ook nog deelt met andere PCI hardware.

Ik heb eigenlijk niet een NAS. Maar ik run een paar linux PCs met SMB en NFS en Twonky mediaserver. Verder moet ik alles met de hand doen, dus gebruiksvriendelijk is dat niet.

http://etmriwi.home.xs4all.nl/pc/pc_storage.htm

[bart_nl]

ik maak wel gebruik van een hardware raid kaart. Wanneer je een groter raid systeem gaat bouwen is de investering in de raid kaart in verhouding niet zo hoog. Kijk je op Tweakers dan zijn de meeste systeem in het 10TB+ topic ook hardware gebaseerd.

Hier in dit topic lees ik onzin over HW raid controllers in de zin dat upgrade lastig zou zijn. Ik heb niet zo lang geleden mijn Areca 1220 controller vervangen door een Areca 1882. Dat was niet meer werk dan het omsteken van de controllers en de kabels opnieuw aansluiten. De raid-5 array werd direct herkend.

Uitbreiding zie ik ook niet als probleem. Ik heb nu een 24 poorts controller in een 24 bay hotswap behuizing. Ben begonnen door een 8 x 3TB disk raid-6 array te maken naast de 8 x 1.5TB disk raid-5 array van de 1220. Daarna de data met ongeveer 500MB/s overgekopieerd en de 1.5TB disks verkocht. Kan nog 16 disks bijplaatsen maar maak denk ik geen array van meer dan 16 disks zodat volgende upgrade over 2-3 jaar net zo soepel kan als nu met 8 disks. Mocht ik toch al eerder ruimte te kort hebben (lijkt mij nu nog niet mogelijk...) dan zou ik altijd nog d.m.v. een expander disks bij kunnen plaatsen. Op dit punt lijkt idee van unRaid aantrekkelijk maar heeft zoals jowi in unRaid topic uitlegt ook weer beperking.

Voordeel van hardware raid vind ik dat ik mijn fileserver onder windows kan draaien. Via remote desktop werkt dat gelijk aan mijn normale PC en ik hoef mij dus niet te verdiepen in specifieke software. Daarbij is fileserver hardware zelf relatief simpel en heb ik nooit performance probleem. Ook bij rebuild of initialiseren (raidset aanmaken, volumeset definiëren en 1 minuut later heb je, je schijfruimte beschikbaar) haalt de hardware raid controller meer dan Gbit bandbreedte.

Grootste nadeel blijft wat mij betreft de aanschafprijs. Daarnaast kunnen hardware raid controllers wat makkelijk zijn in het uit de array gooien van een disk. Dat heeft bij mij nog nooit voor een probleem gezorgd. Enige keer dat een array bij mij onbruikbaar raakte (10TB kwijt) was het mijn eigen fout 

[LB06]

Als je Windows of OS X wil draaien is hardware raid in mijn ogen nog steeds de enige serieuze optie. Maar dan wel eentje met BBU. Dat is vrij essentieel. Windows software raid is volgens mij nog altijd érg matig. Zeker als er pariteitsberekeningen moeten worden gedaan.

Als je echter bekend met de *NIX-achtige systemen zou ik hardware-raid links laten liggen en aan de slag gaan met ZFS of MDADM.

[Robert T]

Bart,

Leuk, een HW raid user  Hoe ziet jouw systeem eruit? Welke schijven gebruik je en welke mobo? Vanwaar de 18xx kaart? De Areca 1280 is ongeveer even duur en is specifiek voor SATA schijven volgens mij, dat is wat Areca i.e.g. aanraad las ik vandaag... Goed om te weten dat die upgrade zo makkelijk ging al was dat vast een spannend momentje...... 

Vwb Windows en raid is flexraid mogelijk nog een optie maar heb hier zelf ook geen ervaring mee. WHS2011 ICM Flexraid schijnt ook een veelgebruikte oplossing te zijn.

[bart_nl]

Leuk, een HW raid user  Hoe ziet jouw systeem eruit? Welke schijven gebruik je en welke mobo? Vanwaar de 18xx kaart? De Areca 1280 is ongeveer even duur en is specifiek voor SATA schijven volgens mij, dat is wat Areca i.e.g. aanraad las ik vandaag... Goed om te weten dat die upgrade zo makkelijk ging al was dat vast een spannend momentje......

ASUS M4A78T-E moederbord AMD Phenom 405e(?) CPU
Areca 1882ix-24 incl BBU
Intel SSD boot
8 x 3TB Seagate in raid-6
Norco 4224 behuizing

De Norco behuizing is de reden om voor SAS te gaan. Kast is nu qua kabels overzichtelijk. Norco kast is redelijk betaalbaar maar dat merk ik ook wel aan de afwerking. Verbaas mij wel over vergelijkbare prijs 1280 met de 1882 aangezien de 1280 toch al jaren op de markt is.

Het omzetten heb ik niet als spannend ervaren. Wel bij eerste test draaien met de Seagates op de 1882 (of Norco?) problemen gehad. Twee seagates lagen er binnen week uit. Na wat googlen bleek er een CC4H firmware upgrade voor deze schijven te zijn en sindsdien draaien ze probleemloos. Daarna pas de 1220 en oude schijven verkocht.

Ik heb ook zitten twijfelen over #nix oplossingen maar heb weinig zin in experimenteren en ben gezien de ervaringen van jowi in het unRaid topic ook blij dat ik hw raid heb gekozen. Voor mijn gebruik zou het onhandig zijn wanneer de fileserver niet en kan downloaden, parren, rarren en streamen tegelijkertijd. Met de areca oplossing is dat geen enkel probleem en is de enige beperking die ik ervaar Gbit ethernet .

[jowi]

Mijn unRAID server kan op zich prima downloaden, unrarren en parren, geen probleem. Alleen voor hogere ethernet doorvoersnelheden heb je met unRAID gewoon iets steviger hardware nodig, en dat was niet de 'belofte' die ze eigenlijk deden. De specs en minimale eisen op hun site zijn gewoon achterhaald. Het idee dat je met een ouwe pc die je nog ergens in een hoekje heb staan een nette storage kan maken, is mijns inziens onterecht. Je moet er echt wel goede, snelle, moderne hardware voor hebben wil je er het beste van maken.

[Robert T]

Bart, de norco kast heeft een backplane zodat je van raid kaart naar backplane gaat en de schijven aan de andere kant op de backplane prikt?

Het hele kabel gebeuren met die areca kaartjes is mij nog een beetje wazig hoe dat werkt met alle connectoren.

[bart_nl]

Paar foto's om je een idee te geven. Deze zijn van mijn fileserver. Als je de leds telt zie je dat er op dat moment 7 schijven in zaten. Wanneer je bij Google afbeeldingen op Norco 4224 zoekt vind je mooiere foto's. 

[EJ]

@Bart: als je iets meer ervaring met professionele raid oplossingen had gehad dan had je geweten voor gezeur dat op kan leveren... Je mening baseren op 1 positieve ervaring is wat kort door de bocht. Kijk maar eens bij de 'prachtige' raid oplossingen van bijvoorbeeld adaptec. Dramatisch...

Prima ervaring met areca hardware raid kaartjes trouwens, maar geen upgrade/vervanging gedaan. Wat is het probleem met een wat oudere kaart? Die heeft zich ten minste bewezen.

@jowi: toch verbaas ik me over de magere resultaten die jij haalt. Een atom zou gigabit helemaal dicht moeten kunnen zetten... Dat lukte mij al met een dual PIII 800 MHz. Toegegeven, niet met disk info maar met pseudo random data, maar toch, je begrijpt het principe.

[jowi]

@jowi: toch verbaas ik me over de magere resultaten die jij haalt. Een atom zou gigabit helemaal dicht moeten kunnen zetten... Dat lukte mij al met een dual PIII 800 MHz. Toegegeven, niet met disk info maar met pseudo random data, maar toch, je begrijpt het principe.

Vertel mij wat, dat was wel het laatste waar ik aan dacht als ik over mogelijke risico's dacht met dit board. Ik denk dat unRAID's file system wat de user shares afhandeld gewoon niet bijster efficient is? Of niet met dit specifieke board. Om dan nog een beetje snelheid te krijgen moet je er dus blijkbaar wat meer Binford 2000 power tegen aangooien...

[riwi]

Die CPU power wordt opgesoupeerd door smbd en de driver voor dat 'eigen' unraid filesysteem.

Bij mijn atom 330 kreeg ik ook niet meer dan 50MB/sec door de gbit interface op de ext3 disk weggeschreven zonder dat de load naar de 90-100% ging. Zeker niet als er ook nog een twonky mee stond te kijken om alle nieuwe media te indexeren etc.

[EJ]

Ja, inderdaad: reiserfs is rekenintensief. Ext3 zou dat minder moeten zijn.

[riwi]

Ja, inderdaad: reiserfs is rekenintensief. Ext3 zou dat minder moeten zijn.

Of het reiserfs is of de implementatie van unraid met shfs weet ik niet.

Zie de load plaatjes van jowi : http://www.htforum.nl/yabbse/index.php?topic=106749.msg2229396#msg2229396

[dennism]

Voor zover ik echter kan zien, is de totale CPU load op zijn systeem geen 100%, maar slechts rond de 40-50%. Zie ook mijn comment onder de post van Jowi.

[jowi]

Hoe dan ook, doe ik meer dan 2 file transfers of copieer acties etc tegelijk, en dat hoeven niet eens hele grote te zijn, dan stort de performance van het hele ding in... maar goed nu zitten we weer over unraid te praten, daar hadden we al een topic voor

[bart_nl]

@Bart: als je iets meer ervaring met professionele raid oplossingen had gehad dan had je geweten voor gezeur dat op kan leveren... Je mening baseren op 1 positieve ervaring is wat kort door de bocht. Kijk maar eens bij de 'prachtige' raid oplossingen van bijvoorbeeld adaptec. Dramatisch...

was ook bedoeld als tegenwicht tegen alle software raid propaganda. Ik weet dat dat prima kan voldoen maar ik zie in alle topics over unRaid, ZFS toch te veel unix command line commando's voorbij komen.
Daarbij suggereerde jij juist dat het bij hardware raid alleen goed kan gaan met en dezelfde kaart en dezelfde firmware. Ik heb dan niet veel ervaring met hardware raid maar bij Areca is dat dus niet zo. Volgens mij  zijn zij al jaren de meest populaire hardware raid leverancier voor hobbyisten en OP noemt Areca ook als eerste. Dus zo heel uniek en uit de lucht gegrepen is mijn ervaring niet