Ervaringen met unRAID?

[jowi]

Bedankt, dit lijkt er meer op: tussen 45 en 70 MB/s naar de cache disk. Hier is mee te leven.

[jaco]

Nu maar wachten op die supermicro kaart, en dan kijken of ik geen mvsas hangups meer krijg.
Heeft toch met timing te maken, en de areca kaart is dan wat minder met die sas expander achter die marvel chip denk ik.
Ga ik lekker 12 Data hdd's vullen, en dan maar weer zien of ik ruimte extra nodig heb.
5 x 4 TB (1 parity) en 5 x 1.5 TB samsung green, en 3 x 2 TB seagate en de 1 TB cache drive.
Dat is dan ruwweg 25 GB.

[riwi]

AHCI is de SATA mode die nodig is om NCQ (native command queing) van de sata interface mogelijk te maken. Met NCQ worden meerdere lees/schrijf commando's tegelijk verstuurd en komt de data/ack later. Zonder NCQ wordt voor iedere lees/schrijf opdracht gewacht op het resultaat.

5 x 4 TB (1 parity) en 5 x 1.5 TB samsung green, en 3 x 2 TB seagate en de 1 TB cache drive.
Dat is dan ruwweg 25 TB.

Begrijp ik het goed dat je met unraid de totale 25TB ziet als een bak ruimte maar dat je toch kan zien wat op welke schijf staat? Als je straks die 5x1.5T zou willen vervangen door 5x4T, kan je dan met de unraid gui/cli ervoor zorgen dat die 5x 1.5T leeg worden gemaakt zodat je de 1.5T schijven eruit kan halen en de 4T schijven erin kan stoppen? Dat is wel handig lijkt me.

[jowi]

Begrijp ik het goed dat je met unraid de totale 25TB ziet als een bak ruimte maar dat je toch kan zien wat op welke schijf staat?

Ja... dat is 1 van de mooie dingen aan unraid. De parity staat op een aparte disk, en de data wordt niet 'striped' of verdeeld.
Je kunt dus altijd bij je data, ook als je controller of mobo faalt. Met de parity kun je 1 failed disk herstellen, maar alle disks zijn buiten de array gewoon te lezen, zelfs in een windows pc met een reiserfs tool.

Als je straks die 5x1.5T zou willen vervangen door 5x4T, kan je dan met de unraid gui/cli ervoor zorgen dat die 5x 1.5T leeg worden gemaakt zodat je de 1.5T schijven eruit kan halen en de 4T schijven erin kan stoppen? Dat is wel handig lijkt me.

In dat geval kun je het beste eerst die 4x1,5 = 6TB backuppen en later terugzetten, maar wat men vaak doet als men een disk wil vervangen door een grotere, is de disk uit de array trekken, nieuwe er in, en dmv de parityinfo de nu lege disk opnieuw opbouwen

Waar je wel op moet letten in dit geval is dat de parity disk ook altijd even groot moet zijn als de grootste datadisk. In bovenstaand geval met 5x 1,5TB zou je dus eerst de 1,5TB parity disk vervangen door een 4TB variant, de parity opnieuw opbouwen, en dan zou je disk voor disk kunnen weghalen/rebuilden.

Uiteraard is een backup maken en alle schijven vervangen en de backup terugzetten handiger, maar ja die ruimte moet je wel hebben natuurlijk.

[Point7]

Begrijp ik het goed dat je met unraid de totale 25TB ziet als een bak ruimte maar dat je toch kan zien wat op welke schijf staat? Als je straks die 5x1.5T zou willen vervangen door 5x4T, kan je dan met de unraid gui/cli ervoor zorgen dat die 5x 1.5T leeg worden gemaakt zodat je de 1.5T schijven eruit kan halen en de 4T schijven erin kan stoppen? Dat is wel handig lijkt me.

Het is inderdaad 1 grote bak met data. Via een zelf aangemaakte share zie je ook alle schijven als 1 grote drivepool.  De bestanden staan wel in hun geheel op de schijven (niet zoals bij RAID5 waarbij op elke schijf maar een fractie van een bestand staat). 
Dus als je 1 schijf uit de array zou halen, kun je deze data gewoon lezen alsof het een gewone desktop schijf is.  Wel met het ReiserFS file systeem en niet NTFS.

Een schijf vervangen is een kwestie van een kleinere schijf eruit --> vervangen door een grotere schijf --> data wordt terug gezet --> extra vrije schijfruimte komt erbij.
Je moet dus NIET eerst die schijf leeg maken.  De data wordt ge-rebuild op de nieuwe schijf (de parity schijf weet welke data op die schijf stond).  Wel enkel schijf per schijf vervangen.

Edit: Zoals Jowi schreef. De parity moet minstens zo groot zijn dan de grootste schijf in de array.  Mag groter zijn, maar zeker niet kleiner. In mijn server is de parity disk 2TB (was op het moment van bouwen de meest voordelige grootte), dus mijn data schijven mogen maximaal 2TB zijn (kleiner is geen probleem).
Wil ik een 3TB data schijf steken dan moet ik mijn parity schijf eerst vervangen door een 3 of 4TB versie.

[jowi]

Het is verder echt wel een mooi systeem hoor laat jullie door mijn gezanik over een paar MB/s meer of minder niet weerhouden

Zit trouwens te denken, nu we het er toch over hebben ALS ik het mobo + cpu vervang, om het dan groots aan te pakken, met een xeon cpu en wat meer memory, dan is het wellicht leuk om er een Esxi server van te maken (baremetal hardware virtualisatie), en o.a. unRAID te virtualiseren, en daarnaast nog wat andere vm's te draaien allemaal weer extra risico's en ellende wat fout kan gaan

[dennism]

Het is verder echt wel een mooi systeem hoor laat jullie door mijn gezanik over een paar MB/s meer of minder niet weerhouden

Zit trouwens te denken, nu we het er toch over hebben ALS ik het mobo + cpu vervang, om het dan groots aan te pakken, met een xeon cpu en wat meer memory, dan is het wellicht leuk om er een Esxi server van te maken (baremetal hardware virtualisatie), en o.a. unRAID te virtualiseren, en daarnaast nog wat andere vm's te draaien allemaal weer extra risico's en ellende wat fout kan gaan

Dat is zeker het overwegen waard een X9SCM-F met een Xeon E3 en 32GB Ram is een zeer leuke setup om te virtualiseren. Vooral met VT-D ondersteuning waarmee je hardware zoals controllers e.d. direct kan toewijzen aan een VM kun je hele leuke setups draaien. Ik vraag me alleen af of Unraid makkelijk te virtualiseren is met de vreemde licantie methode die voor zover ik kon zien alleen met USB sticks werkt, al kan VT-D daar misschien ook een oplossing door de usb stick direct toe te wijzen aan een VM. Tis inderdaad wel weer een stapje ingewikkelder qua inrichting waar wel wat planning voor vereist is, daar een verkeerde inrichting met VMware echt niet prettig is.

[EJ]

Zoals al eerder vermeld: quad core cpu met 8 GB ram icm 16 disks in raid 6 zorgde voor meer dan 200 MB/s schrijfsnelheid. Was geen unraid. Fileservers wil je eigenlijk niet virtualiseren ivm performance.

Unraid heeft (helaas) voor een beroerd filesystem gekozen: reiserfs. Dat wordt niet verder ontwikkeld omdat de bedenker/ontwikkelaar de eerstkomende 20 jaar in de bak zit (hij heeft zijn vrouw vermoord). Na 1x serieus dataverlies met reiserfs (jaren geleden) heb ik besloten om dat in ieder geval nooit meer te gebruiken. Ik ben overigens niet de enige die problemen met reiserfs heeft gehad. Er zijn veel meer meldingen van serieuze datacorruptie bij gebruik van reiserfs.

Dat om de positieve berichtgeving over unraid enigszins te dempen.

[jaco]

Ik twijfel nog of ik wel met de 1.5 en 2 TB disken in de server verder wil.
Maar ja bij verkoop leveren ze weinig op. 65 en 85 euro of zo met wat geluk ?
Dan moet er dik geld bij voor een 4.0 TB.

[EJ]

2 TB disks zijn al voor 100 euro te koop. Daar ga je geen 85 euro meer voor terug krijgen denk ik...

[dennism]

Zoals al eerder vermeld: quad core cpu met 8 GB ram icm 16 disks in raid 6 zorgde voor meer dan 200 MB/s schrijfsnelheid. Was geen unraid. Fileservers wil je eigenlijk niet virtualiseren ivm performance.

Unraid heeft (helaas) voor een beroerd filesystem gekozen: reiserfs. Dat wordt niet verder ontwikkeld omdat de bedenker/ontwikkelaar de eerstkomende 20 jaar in de bak zit (hij heeft zijn vrouw vermoord). Na 1x serieus dataverlies met reiserfs (jaren geleden) heb ik besloten om dat in ieder geval nooit meer te gebruiken. Ik ben overigens niet de enige die problemen met reiserfs heeft gehad. Er zijn veel meer meldingen van serieuze datacorruptie bij gebruik van reiserfs.

Dat om de positieve berichtgeving over unraid enigszins te dempen.

Fileservers niet virtualiseren begint aardig achterhaald te worden. Dit was vroeger zeker het geval, echter met de komst van VT-D waarmee je controllers direct kan toewijzen aan de VM en andere optimalisaties zie je toch dat de performance echt toeneemt. Het is zeker niet in alle gevallen even snel als een volledige hardware setup, maar de extra flexibiliteit van een VM opstelling kan nu zeker in sommige gevallen de overhand nemen. Je ziet ook bijv dat grote namen als HP en EMC met virtuele san's komen.

Reiserfs inderdaad mee eens, leunen op een niet verder ontwikkeld filesystem is zeker niet optimaal. Zou natuurlijk kunnen zijn dat ze dit in de toekomst uit gaan faseren, ik weet echter niet inhoeverre reiserfs noodzakelijk is voor de basis an Unraid, of dat dit makkelijk vervangen kan worden door een ander filesystem. 

[EJ]

Het gaat mij niet om performance, maar vooral om kip-ei problematiek. Het is uiterst onwenselijk dat je vm omgeving op moet zijn om je vm omgeving te kunnen starten. Dat creeer je door je fileservers te virtualiseren.

Vanuit architectuur oogpunt is het not done om zo'n structuur te bouwen.

[dennism]

Zie ook het andere topic ;-)

[riwi]

Uiteraard is een backup maken en alle schijven vervangen en de backup terugzetten handiger, maar ja die ruimte moet je wel hebben natuurlijk.

Bedankt voor de uitleg over de werking van unraid.
Het maken van een backup en terug kopieren op nieuwe schijven is wat ik nu ook doe. Dwz als ik de migratie hetzelfde moet doen dan is er geen voordeel. Maar met unraid kan het dus slimmer.

Als ik nu mijn 4x1.5T wil vervangen moet ik zorgen dat die 6T aan data 'even' ergens anders kan staan. Of ik moet 4 sata interfaces over hebben (evt in een andere pc).

[jowi]

Nou je KAN het met unraid dus doen zonder backup... maar dat is wel bewerkelijk. Je moet dan dus eerst zorgen dat je parity schijf minstens zo groot is als de nieuwe schijven, dus die moet je er eerst uittrekken, en dan opnieuw opbouwen. Ben je 12 uur verder.

Dan 1 voor 1 de oude disk er uit, nieuwe er in, preclearen (40 uur!!! als je het 1x doet...) en dan laten rebuilden, ook weer iets van 12 uur denk ik. En dat dus PER disk...

Een backup maken is sneller, maar ja dan moet je dus wel die ruimte hebben.

Ik zou denk ik in dit geval, dus als ik 5x 1,5TB zou vervangen door 5x 4TB, eerst 2 stuks 4TB even snel onder windows formatteren, en die 6x 1,5TB daar op kopieren.

Dan de hele array wegmieteren, en een nieuwe array bouwen met de 3 overgebleven 4TB disks, waarvan 1 parity is. Als dat staat, de data van de 2 4TB backup disks naar de array copieren, en daarna die 2 schijven leeg maken en toevoegen aan de array.

Het blijft vreselijk veel werk dit soort dingen... unraid of raid, maakt geen raid uit

[Robert T]

ROFL

Het blijft vreselijk veel werk dit soort dingen... unraid of raid, maakt geen raid uit

[Bart_M]

Ik voel het antwoord al aankomen, maar kan je niet gewoon een voor een de schijven vervangen door grotere exemplaren en daarna de RAID expanden?

[jowi]

Ja dat beschrijf ik hierboven in geuren en kleuren...

Overigens, als je genoeg vrije slots hebt, dan plaats je gewoon de nieuwe, grote schijven bij de array, zodat je array in dit voorbeeld uit 5x 1,5TB + 5x 4TB betaat, je copieert de data van de oude schijven naar de nieuwe, en je haalt de oude weg. Dat kan natuurlijk ook. Desnoods 1 voor 1. Parity protection kun je dan tijdelijk stoppen, scheelt weer snelheid. Dat soort truuks.

Punt blijft, de parity disk moet minstens zo groot zijn als de grootste schijf in je array. Dus die zul je meestal als eerste moeten doen.

[Bart_M]

Ja dat beschrijf ik hierboven in geuren en kleuren...

Ik zie het, ik had niet alles gelezen...

Om daar dan weer op in te haken, het maakt toch niet uit dat het lang duurt? Je kan toch gewoon door blijven werken?

[jowi]

Klopt.

[jaco]

2 TB disks zijn al voor 100 euro te koop. Daar ga je geen 85 euro meer voor terug krijgen denk ik...

Dat vrees ik ook niet nee.

het zijn: Seagate Barracuda Green ST2000DL003, 2TB

Ik gebruik ze wel een tijd, en dan maar hopen dat de 4 TB wat in prijs dalen..

[jowi]

Ben nu vanaf de pc een bluray aan het rippen, direct naar een /mnt/disk op de unRAID server, werkt op zich netjes. Niet al te snel maar het werkt. Maar... als ik nu met de Dune tegelijk media afspeel krijg ik af en toe een hapering. Doe ik een readtest met de Dune, zat ik normaal altijd op 10 soms 11MB/s, en dat heb je echt nodig wil je zonder stotteren een bluray of beter HD materiaal afspelen, nu zit ik op 6 tot 7 a 8 MB/s... unRAID heeft bij mij echt moeite om data over het netwerk af te werken op 1 of andere manier... erg vervelend.

[eduard]

Jowi, Was je nu aan het rippen en probeerde je gelijk een film te bekijken?

Vraagje de interface van je unraid server staat deze op auto speed sensing of heb je deze hard ingesteld op gig full duplex.  Zoja probeer dan eens auto sensing gigabit functioneerd meestal beter als zowel switch als server op auto sensing staan. (al denk ik niet dat dit hier het geval is )

[jowi]

Jowi, Was je nu aan het rippen en probeerde je gelijk een film te bekijken?

yep. rippen schreef met 14MB/s naar de server, dus lang niet genoeg om de boel e verzadigen zou je zeggen, en readtest van dune kwam niet boven de 8 uit...

pc staat op auto, unraid weet ik niet, hoe doe ik dat? ifconfig?

[gsuk]

@Jowi
speelde je het media bestand af via smb of nfs?


groetjes Emile