Ervaringen met unRAID?

Started by Bolle, November 24, 2010, 15:23:40

Previous topic - Next topic

0 Members and 1 Guest are viewing this topic.

StefaanD

#2025
Om één iets te zeggen wat in het voordeel van unRAID pleit tov Fraeenas, is dat je gewoon verschillende schijfgroottes kan hebben. Nog iets als bij Freenas je array eruit ligt dan kan je geen enkele data meer benaderen, dat is bij unRAID niet zo.

Ook gaat de ontwikkeling zelf bij Freenas blijkbaar een stuk trager dan bij unRAID. Openmediavault is eventueel een optie, en OMV is trouwens ooit gestart door een ex-ontwikkelaar van Freenas.

activ

Quote from: StefaanD on January 18, 2020, 12:41:28
Om één iets te zeggen wat in het voordeel van unRAID pleit tov Fraeenas, is dat je gewoon verschillende schijfgroottes kan hebben. Nog iets als bij Freenas je array eruit ligt dan kan je geen enkele data meer benaderen, dat is bij unRAID niet zo.
Verschillende schijf grotes kan wel, alleen niet in 1 raid set. Dat heeft ook helemaal niets met Freenas te maken, maar met RAID technologie. Is wat mij betreft een non-issue, aangezien ik geen enkele reden zie om achteraf schijven in het zelfde RAID set toe te voegen.

En als je RAID set er uit ligt kun je niet bij je data, dat klopt. Als je huis af brand ook niet. RAID is geen backup en zo moet je het ook niet gebruiken.

Rob_Dingen

Quote from: activ on January 18, 2020, 15:48:26
Verschillende schijf grotes kan wel, alleen niet in 1 raid set. Dat heeft ook helemaal niets met Freenas te maken, maar met RAID technologie. Is wat mij betreft een non-issue, aangezien ik geen enkele reden zie om achteraf schijven in het zelfde RAID set toe te voegen.

En als je RAID set er uit ligt kun je niet bij je data, dat klopt. Als je huis af brand ook niet. RAID is geen backup en zo moet je het ook niet gebruiken.
Dat is precies wat Stefan aanhaalt dat kan bij Unraid wel.

activ

Quote from: Rob_Dingen on January 18, 2020, 16:04:47
Dat is precies wat Stefan aanhaalt dat kan bij Unraid wel.
Ja, dat weet ik. Unraid is ook geen RAID. Ik snap het principe ook wel, daarom heb ik het ook ooit een kans gegevens. Alleen is het voordeel vrijwel niet bestaand en woog voor mij niet op tegen de nadelen.
Ik doe overigens iets soortgelijks op Openmediavault nu voor bepaalde data en niet alles, maar ook dan vervangt het geen backups en is het alleen voor mijn gemak.

Het doel van RAID is niet het vervangen van backups, RAID is voor high availability. Je kunt je sowieso al afvragen hoe relevant dat is voor thuisgebruik, maar ik zie helaas vaak dat het gebruikt wordt i.p.v.backups omdat het zo lastig is zo veel data middels een backup veilig te stellen.
Voor thuisgebruik zou in mijn optiek dit de prioriteit moeten zijn:
1. Backups
2. Backups off site voor echt boeidende data
3. Data integriteit waarborgen (want lekker boeidend als je backups hebt van een corrupt bestand)
4. RAID

Daarbij is RAID voor thuis eigenlijk alleen voor gemak als er een keer een schijf stuk is, hoe je niet de boel weer opnieuw er op te zetten. Verder voegt het niets toe. Of hebben we thuis data die high availability behoeft? Ik niet i.i.g.

audiofly

#2029
High availability niet nee, maar on demand availability wel. Mijn 36TB unraid server staat 24/7 aan, echter wel 90% van de tijd met de harddisks/array niet draaiend. Wat wel draait zijn diverse dockers (o.a. nextcloud, unify controller, roon, sql server, sabnzbd, pihole etc) en wat vm's die net als de dockers, op een ssd draaien (dus buiten de array). Dat maakt unraid wel iets meer dan een NAS. Overigens heeft de parity me al een aantal malen behoed voor dataverlies. 2x een 4TB disk kapot (mag ook wel na dik 40.000 power on hours), je trekt de disk er uit en de array draait gewoon door, MET de data van de missende disk gewoon beschikbaar... met 2 parity disks kun je nog verder gaan. Nadeel van unraid is de wat lage doorvoersnelheid. Als mediaserver meer dan voldoende, als bedrijf moet je ergens anders naar kijken.

100% Vertrouwen op de parity is niet slim, maar 36TB backuppen doe je niet even...  dan moet je een 2e server hebben, en die buitenshuis plaatsen. En ik heb maar 1 huis. En er zijn vast cloudbackupdiensten waar ik terecht kan, maar die kosten net zo veel als een extra server + huis ben ik bang :)

Ik monitor de machine dus goed, draai elke 1e van de maand een paritycheck, en vervang met enige regelmaat harddisks preventief. Mijn volgende stap wordt het vervangen van mijn 4TB parity disk door 2 stuks 8 TB disks voor dual parity, en daarna ga ik langzaam aan alle oude 4TB disks vervangen door 8 TB varianten zodat ik uiteindelijk richting de 80TB ga.

Zie het als een digitale boekenkastenwand die mensen ook hebben, alle boeken die ze ooit gelezen hebben staan er in, en worden zelden of nooit voor een 2e keer gelezen, maar het is wel leuk om ze beschikbaar te hebben. Het is ook een soort verzameldrang denk ik.

jaco

Maar als je parity berekend en een hdd krijgt een defecte sector en remapped deze niet en gaat dan nog een keer parity berekenen is de data die mede op die sector staat gefrituurd.
Ooit 2 films zo verloren op een unraid server.

En wat me nog het meest steekt is dat ik de gekochte licentie niet door kon verkopen. Werkten ze destijds domweg niet aan mee.

Ook het RiserFS wat ze eerst gebruiken was twijfelachtig, zowel product als de ontwikkelaar.

audiofly

#2031
Het specifieke sector verhaal zal ook problematisch zijn bij 'normale' RAID setups, en zullen daar met wat pech de hele array onderuit halen aangezien de stripesets over alle disks lopen... licenties hoor ik ook wisselende verhalen over helaas. RiserFS is al lang geleden afscheid van genomen en wordt ook afgeraden. Helaas draaien de meeste van mijn disks er nog wel onder, omdat de array onder een oude versie opgezet is, bij vervanging van disks ga ik naar XFS.

Jack_D

Das in mijn ogen omgekeerd redeneren.......... :blush:
Je wilt 36TB aan dataopslag maar je hebt eigenlijk geen budget voor de backup faciliteit. Hoop dan maar dat je die data kan missen als er wat fout gaat, hoe klein de kans ook is. Beter om dan maar 18TB te hebben met een goede backup functionaliteit.

Heb goede vriend en bedrijf van kennis gezien waar de bliksem was ingeslagen, en een storing in de voeding die ook een aantal schijven mee het graf in nam en toen was het huilen. Ook geen backup, dachten dat hun Raid 5 setup wel veilig genoeg was. En dat zijn dan nog maar twee voorbeelden in mijn naaste omgeving van de afgelopen jaar of vier. De kans op kritieke fouten is niet zo groot, maar ik zou in jouw situatie toch niet zo lekker kunnen slapen(nogmaals, tenzij het alleen maar "ongemak" is als je je data kwijt bent dan is jouw aanpak begrijpelijk).

Dus zoals al eerder gesteld, een raid..... al heeft ie redundantie, auto errorcorrecties, scrubbing enz... is dat nog geen vervanger voor een backup.

(Sorry dat ik een beetje off-topic ga want mijn opmerking is meer algemeen raid/dataopslag dan dat het specifiek over unRAID gaat)

Quote from: audiofly on January 18, 2020, 17:31:59

100% Vertrouwen op de parity is niet slim, maar 36TB backuppen doe je niet even...  dan moet je een 2e server hebben, en die buitenshuis plaatsen. En ik heb maar 1 huis.


audiofly

Ik zeg volgens mijn heel duidelijk dat ik een risico neem? En ook dat dit geen backup is, maar pure opslag? Snap je verontwaardiging niet echt. Lees mijn verhaal nog eens. 36TB backuppen kan alleen veilig op een 2e, 36TB array, buiten de deur. Waar ga ik in godsnaam 36TB online/cloud kunnen hosten zonder dat je er op leegloopt?

En ja het zijn voor 99% blurays en tvseries (in HD) als het weg is, is het heel zuur, maar niet het einde van de wereld.
Documenten etc van mac en windows pc's backup ik ook wekelijks naar de array, en daarvan regelmatig naar een externe schijf, die opgeslagen ligt in een brandveilige kist.

Naast de regelmatig parity checks en preventief vervangen van disks draait de server achter een UPS, dus bij stroomuitval draait ie lekker een uurtje door, en als de stroom er dan nog niet is, wordt ie netjes down gebracht. Ook dat heeft me al enkele malen gered van een potentieel probleem.

Tabcam

Ik vraag me altijd af of 36 TB wel allemaal noodzakelijke gegevens bevatten. En dan nog is het te doen, je hebt tegenwoordig 16 TB schijven, drie schijven backup, 3 schijven in een ander huis en je bent klaar. Kost geen huis maar en tijd, moeite en ergens een andere locatie. Vierduizend euro en je bent klaar, inclusief behuizing.
Huiskamerset: PAP Sextet 15 PB, JBL Stage A130,  Arcam 550, Cambridge Audio Edge W, LG CX6LA,, BlueSound Node N130, NVidia Shield TV Pro
Zolderset: Usher Mini Dancer 2 DMD mk II, Anthem I225, Topping D30 Pro, BlueSound Node 2i

audiofly

Quote from: TabCam on January 19, 2020, 14:45:09
Ik vraag me altijd af of 36 TB wel allemaal noodzakelijke gegevens bevatten. En dan nog is het te doen, je hebt tegenwoordig 16 TB schijven, drie schijven backup, 3 schijven in een ander huis en je bent klaar. Kost geen huis maar en tijd, moeite en ergens een andere locatie. Vierduizend euro en je bent klaar, inclusief behuizing.
*zucht*

36TB noodzakelijk... lees nou eens wat ik schrijf. Doe eens wat moeite. En dan nog HET DOET NIET TER ZAKE wat IK opsla. Al heb ik het al uitgelegd.

En ja joh, smijt er een paar duizend euro tegenaan en je kan alles... man man man... wat een argument.
Deze unraid server draait nu al een jaar of 6. De oudste drives zijn 4TB schijven van 6 jaar geleden. Kosten een godsvermogen toen.

Oh ja en dan moet ik ook nog een ander huis kopen van je. Weet niet in wat voor bubble jij leeft, maar ik heb geen 10.000-en euro's voor extra  backup over, en zeker geen 2e huis. Sorry.
En nu stop ik met het verdedigen van mijn situatie, heb er nu al spijt van.

Jack_D

Sorry dat je je aangevallen voelt, was niet mijn bedoeling. :blush:

Quote from: audiofly on January 19, 2020, 13:51:19
Ik zeg volgens mijn heel duidelijk dat ik een risico neem? En ook dat dit geen backup is, maar pure opslag? Snap je verontwaardiging niet echt. Lees mijn verhaal nog eens. 36TB backuppen kan alleen veilig op een 2e, 36TB array, buiten de deur. Waar ga ik in godsnaam 36TB online/cloud kunnen hosten zonder dat je er op leegloopt?

En ja het zijn voor 99% blurays en tvseries (in HD) als het weg is, is het heel zuur, maar niet het einde van de wereld.
Documenten etc van mac en windows pc's backup ik ook wekelijks naar de array, en daarvan regelmatig naar een externe schijf, die opgeslagen ligt in een brandveilige kist.

Naast de regelmatig parity checks en preventief vervangen van disks draait de server achter een UPS, dus bij stroomuitval draait ie lekker een uurtje door, en als de stroom er dan nog niet is, wordt ie netjes down gebracht. Ook dat heeft me al enkele malen gered van een potentieel probleem.

StefaanD

Nu wat er ook mag van zijn, het heeft eigenlijk niets te maken met wie gelijk heeft of niet maar gewoon met het feit wat voor jou werkt in je persoonlijke situatie en wat voor jezelf belangrijk is  :pompom:

Heb zelf het volgende besteld voor mijn eerste build

Case: Fractal Design Node 804
Voeding: Be quiet! PURE POWER 11 400W (uitgerekend adhv de uitstekende pcpartspicker website, uiteraard de nodige marge genomen)
Moederbord: Gigabyte H370M D3H GSM (had eerst voor het H370M DS3H bord gekozen, maar GSM variant heeft één jaar langer garantie , dus 3 jaar ipv 2 jaar. Je weet maar nooit voor wat het goed is)
CPU: Intel i3-9100
Geheugen: Corsair Vengeance LPX DDR4-2400 - 2 x 8 GB
SSD: Gigabyte UD PRO 512 GB (als cache drive)
Disc: Seagate IronWolf 6 TB (als parity drive)

Kan natuurlijk nog altijd beslissen welke route ik neem, eerst maar eens dertig dagen met unRAID proberen, en dan ook eens Openmediavault bekijken. FreeNAS zal het zeker niet worden, omdat je daar geen verschillende schijfgroottes kan mengen.

Faker007

Quote from: StefaanD on January 20, 2020, 13:54:38
Voeding: Be quiet! PURE POWER 11 400W (uitgerekend adhv de uitstekende pcpartspicker website, uiteraard de nodige marge genomen)
Afhankelijk van het aantal schijven raden ze bij unraid wel aan om eerder voor een single rail voeding te opteren

Jack_D


Dat is toch niet echt specifiek een unRAID/OS dingetje?, maar meer of je je computersysteem correct bouwt met een voeding die de boel kan trekken. Of je er dan Windows, Linux of wat dan ook op zet maakt dan niet echt uit...
Als de voeding het niet trek dan trekt ie het niet :D



Quote from: R3 on January 20, 2020, 22:40:49
Afhankelijk van het aantal schijven raden ze bij unraid wel aan om eerder voor een single rail voeding te opteren

Jack_D


Tegenwoordig heb je al een nette (backup)NAS met 3x12TB voor zo'n €1500,-
(bedoel dit niet negatief of aanvallend, puur delen van info)

Quote from: audiofly on January 19, 2020, 14:57:18
*zucht
Weet niet in wat voor bubble jij leeft, maar ik heb geen 10.000-en euro's voor extra  backup over, en zeker geen 2e huis. Sorry.

audiofly

Ja de prijzen zakken, oftewel je krijgt steeds meer TB's voor je euro. Ik sla ook lang niet zoveel meer op in vergelijking met een paar jaar terug, de tijd vóór netflix zeg maar. Weet nog niet wat ik doe.

StefaanD

#2042
Quote from: R3 on January 20, 2020, 22:40:49
Afhankelijk van het aantal schijven raden ze bij unraid wel aan om eerder voor een single rail voeding te opteren
Ja op een wiki pagina die liefst zeven jaar geleden laatst werd bijgewerkt en tegenwoordig al lang achterhaald is. Voeding zou geen enkel probleem mogen zijn en werd door twee bronnen bevestigd.

Quote from: Jack_D on January 21, 2020, 00:49:21
Tegenwoordig heb je al een nette (backup)NAS met 3x12TB voor zo'n €1500,-
(bedoel dit niet negatief of aanvallend, puur delen van info)
Nee zal niet aanvallend bedoeld zijn dat snappen we wel, maar het voegt aan de unRAID draad hier ook niets toe. Trouwens ik stel zelf een dergelijke build samen voor een bedrag een stuk lager dan die 1500€ met gelijkaardige specs natuurlijk. Ook niet aanvallend bedoeld uiteraard  :D

Jack_D

#2043
Uiteraard...... :D


Je schrijft in een eerdere post "8 maal 4TB Seagate Ironwolf schijven" hoe ga je die in je eventueel toekomstige unRAID integreren?

Quote from: StefaanD on January 21, 2020, 13:45:29
Nee zal niet aanvallend bedoeld zijn dat snappen we wel, maar het voegt aan de unRAID draad hier ook niets toe. Trouwens ik stel zelf een dergelijke build samen voor een bedrag een stuk lager dan die 1500€ met gelijkaardige specs natuurlijk. Ook niet aanvallend bedoeld uiteraard  :D

StefaanD

Niet want ik ga downsizen, heb immers niet zoveel data meer. Daarom gaat mijn Synology DS2413+ beest ook binnenkort in de verkoop samen met de jongste van die schijven.

Faker007

Quote from: StefaanD on January 21, 2020, 13:45:29
Ja op een wiki pagina die liefst zeven jaar geleden laatst werd bijgewerkt en tegenwoordig al lang achterhaald is. Voeding zou geen enkel probleem mogen zijn en werd door twee bronnen bevestigd.
Ik mis even wat er op dat vlak in 7 jaar achterhaald zou zijn. Ik heb in ieder geval mijn voeding voor de unraid build vervangen door een single rail (seasonic 650w) en sindsdien geen opstart problemen meer.

Quote from: Jack_D on January 21, 2020, 00:28:34
Dat is toch niet echt specifiek een unRAID/OS dingetje?, maar meer of je je computersysteem correct bouwt met een voeding die de boel kan trekken. Of je er dan Windows, Linux of wat dan ook op zet maakt dan niet echt uit...
Point taken ;D

StefaanD

Quote from: R3 on January 22, 2020, 01:40:17
Ik mis even wat er op dat vlak in 7 jaar achterhaald zou zijn. Ik heb in ieder geval mijn voeding voor de unraid build vervangen door een single rail (seasonic 650w) en sindsdien geen opstart problemen meer.
Point taken ;D

Quote van testdasi op het unraid forum even vertaald.

Zou me niet echt zorgen maken over het single-rail vs. multi-rail argument, al zeker niet met de load die je zal hebben. Het was een nogal archaïsch argument (voor technische zaken) in het begin van 2000. Het is belangrijker dat de PSU van een gerenommeerd merk komt en op zijn minst een behoorlijke beoordeling heeft.

The unRAID wiki moet rekening houden met mensen die een 20+ HDD array opzetten, dergelijk mensen hebben de voorkeur aan een single-rail PSU. En verder toen deze wiki pagina was geschreven had multi-rail PSU een zekere bekendheid als goedkope merkloze knock-offs die willekeurig ontploffen. Dat is nu natuurlijk niet langer het geval, meer zelfs want de protectie bij multi-rail is vaak beter geregeld omdat ze elk hun eigen Over Current Protection bescherming hebben en ook een betere monitoring.

audiofly

Het hele voedingsverhaal is verder ook niet specifiek iets voor unraid. Elke nas zal rekening moeten houden dat er 2 of 10 of 20 of nog meer fysieke disks aan hangen die allemaal opspinnen en stroom trekken.

Faker007

Quote from: audiofly on January 22, 2020, 14:10:32
Het hele voedingsverhaal is verder ook niet specifiek iets voor unraid. Elke nas zal rekening moeten houden dat er 2 of 10 of 20 of nog meer fysieke disks aan hangen die allemaal opspinnen en stroom trekken.
Hoe ik het begreep was dat je bij een voeding niet altijd weet welke componenten op welke rail hangen, en je dus een gpu (nIet aanwezig in een nas) aan een rail kan hebben waardoor die reserve niet aangesproken wordt voor een disk.

Ik had gemist hoeveel schijven er gebruikt zouden worden en 400w kan best overbemeten zijn in de setup, maar ik heb in een van de twee unraid setups effectief de voeding moeten vervangen (10 HD en 1 SSD). Met de single rail seasonic platinum ultra die ik nu gebruik maak ik me niet echt zorgen over current protection.

Het verhaal is inderdaad onafhankelijk van de software.

Ik gebruik ook OMV trouwens ... de unraid setups staan enkel aan waar nodig (verbruiken teveel in idle naar mijn mening, ook onafhankelijk van unraid).
In ieder geval veel succes met de setup, een i3 doet het alvast prima met unraid (ook uit ervaring en niet uit de wiki  ;D )

StefaanD

Ondertussen de unRAID server volledig opgezet, inclusief nu ook met Plex Media Server en Homebridge die voorheen op een Mac Mini stonden. Die Mac Mini 2014 kan nu naar mijn vader om een 2009 versie te vervangen welke niet meer kan bijgewerkt worden qua systeem en software. Hij blij en ik ook  ;D