Ervaringen met unRAID?

[jaco]

Nu geboot op RC6. Geen preclear en 39 Mbps.
Alleen .. nu draait er een parity-check met 66.8 Mbyte/sec (wat ook wel traag is voor 5 x een 4 TB hitachi)

[jowi]

Ik had zojuist 24 afleveringen van een serie binnen a 2GB per stuk. Sabnzb had deze keurig gedownload en in een download map op de cache gezet. De download map is dus óók een user share. So far so good. Maar dan... hoe krijg je ze op de juist plek in je 'tv series' user share? Dan heb je een aantal opties.

1. selecteer en  move ze van de user share 'downloads' naar de user share 'tv serie', zodat unraid zelf mbv highwater of fillup de boel gaat indelen op basis van de split level. Dat gaat supertraag, hij gaat van de ene user share (US) naar de andere copieren met 20-25MB/s... gaat uren duren.

2. dan naar de cache zelf, selecteer ze dan uit de folder 'downloads' (dus NIET de share maar de fysieke folder) en move ze naar de US tv series zodat unraid ze zelf mbv highwater/fillup etc gaat verdelen op basis van de split level. Ook dit gaat traag met 25-30MB/s... gaat uren duren.

3. Als je bovenstaand proces stopt heeft unraid de tvseries folder waar je heen copieert, op de cache aangemaakt. Wat je dan doet, je selecteert alles in de downloads folder, en moved het in 1 seconde!!!! naar de tvseries folder op de cache... het resultaat is dat de bestanden FYSIEK nog op de cache staan maar voor clients als de dune, die naar de user share kijken, al te zien is op de juiste plek en af te spelen is. unRAID's move proces zal ze dan 's nachts fysiek copieren op z'n gemakkie.

CONCLUSIE: USER SHARES zijn NIET bedoeld om op bestandsbeheer niveau vlot mee te werken. Daar zijn ze te traag voor. Als je data heen en weer wilt copieren, doe dat dan op de disks zelf. Dit haalt natuurlijk het hele fundament onder unraid vandaan, maar het is niet anders.

Het enige waar user shares handig voor zijn is dat clients zoals mediaspelers, 1 groot virtueel volume 'zien' ipv een x aantal losse disks.

Het hele principe dat je met copieren naar een user share, het systeem zélf laat bepalen waar ie alles fysiek neerzet, op basis van de split level en de allocatie methode, werkt uiteraard wel, maar de penalty is dat het enorm traag gaat... en dat is niet altijd een voordeel.

De 'transparantie' die unraid geeft met de user shares heeft dus een enorm hoge prijs.

[Robert T]

Ouch.. bedankt voor het delen Jowi... Unraid misschien toch niet zo geweldig. Heb je al eens een HW raid setup overwogen? met een Areca / Adaptec kaart en dan bijvoorbeed WHS?

Niet om unraid onderuit te halen - dit is namelijk de keuze die ik ook probeer te maken.

[jaco]

Ik heb er niet zo veel problemen mee als unraid even bezig is met het copieren van de cache naar het protected volume. Alleen het vullen va de cache drive schiet niet zo op.
Maar mijn systeem doet ook continue iets op de achtergrond. Ik heb het vermoeden dat dat ook niet meehelpt.
De CPU zitop 50% dus daar zou ook nog wel rek in moeten zitten.

[jowi]

Nou het ligt ook een beetje aan hoe je er mee werkt. Haal je per dag een paar afleveringen binnen, dan kun je makkelijk de user shares primair gebruiken, maar zodra je het over blurays of hele seizoenen hebt, dan heeft het gewoon absolouut geen voordeel... TENZIJ je de cache dus zodanig in kan zetten dat ie DAADWERKELIJK snel is met user shares, maar zolang ik dat niet voor elkaar heb, is dit mijn conclusie.

[Point7]

@jowi

Nog niet opgeven !

Wat ik zou testen in uw geval (om problemen met hardware en/of drivers te beperken).  De hardware van de server tot zijn absolute minimum beperken.
Dus enkel de SATA poorten van het moederbord gebruiken en geen extra controller in het moederbord steken (fysiek eruit halen).

Dan een simpele configuratie gebruiken. bv. maximum 3 (1x cache + 1x parity + 1x data) schijven.
ALLE bekabeling vervangen ! Overal andere SATA powerkabels EN andere SATA data kabels !

En dit weer testen. Ik blijf erbij dat het iets stoms moet zijn want anders hadden veel meer mensen op het limetech forum dit al eens meegemaakt.

[jowi]

Dit kan ik niet doen zonder mijn data te verliezen, of ik moet ergens losse schijven vandaan halen...

Dan nog, als het snelheidsprobleem consistent is, dus ZOWEL de cache als de cached shares zijn enorm traag, dan is dit een mooie test. Echter het schrijven naar de cache direct over het netwerk gaat prefect met bijna 90 tot soms 100MB/s, dus qua hardware etc zit alles in orde...

Ik blijf erbij dat het iets stoms moet zijn want anders hadden veel meer mensen op het limetech forum dit al eens meegemaakt.

Lijkt me ook, maar waarom er dan amper response op komt... ik heb er inmiddels maar een bug topic van gemaakt, misschien dat ze dan meer geneigd zijn om me te helpen vinden wat er loos is. Bugvermldingen, al dan niet terecht, zijn meestal geen goede reclame

[bart_nl]

Ouch.. bedankt voor het delen Jowi... Unraid misschien toch niet zo geweldig. Heb je al eens een HW raid setup overwogen? met een Areca / Adaptec kaart en dan bijvoorbeed WHS?

Niet om unraid onderuit te halen - dit is namelijk de keuze die ik ook probeer te maken.

is beetje off-topic maar ik heb dat ook overwogen en begon daarom hier mee te lezen net voordat Jowi zijn unRaid avontuur begon. Omdat ik van mijzelf weet dat ik absoluut niet tegen de dingen kan waar Jowi tegenaan loopt ben ik blij dat ik voor Areca hardware heb gekozen.
Nadeel is dat die raid controller mij €1200 heeft gekost maar dat is mijn vrije tijd mij wel waard. Afweging zal voor een ieder anders zijn.
Stel dat je het leuk vind om met linux te experimenteren dan zal unRaid prima zijn. Daarnaast zie ik dan wel een performance nadeel van unRaid omdat ik onregelmatig download en dus wel eens vijf blu-rays in download zet. Met mijn HW raid is dat na het downloaden en een kwartiertje (?) unrarren klaar. Zoals Jowi het nu beschrijft zou je dan nog dagen op unRaid kunnen gaan wachten.
Anderzijds is de flexibele opzet en de manier van opslaan van unRaid op losse schijven gevoelsmatig (heb er geen ervaring mee) wel ideaal. 

[skank1]

Vreemd verhaal allemaal
Nog vreemder dat enkel jij dit meekt jowi (niet dat het niet kan of jouw schild is he verre van) maar ik wil wel eens op het unraid forum meer diepgang zien in deze mogelijkse bug
En vooral ik wil het zelf testen!

[Point7]

Ouch.. bedankt voor het delen Jowi... Unraid misschien toch niet zo geweldig. Heb je al eens een HW raid setup overwogen? met een Areca / Adaptec kaart en dan bijvoorbeed WHS?

Niet om unraid onderuit te halen - dit is namelijk de keuze die ik ook probeer te maken.

Persoonlijk heb ik voor unRAID gekozen omdat het zo makkelijk uitbreidbaar is.  Ik werk al heel lang met WHS 1.0 en het is een genot om elke willekeurige schijf bij te steken en de opslagpool wordt gewoon groter.  Maar omdat WHS 1.0 alles dupliceerd groeide mijn WHS enorm snel met BLU-RAY films.

Met unRAID heb ik ook die voordelen van simpele uitbreidbaarheid en je verliest veel minder ruimte omdat je maar 1 parity schijf gebruikt voor heel de array. Vanaf 8 schijven en meer is unRAID veel goedkoper dan een NAS.

Voor mij is de unRAID server gewoon 1 grote opslagcontainer met data beveiliging.  Meer doet dat ding hier niet. Enkel streamen van films en dat doet ie allemaal perfect. Mijn server staat ook niet 24/24 op. Enkel als ik er data op zet of dat ik een blu-ray film ga kijken.

Zaken als downloaden, sqeezecenter enz. worden allemaal gedaan via simpelere (ik ken totaal niets van linux) systemen. Gewoon onder windows. Minder geknoei.

Downloaden gebeurd gewoon op mijn desktop PC. Als ik op mijn PC bezig ben dan kan die rustig op de achtergrond downloaden.  Ik heb geen behoefte aan een apparte downloadserver.

Squeezecenter staat hier gewoon op een Shuttle passieve gekoelde mini PC en die zet ik ook enkel op als ik met mijn hoofdtelefooninstallatie muziek ga beluisteren. Gewoon onder windows werkte het vlotste. Ik heb ooit bezig geweest met Squeezecenter op mijn QNAP NAS maar dit ging toch niet  zo vlot als ik wilde.

Besluit. In mijn situatie werkt unRAID perfect.

[jowi]

Ja precies het lijkt nu een beetje of unRAID waardeloos is, niets is minder waar. Je hebt inderdaad nog steeds een protected storage, die inderdaad simpel uit te breiden is. Daar is verder niets mis mee, en werkt prima.

Ik heb gewoon de pech dat ik weer eens iets bijzonders heb.

[skank1]

Persoonlijk heb ik voor unRAID gekozen omdat het zo makkelijk uitbreidbaar is.  Ik werk al heel lang met WHS 1.0 en het is een genot om elke willekeurige schijf bij te steken en de opslagpool wordt gewoon groter.  Maar omdat WHS 1.0 alles dupliceerd groeide mijn WHS enorm snel met BLU-RAY films.

Met unRAID heb ik ook die voordelen van simpele uitbreidbaarheid en je verliest veel minder ruimte omdat je maar 1 parity schijf gebruikt voor heel de array. Vanaf 8 schijven en meer is unRAID veel goedkoper dan een NAS.

Voor mij is de unRAID server gewoon 1 grote opslagcontainer met data beveiliging.  Meer doet dat ding hier niet. Enkel streamen van films en dat doet ie allemaal perfect. Mijn server staat ook niet 24/24 op. Enkel als ik er data op zet of dat ik een blu-ray film ga kijken.

Zaken als downloaden, sqeezecenter enz. worden allemaal gedaan via simpelere (ik ken totaal niets van linux) systemen. Gewoon onder windows. Minder geknoei.

Downloaden gebeurd gewoon op mijn desktop PC. Als ik op mijn PC bezig ben dan kan die rustig op de achtergrond downloaden.  Ik heb geen behoefte aan een apparte downloadserver.

Squeezecenter staat hier gewoon op een Shuttle passieve gekoelde mini PC en die zet ik ook enkel op als ik met mijn hoofdtelefooninstallatie muziek ga beluisteren. Gewoon onder windows werkte het vlotste. Ik heb ooit bezig geweest met Squeezecenter op mijn QNAP NAS maar dit ging toch niet  zo vlot als ik wilde.

Besluit. In mijn situatie werkt unRAID perfect.

+1
Mijn situatie is bijna gelijk en voor mij werkt unraid ook perfect. Echter ik gebruik hem wel als logitech sb server en downloadserver
Maar ik ga wel dezelfde test doen.

[skank1]

Ja precies het lijkt nu een beetje of unRAID waardeloos is, niets is minder waar. Je hebt inderdaad nog steeds een protected storage, die inderdaad simpel uit te breiden is. Daar is verder niets mis mee, en werkt prima.

Ik heb gewoon de pech dat ik weer eens iets bijzonders heb.

Maar het blijft wel vreemd

[jowi]

Zojuist een lege 500GB harddisk in een slot geschoven, de SSD unassigend en na een reboot de 500GB disk als cache ingezet, zowel op een SATA2 moederbord port, als op een SATA3 externe controller. Lang verhaal kort, exact hetzelfde resultaat. Direct naar de cache disk schrijven met 80MB/s, en naar een cached share, 50MB/s.

Dus de SSD is niet de oorzaak.

[bart_nl]

had je al eens een test gedaan zonder de SSD in unraid te gebruiken dus alleen de SSD? Lijkt meer een driver / hardware beperking dan een software probleem? Misschien dat je PCI-E slot, sata controller en netwerk poort resources delen?

[jowi]

Nogmaals, schrijfsnelheid naar de SSD over het netwerk is goed. Geen probleem. Geen klachten over. Hardware is dus ok. Schijven naar een cached user share (een unraid principe) is echter 2x zo traag, terwijl DAAR juist de grote winst zou moeten zitten, en dit zou (bijna) net zo snel moeten gaan als schrijven naar de SSD/cache zelf.

Overigens kun je niet zomaar alles in unraid weggooien, we hebben het over 20TB aan data waar ik een week over gedaan heb om te copieren. Afgezien daarvan, je kunt unraid niet enkel met 1 ssd draaien. Je moet minstens een array van 3 disks (1p + 2d) hebben.

[dennism]

Ik had zojuist 24 afleveringen van een serie binnen a 2GB per stuk. Sabnzb had deze keurig gedownload en in een download map op de cache gezet. De download map is dus óók een user share. So far so good. Maar dan... hoe krijg je ze op de juist plek in je 'tv series' user share? Dan heb je een aantal opties.

1. selecteer en  move ze van de user share 'downloads' naar de user share 'tv serie', zodat unraid zelf mbv highwater of fillup de boel gaat indelen op basis van de split level. Dat gaat supertraag, hij gaat van de ene user share (US) naar de andere copieren met 20-25MB/s... gaat uren duren.

2. dan naar de cache zelf, selecteer ze dan uit de folder 'downloads' (dus NIET de share maar de fysieke folder) en move ze naar de US tv series zodat unraid ze zelf mbv highwater/fillup etc gaat verdelen op basis van de split level. Ook dit gaat traag met 25-30MB/s... gaat uren duren.

3. Als je bovenstaand proces stopt heeft unraid de tvseries folder waar je heen copieert, op de cache aangemaakt. Wat je dan doet, je selecteert alles in de downloads folder, en moved het in 1 seconde!!!! naar de tvseries folder op de cache... het resultaat is dat de bestanden FYSIEK nog op de cache staan maar voor clients als de dune, die naar de user share kijken, al te zien is op de juiste plek en af te spelen is. unRAID's move proces zal ze dan 's nachts fysiek copieren op z'n gemakkie.

CONCLUSIE: USER SHARES zijn NIET bedoeld om op bestandsbeheer niveau vlot mee te werken. Daar zijn ze te traag voor. Als je data heen en weer wilt copieren, doe dat dan op de disks zelf. Dit haalt natuurlijk het hele fundament onder unraid vandaan, maar het is niet anders.

Het enige waar user shares handig voor zijn is dat clients zoals mediaspelers, 1 groot virtueel volume 'zien' ipv een x aantal losse disks.

Het hele principe dat je met copieren naar een user share, het systeem zélf laat bepalen waar ie alles fysiek neerzet, op basis van de split level en de allocatie methode, werkt uiteraard wel, maar de penalty is dat het enorm traag gaat... en dat is niet altijd een voordeel.

De 'transparantie' die unraid geeft met de user shares heeft dus een enorm hoge prijs.

Waarschijnlijk zal het op mijn Syno in theorie wat anders werken dan op Unraid echter de basis zal het zelfde zijn, volgens mij zag ik eerder in dit topic dat je Sab en Sickbeard geinstalleerd had.
Als je deze beide correct insteld zal Sickbeard voor je downloaden via Sab, en geeft Sab daarna weer een seintje naar Sickbeard dat ie klaar is, Sickbeard zal dan de post processing doen, en zorgen dat alle onnodige meuk verwijderd wordt (nfo's, samples, subtitles in vreemde talen en dan soort spul) en daarna de files op de juiste plek zetten. Voor zover ik weet is dit altijd een move proces wanneer mogelijk en geen copy, waardoor dit zeer snel gaat).

Denk dat het bij Unraid vooral van belang is de juiste targets te selecteren zodat een move mogelijk is voor post processing.

Hieronder een voorbeeld wat Sab/Sickbeard doen voor de postprocessing.

Code [Selecteer] Expand


Loading config from /volume1/@appstore/sabnzbd/var/scripts/autoProcessTV/autoProcessTV.cfg
Opening URL: http://localhost:8081/home/postprocess/processEpisode?nzbName=Being.Human.US.S02E05.720p.BluRay.x264-TRiPS.nzb&quiet=1&dir=%2Fvolume1%2Fdownloads%2Fcomplete%2Fseries%2FBeing.Human.US.S02E05.720p.BluRay.x264-TRiPS
Processing folder /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS

Processing /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS/being.human.us.s02e05.720p.bluray.x264-trips.mkv (Being.Human.US.S02E05.720p.BluRay.x264-TRiPS.nzb)

Found result in history: (196921, 2, [])

Parsed /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS/being.human.us.s02e05.720p.bluray.x264-trips.mkv into Being Human US - S2E5 - 720p.BluRay.x264 (TRiPS) [ABD: False]

Checking scene exceptions for a match on Being Human (US)

Checking scene exceptions for a match on Being Human US

Looking up Being Human (US) in the DB

Lookup successful, using tvdb id 196921

Loading show object for tvdb_id 196921

Retrieving episode object for 2x5

The old status had a quality in it, using that: 720p BluRay

SB snatched this episode so I'm marking it as priority

Is ep a priority download: True

File /volume1/Media/Video/Series/Being Human (US)/S02/Being Human (US) - S02E05 - Addicted to Love - HD TV.mkv is smaller than /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS/being.human.us.s02e05.720p.bluray.x264-trips.mkv

This download is marked a priority download so I'm going to replace an existing file if I find one

Deleting file /volume1/Media/Video/Series/Being Human (US)/S02/Being Human (US) - S02E05 - Addicted to Love - HD TV.mkv

Destination folder for this episode: /volume1/Media/Video/Series/Being Human (US)/S02

Moving file from /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS/being.human.us.s02e05.720p.bluray.x264-trips.mkv to /volume1/Media/Video/Series/Being Human (US)/S02/Being Human (US) - S02E05 - Addicted to Love - 720p BluRay.mkv

Deleting folder /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS

Processing succeeded for /volume1/downloads/complete/series/Being.Human.US.S02E05.720p.BluRay.x264-TRiPS/being.human.us.s02e05.720p.bluray.x264-trips.mkv


[jowi]

Ik heb sickbeard nog niet aan de praat, dus ik download alleen nog even met sabnzb. Sabnzb zet zijn resultaten dan in een 'completed' folder op de cache.

Als sickbeard inderdaad datgene download wat ik wil ( en dat betwijfel ik maar goed dat is een ander verhaal) dan zou ik inderdaad eea zo in kunnen stellen dat episodes meteen op de goede plek komen, echter... dan nog zal dat met een lousy 50MB/s zijn en NIET met de 80MB/s die het zou moeten zijn.

Snap je?

Het gaat er niet om dat de principes niet werken, die werken prima... alleen de beloofde snelheid is er niet. En die snelheid maakt het praktisch werkbaar en zorgt er voor dat de cache transparant is.

Als ik de snelheid NU wil hebben moet ik dus alles met de hand doen.

[dennism]

Ik zie volgens mij trouwens wel dat je telkens RC/Beta versies gebruikt in je setup. Heb je al een de laatste Stable geinstalleerd om te kijken wat het systeem dan doet. Zou natuurlijk kunnen zijn dat er ergens een vreemde hardware compatibiliteits probleem zit in de RC versies, die de Stable niet heeft. Of heb je juist de RC nodig voor bepaalde zaken?

[Point7]

Ik zie volgens mij trouwens wel dat je telkens RC/Beta versies gebruikt in je setup. Heb je al een de laatste Stable geinstalleerd om te kijken wat het systeem dan doet. Zou natuurlijk kunnen zijn dat er ergens een vreemde hardware compatibiliteits probleem zit in de RC versies, die de Stable niet heeft. Of heb je juist de RC nodig voor bepaalde zaken?

De laatste stable versie (v4.7) is ondertussen al heel oud.  De nieuwste 5.0beta's en 5.0RC's heb je nodig voor 3TB en 4TB drive support.

[bart_nl]

...Hardware is dus ok. Schijven naar een cached user share (een unraid principe) is echter 2x zo traag...

wel erg kort door de bocht voor iemand die zijn probleem nog niet snapt? Dat laatste lijkt mij mogelijk wel een hardware probleem? Stel dat de sata poort waar jouw SSD aan hangt resources deelt met de sata poort waar je parity schijf aanhangt dan zou dat jouw probleem verklaren. Idem als je netwerkaansluiting resources deelt. Schrijven naar de cache gaat dan prima maar zo gauw je gaat door kopiëren krijg je last van de gedeelde resources.
Normaliter zit de minste beperking in de sata connectoren op je moederbord maar daar moet je de handleiding van je moederbord wel voor raadplegen.

[Point7]

wel erg kort door de bocht voor iemand die zijn probleem nog niet snapt? Dat laatste lijkt mij mogelijk wel een hardware probleem? Stel dat de sata poort waar jouw SSD aan hangt resources deelt met de sata poort waar je parity schijf aanhangt dan zou dat jouw probleem verklaren. Idem als je netwerkaansluiting resources deelt. Schrijven naar de cache gaat dan prima maar zo gauw je gaat door kopiëren krijg je last van de gedeelde resources.
Normaliter zit de minste beperking in de sata connectoren op je moederbord maar daar moet je de handleiding van je moederbord wel voor raadplegen.

In theorie is het resultaat hetzelfde als men manueel iets kopieerd rechtstreeks naar de cache schijf of men gebruikt een cached share. In dit laatste geval wordt ook gewoon rechstreeks naar de cache schijf geschreven alleen weet unRAID dat deze achteraf nog ge-moved moeten worden naar de protected array.

Jammer dat Jowi niet direkt de mogelijkheid heeft om die SAS controller uit zijn systeem te halen.  Misschien zit het probleem in die controller (driver/hardware).

[bart_nl]

...unRAID dat deze achteraf nog ge-moved moeten worden naar de protected array...

Ik dacht dat unRaid wel direct met door kopiëren zou beginnen maar als dat echt pas achteraf gebeurt is jowi zijn probleem wel bizar en lijkt het een unRaid probleem.

[dennism]

Zijn alle netwerk protocollen e.d. al uitgesloten? Probeer bijv eens direct op de commandline eens time cp <locatie van een redelijk grote file> <cache disk> en daarna hetzelfde naar een normale disk. Dan zou je de waarden moeten zien die het systeem intern haalt zonder overhead van SMB/NFS e.d.

[jowi]

Ik dacht dat unRaid wel direct met door kopiëren zou beginnen maar als dat echt pas achteraf gebeurt is jowi zijn probleem wel bizar en lijkt het een unRaid probleem.

Nu worden er dingen  bijgehaald die nergens over gaan... als je geen hands on ervaring hebt met unraid is het ondoenlijk om te begrijpen wat ik zeg en om te snappen wat wel goed is en wat niet. Het move proces is een apart script wat 's nachts zaken van de cache gaat verplaatsen naar de fysieke disks. Daar is niets bizars aan.

En overigens, DAT is dus allemaal het probleem niet.