Ervaringen met unRAID?

jowi · July 25, 2012, 15:42:49

Zojuist een 128GB SSD als cache drive bijgezet, array gestopt, ssd assigned als cache, array gestart. SSD geformatteerd. Maar wat nu? Ik heb mijn movies en tvseries shares aangepast met de optie 'use cache disk: yes' echter als ik nu een groot bestand naar zo'n share copieer, gaat het nog trager dan voorheen?

dus het lijkt niet naar de cache te gaan.

Moet ik nog meer doen?

skank1 · July 25, 2012, 15:51:29

Quote from: jowi on July 25, 2012, 15:42:49
Zojuist een 128GB SSD als cache drive bijgezet, array gestopt, ssd assigned als cache, array gestart. SSD geformatteerd. Maar wat nu? Ik heb mijn movies en tvseries shares aangepast met de optie 'use cache disk: yes' echter als ik nu een groot bestand naar zo'n share copieer, gaat het nog trager dan voorheen? dus het lijkt niet naar de cache te gaan.

Moet ik nog meer doen?

Vreemd, der klopt iets inderdaad niet.
Ik heb juist hetzelfde gedaan, cach disk installed, assigned en formatted en dan gewoon bij de shares aanzetten dat ze de cache disk gebruiken
Zou moeten sneller gaan... Es vragen op het unraid forum? Volgens mij heb je alle stappen juist gedaan

jowi · July 25, 2012, 15:54:16

Ik moest blijkbaar de array weer even stoppen en starten, nu zie ik inderdaad als ik iets naar de tvseries usershare copieer vanaf de windows pc, dat het op de cache terecht komt. Overigens niet zo snel als ik had gehoopt...

En dan nog iets, ik wil apps als sickbeard, slimserver, dropbox etc op de SSD (cache) installeren. Moet ik nog iets speciaals doen om te voorkomen dat de MOVER die dingen ook oppakt en naar de array verplaatst? Of pakt de mover alleen de user shares op waarin aangegeven is dat ze de cache gebruiken?

skank1 · July 25, 2012, 16:24:50

Quote from: jowi on July 25, 2012, 15:54:16
Ik moest blijkbaar de array weer even stoppen en starten, nu zie ik inderdaad als ik iets naar de tvseries usershare copieer vanaf de windows pc, dat het op de cache terecht komt. Overigens niet zo snel als ik had gehoopt...

En dan nog iets, ik wil apps als sickbeard, slimserver, dropbox etc op de SSD (cache) installeren. Moet ik nog iets speciaals doen om te voorkomen dat de MOVER die dingen ook oppakt en naar de array verplaatst? Of pakt de mover alleen de user shares op waarin aangegeven is dat ze de cache gebruiken?

Hoe snel dan? Toch sneller dan gewoon?

Ivm mover script, standaard laat hij de mappen met een "_" op de cache staan dus bv _Dropbox, dan zal hij deze map niet verplaatsen.
Je kan ook dingen toevoegen aan het mover script waar hij niet mag aankomen
bv met een "." ofzo..

jowi · July 25, 2012, 16:37:37

Als ik direct naar een disk copieerde ging dat met 70MB/s, naar een share ging met 33MB/s.
Nu gaat direct naar de cache rond de 90MB/s, en naar een share (dus cached share, dus feitelijk OOK naar de cache) met 55MB/s...

Daar snap ik dus niksl van; hij zou nu naar de share net zo snel moeten zijn als direct naar de cache. Dat is immers hetzelfde.

skank1 · July 25, 2012, 16:41:30

Quote from: jowi on July 25, 2012, 16:37:37
Als ik direct naar een disk copieerde ging dat met 70MB/s, naar een share ging met 33MB/s.
Nu gaat direct naar de cache rond de 90MB/s, en naar een share (dus cached share, dus feitelijk OOK naar de cache) met 55MB/s...

Daar snap ik dus niksl van; hij zou nu naar de share net zo snel moeten zijn als direct naar de cache. Dat is immers hetzelfde.

Vreemd, zou inderdaad hetzelfde moeten zijn... nl 90 mb/s
Dat is wel een mooie snelheid

jowi · July 25, 2012, 17:50:01

Die 90MB/s klopt niet, dat was denk ik een piekje. Als ik een hele bluray copieer, stopt het bij 70MB/s, met andere woorden, het copieren naar de (SSD!) cache is net zo snel (of traag) als naar een harddisk. Het copieren naar een cached user share gaat wel iets sneller, rond de 50MB/s tegen 35MB/s voorheen, maar eigenlijk verwachtte ik daar óók die 70MB/s te halen. Nu heb ik een bak geld uitgegeven en niet echt winst gehaald...

Het enige is dat ik nu losse apps op de SSD kan installeren, dat scheelt wellicht wat spin ups, maar echt voor de grote snelheidswinst had ik het niet hoeven doen...

jowi · July 25, 2012, 19:05:06

Pfff het wordt er allemaal niet beter op. Ik baal er echt van dat de uitleg over een heel forum verspreid zit en niet in een handleiding. De handleidingen die er zijn, zijn te summier...

Ik heb nu bijv. op mijn cache drive een folder '_apps' gemaakt, waar ik dingen in geinstalleerd heb als sabnzb, slimserver, dropbox. Die folder gaat als het goed is NIET mee met de mover, omdat er een _ in de naam staat. Echter ik lees ook dat als je bij je user shares kijkt (en daar komt deze _apps folder vanzelf terecht aangezien het een top level folder is) dat je dan 'set user cache' op ONLY moet zetten, en dat dat genoeg is om de folder niet met de mover mee te laten gaan. Echter nu heb ik dat gedaan, en zegt de user share met een orange ball dat er 'pending changes' zijn... ook heb ik de smb export op NO gezet, en ook 'private' maar ik zie hem gewoon lekker staan in explorer... of is er weer een restart ofzo nodig?

Ik wordt echt een beetje moe van de chaos en onduidelijkheid op dat forum... wie weet hoe het werkt?

*edit* stoppen en starten van de array voert pas echt veranderingen door blijkbaar. Soms gaat het ook vanzelf. Ofzo.

skank1 · July 25, 2012, 19:34:24

klopt
meerdere manieren mogelijk

jowi · July 25, 2012, 19:35:52

Nou ik ben benieuwd. Ik heb wat klaargezet voor de mover, een als het goed is _apps folder en download folder die met rust gelaten moeten worden. Zal zo de mover eens handmatig aanzetten, eens kijken of alles goed gaat...

Op zich heb ik nog wel een mooie toepassing voor de SSD, want als 'cache' schiet het z'n doel nogal voorbij. Sabnzb doet er lekker op downloaden, alle parts en tijdelijke shit en parren & unrarren etc gaat allemaal op de SSD, dat gaat wel lekker vlot dan. En daar hoeven geen fysieke disks voor opgestart te worden

Point7 · July 25, 2012, 20:45:43

Quote from: jowi on July 25, 2012, 17:50:01
Die 90MB/s klopt niet, dat was denk ik een piekje. Als ik een hele bluray copieer, stopt het bij 70MB/s, met andere woorden, het copieren naar de (SSD!) cache is net zo snel (of traag) als naar een harddisk. Het copieren naar een cached user share gaat wel iets sneller, rond de 50MB/s tegen 35MB/s voorheen, maar eigenlijk verwachtte ik daar óók die 70MB/s te halen. Nu heb ik een bak geld uitgegeven en niet echt winst gehaald...

Het enige is dat ik nu losse apps op de SSD kan installeren, dat scheelt wellicht wat spin ups, maar echt voor de grote snelheidswinst had ik het niet hoeven doen...

Dan is uw bron volgens mij toch de bottleneck. Ik haal constant 105MB/sec naar de cache SSD, maar mijn bron staat wel in RAID0.

Kun je bij wijze van test niet eens vanaf een SSD kopieeren naar de SHARE/CACHE SSD ? Dan zou de gigabit NIC toch de bottleneck moeten worden.

Wel raar dat je verschillende snelheden haalt. Zoals vermeld haal ik altijd meer dan 100MB/s naar een SHARE (logisch want ik schrijf dan ook naar de cache SSD).

jaco · July 25, 2012, 20:59:01

Ik heb een 1 TB Hitachi 7200 RPM als cache en haal nu met Terra copy 37 Mbyte/sec.
De unraid server staat nu ook nog op 2 hdd's een preclear te doen, misschien dat dat de zaak wat afremt ?
File compare gaat met 51 MB/sec

De bron is een i7 met 12 GB ram, en 2 x een 3.7 TB raid-5 volume (5 x 1 TB hdd) op een Areca Raid controller
Het raid volume staat helemaal vol, dus is wel gefragmenteerd neem ik aan.

jowi · July 25, 2012, 21:05:02

Als ik op mijn Windows 7 64 bits PC van een interne harddisk naar een interne SSD copieer, kom ik ook niet boven de 80MB/s uit... mijn pc is niet de snelste zo te zien, dat is 1.

Als ik van de SSD op de PC naar de cache (SSD) van unraid copieer gaat dat ook met 80MB/s.
Copieer ik van de PC van een harddisk naar de cache van unraid, gaat dat met 70MB/s.

In beide gevallen, copieren naar een unraid shared folder (met 'cache=yes') gaat trager dan direct naar de cache zelf... en dat klopt niet.

Point7 · July 25, 2012, 21:12:15

Quote from: jaco on July 25, 2012, 20:59:01
Ik heb een 1 TB Hitachi 7200 RPM als cache en haal nu met Terra copy 37 Mbyte/sec.
De unraid server staat nu ook nog op 2 hdd's een preclear te doen, misschien dat dat de zaak wat afremt ?
File compare gaat met 51 MB/sec

Als ik eraan denk zal ik morgen eens testen met teracopy. Zien welke speed die aangeeft.

jowi · July 25, 2012, 22:57:21

Als ik sudo hdparm -t /dev/sda doe voor een testje met de SSD op de unraid bak, zit ie gemiddeld op 130MB/s... da's niet snel voor een SSD zou je zeggen...? Het is een SATA3 SSD (Corsair Performance pro 128GB) op een SATA2 poort, zou ik hem beter op de SAS2LP SATA3 controller zetten?

jowi · July 26, 2012, 00:47:17

Ik heb de SSD nu op de SATA3 controller gezet; dat scheelt enorm... tenminste, in theorie. De hdparm -t test geeft nu dik 275MB/s aan. Oftewel, een verdubbeling.

Echter als ik nu naar de cache copieer vanaf het netwerk, hou ik dezelfde snelheden als voorheen... 80MB/s naar de cache, 50MB/s naar een cached (!) user share...

iemand een idee?

jaco · July 26, 2012, 06:17:54

Kun je ook ergens zien hoe snel de mover werkt ? In een schermpje, of via de command line ?

Ik heb er nu iets van 750 GB op gezet, en hij is het nu sinds 03:40 aan het verwerken.
Er is 175 GB gedaan in iets van 2 uur en 30 minuten. Dus dat zou maar iets van 19 Mbyte/sec zijn.

Point7 · July 26, 2012, 07:55:44

Quote from: Point7 on July 25, 2012, 21:12:15
Als ik eraan denk zal ik morgen eens testen met teracopy. Zien welke speed die aangeeft.

Ik heb een test gedaan met teracopy vs. standaard win7.

Ik heb een bestand van ongeveer 26931MB gebruikt. Mijn bron is een RAID0 van 2x Western Digital Black HDD en er worden geen andere bewerkingen op deze RAID0 uitgevoerd tijdens het testen.
Het doel in een SHARE met SSD cache (Corsair Performance Pro 128GB)

Ik heb de tijden ook handgeklokt.

Test 1:
via Teracopy naar UNRAID: 500 sec --> 54MB/s (dit geeft teracopy als resultaat en dat klopt als ik dit met de hand uitreken)
Test 2:
via standaard Win7: 248 sec --> 108MB/s

Conclusie: teracopy is half zo traag !!!

skank1 · July 26, 2012, 07:59:45

Ik gebruik altijd teracopy ;( dus die is echt trager?

Point7 · July 26, 2012, 08:12:34

Quote from: skank1 on July 26, 2012, 07:59:45
Ik gebruik altijd teracopy ;( dus die is echt trager?

Bij deze test duidelijk wel.

Ik heb nog eens een test gedaan met teracopy met deze keer in de settings de "systeemschrijfbuffer" te activeren.

Het resultaat is beter (76MB/s) maar nog steeds te traag t.o.v. standaard Win7.

Point7 · July 26, 2012, 08:24:33

Hier een benchmark van mijn bron. Een RAID0 van 2xHDD. (2xWD black 650GB) Dit is een RAID0 dat enkel als data-schijf gebruikt wordt. Mijn systeemsoftware staat op een andere RAID0 van 3xSSD zodat de RAID0 van 2xHDD zo weinig mogelijk dubbele taken moet doen want dan zakt de snelheid in mekaar door die harde schijven.

Deze bron is over heel de lijn sneller dan mijn Gigabit netwerk.

bart_nl · July 26, 2012, 10:33:03

Quote from: jowi on July 26, 2012, 00:47:17iemand een idee?

80MB/s van een enkele schijf is prima?
Waarom je cache trager is bij gebruik als cache snap ik overigens ook niet. Heb je al gekeken wat je CPU load op je unRaid PC is? Hierboven heb je aangegeven allerlei applicaties geïnstalleerd te hebben en ik kan mij voorstellen dat die invloed hebben. Vooral wanneer die applicaties ook gebruik maken van je schijven?

jowi · July 26, 2012, 10:37:28

Quote from: bart_nl on July 26, 2012, 10:33:03
80MB/s van een enkele schijf is prima?
Waarom je cache trager is bij gebruik als cache snap ik overigens ook niet. Heb je al gekeken wat je CPU load op je unRaid PC is? Hierboven heb je aangegeven allerlei applicaties geïnstalleerd te hebben en ik kan mij voorstellen dat die invloed hebben. Vooral wanneer die applicaties ook gebruik maken van je schijven?

Die 80 vind ik ook prima. Maar die wil ik dus ook halen als ik naar een (cached) user share copieer.
Ik zal inderdaad dropbox, sickbeard, slimserver en sabnzb eens stoppen. Die staan allemaal geinstalleerd op de cache.
CPU load zit rond de 25-30% als ie iets staat te doen, bijv. als ie aan het downloaden is, en nu (handmatig) het mover script.

*edit* apps disablen maakt niets uit.

Beide machines zitten aan de router, dus zit geen switch tussen. Heb ook geprobeerd met beiden aan de (gigabit) switch, geen verschil, ook de ene op de switch, de ander op de router (switch hangt uiteraard aan de router) gaf geen verschil. Bekabeling is cat5e.

Aangezien mijn pc ZELF INTERN ook niet boven de 80MB/s uitkomt als ik bijv. van een interne disk naar de interne SSD copieer, zal dat de max zijn, maar ik zou die snelheid dus graag ook naar een user share hebben...

Ik verdenk dus echt iets in unRAID of de unRAID machine maar zou niet weten wat.

'hulp' op het unraid forum is zoals altijd traag... erg frustrerend.

Point7 · July 26, 2012, 10:53:02

Quote from: jowi on July 26, 2012, 10:37:28
Die 80 vind ik ook prima. Maar die wil ik dus ook halen als ik naar een (cached) user share copieer.
Ik zal inderdaad dropbox, sickbeard, slimserver en sabnzb eens stoppen. Die staan allemaal geinstalleerd op de cache.
CPU load zit rond de 25-30% als ie iets staat te doen, bijv. als ie aan het downloaden is, en nu (handmatig) het mover script.

*edit* apps disablen maakt niets uit.

Ik weet niet of mijn hardware/software er iets mee te maken heeft.

Ik gebruik standaard UNRAID. Ik heb totaal geen plugins draaiende.

CPU=Core i5 2400 (is eigenlijk te veel voor unRAID)
RAM=4GB
Cache=Corsair Performance Pro 128GB
Netwerk=Realtek RTL8112L chip

Point7 · July 26, 2012, 11:03:29

Quote from: jowi on July 26, 2012, 10:37:28

Ik verdenk dus echt iets in unRAID of de unRAID machine maar zou niet weten wat.

'hulp' op het unraid forum is zoals altijd traag... erg frustrerend.

Hou wel rekening met het tijdverschil waarin de meeste mensen op dat forum leven.

Heb je al eens andere versies van unRAID geprobeerd ?
Ik heb het minste problemen met versie 5.0beta12a en 5.0beta14. Bij deze versies heb ik nergens problemen. Deze werken voor mij perfect.

Vanaf de 5.0 release candidates heb ik problemen met beeld/geluid stottering bij het streamen van Blu-Ray. Heb ze nog niet allemaal getest. De nieuwste versies werken in ieder geval niet goed hier.

News:

Ervaringen met unRAID?