Ervaringen met unRAID?

[Teejoo]

Ik zou echt gewoon een nieuw MB, processor etc kopen. Kost de wereld niet en je bent weer voor 10 jaar klaar.

[Bolle]

Ik zou echt gewoon een nieuw MB, processor etc kopen. Kost de wereld niet en je bent weer voor 10 jaar klaar.

Yup, daar zit ik ook aan te denken.

Vind het alleen vrij prijzig tegenwoordig. Toen ik deze kocht was ik voor MB + CPU nog iets van 100 EUR kwijt, en daar draaide unraid prima op. Een beetje instap M-ITX bord + CPU kijk je nu al tegen de 250 EUR aan, en is in principe veel krachtiger dan je voor unraid nodig zou hebben. Dus mag van mij ook best wel iets van paar jaar geleden zijn. We kijken het even een weekje of zo aan wat wijsheid is.

[Teejoo]

Ik heb laatst dus mijn oude windows server omgebouwd, maar merk dat bijvoorbeeld een docker opstarten merkbaar langzamer is vergeleken met de grote server. Maar het werkt idd verder prima.

[Bolle]

Even weer tijd voor een unraid update - update.

Laatst post was de situatie dat het JMB585 SATA expansie kaartje niet werkte. Ik dacht dat dit mogelijk lag aan het oudere 'legacy' BIOS en of PCIe 2.0 slot. Dus volgende stap...

Nieuw moederbord/CPU/geheugen
Met een setje van ruim 12 jaar oud was op zich een update hier niet ongepast, hoewel het geheel nog prima deed, ook qua functionaliteiten die ik wou. Aan de andere kant was ik ook naar een compactere server aan het kijken, dus iets met een ITX moederbord was toch al in beeld aan het komen.

Meer naar de eisen kijkende wou ik graag PCIe 3.0 ivm beter compatibiliteit met SATA kaarten, SATA-600 poorten voor SSD disks, en evt een M2 slot voor een cache drive.
Tegelijk hoefde het van mij ook niet het nieuwste van het nieuwste te zijn, unraid doet het prima op wat oudere hardware. Ook gezien dat ik nieuwe hardware tegenwoordig best prijzig vind, zeker voor het doel van een relatief eenvoudige media server.

Het enige wat ik wel wou hebben was eventueel mogelijkheid tot hardware transcoding mocht je willen streamen naar andere devices, bv telefoon of tablet.

Dus de volgende vraag was, AMD of Intel, en hoe oud of nieuw?

Tussen AMD en Intel kwam ik ik al snel uit op Intel. De hardware transcoding via de Intel iGPU's is uitstekend. Daarmee verdwijnt de noodzaak een losse GPU te plaatsen, wat energie, warmte en een PCIe slot kost - en die ene slot had ik op een ITX moederbord al nodig voor een SATA expansie kaartje.

Ok, Intel dus, welke generatie dan? Na een aantal jaar niet zo bezig geweest te zijn met hardware duizelde het me wat qua i3/5/7 varianten, all 'Lake' generaties van processoren... het is er niet duidelijker op geworden.

Na wat inlezen was het me duidelijk dat de 'HD Graphics 630' iGPU voldoende zou zijn om de meeste gangbare codecs te en/decoden voor hardware transcoding. Deze GPU zat op de 7 t/m 10de generatie CPU's (iX-7XXX t/m iX-10XXX).
Pas bij de 'HD Graphics 750' zie je een betere iGPU, die komt pas op de 11de generatie CPU. Wat ik begrijp is grootste extra dat deze iGPU ook de AV1 codec aankan. Die is nog niet echt heel wijdverspreid op het moment.



Aangezien pure CPU performance verder niet zoveel uitmaakte binnen de context van unraid aangezien de iGPU voor transcoding het zware werk doet, is elke keuze binnen deze 7 t/m 10de generatie redelijk prima - tenzij je natuurlijk je server gaat gebruiken voor vele dockers en VM's, dan is een sneller processor met meer cores zinvol.
Na wat verder inlezen werd de i3-8100 aangeraden. Goede iGPU, en met de 8ste generatie kreeg de i3 ook 4 cores inplaats van de 2 van voorgaande. De performance mbt transcoding was prima, en ervaringen waren dat sterkere CPU's eigenlijk weinig impact hadden.
Een leuke link: https://forums.unraid.net/topic/97593-intel-i3-8100-with-uhd630-the-plex-transcoding-beast/
Ook las ik dat de 8ste generatie wat zuiniger zou zijn dan latere, maar dat kan ik niet ergens in cijfers terug vinden. Ook ondersteunt de 8de generatie nog ECC geheugen, mocht je moederbord dat ook ondersteunen.

De 8ste en 9de generatie draaien op een 1151 socket bordje dus daar naar op zoek. Binnen de 1151 borden wat ik op zoek naar een met liefst een Intel netwerk chip omdat die i.h.a. beter doen onder unraid dan de Realtek die je vaak bij wat meer instap borden vindt, en ook wou ik graag 1 of 2 M2 slots. Uiteindelijk op Marktplaats een B360 gebaseerd ITX bordje gevonden wat aan deze eisen voldeed, een "ASUS ROG STRIX B360-I GAMING". Deze kwam met 16 Gb RAM. En ook gelijk een i3-8100 CPU gevonden.

Hoopt dat alles voor pasen binnen was om het weekend er mee aan de slag te gaan, maar helaas werkte DHL niet mee en werd het een paar dagen later.


Ook een stukje kleiner dan mijn oude mATX board!

[Bolle]

Mijn plan was om het nieuwe ITX bord vooralsnog simpel in mijn bestaande mid-tower in te gaan bouwen. Allereerst had ik eerst minimaal ruimte voor 8 drives nodig. 6 voor mijn array, 1 voor cache en tijdelijk 1 extra om als 'swap disk'  te fungeren in de file system migratie. Ten tweede, hoewel ik naar iets kleiners wou, stond het ook niet super in de weg in mijn gangkast.

Maar ja, je weet hoe het is, als je eenmaal zo'n update traject ingaat...

Nieuwe kast
Ik had voor de toekomst min of meer de Silverstone DS380 ITX server kast in gedachten. Maar best een prijzig kastje, je moet er ook een kleinere SFX voeding voor kopen. En na wat vervelende ervaringen met backplanes in mijn Norco hot-swap bays ben ik wel beetje voor om binnen mijn simpele consumer gebruik wellicht een connectie minder te hebben, en niet voor een hot-swap kast te gaan.

En mijn nieuwe moederbord heeft 2 M2 slots, dus kan er 1 gebruiken voor een SSD voor dockers, en 1 voor een SSD voor cache. Daarmee heb ik alleen ruimte voor de 6 drives in mijn array nodig. Ik zie mezelf nu eerder de oude 2 Tb schijven vervangen door grotere, ipv verder in aantal uit te breiden.

Dus met die gedachten aan het vormen, zag ik ineens een Fractal Node 304 kastje te koop op Marktplaats om de hoek bij een vriend waar ik een dag later een eetafspraak mee had, dus die maar opgepikt. Een leuk ontworpen compact kastje met ruimte voor 6 schijven, mijn bestaande ATX voeding kan erin... prima.



Nieuwe voeding
Hee... maar zei je net niet dat je bestaande ATX voeding nog kon gebruiken in de Fractal kast? Inderdaad, maar zoals de gedachten gaan..."Het is wel een compact kastje. Misschien is een wat kleinere voeding dan wel handig, zeker met modulaire stekkers ipv de vaste die ik nu heb. En zo'n kleinere voeding is ook altijd nuttig mocht ik een andere kast willen in de toekomst. En hier staat er een op Markplaats als nieuw voor een leuk bedrag!"

En zo kwam 2 dagen later een Corsair SF600 voeding binnen, een SFX formaat.

[Bolle]

Zo, na wat lekker hobbyen en rondsnuffelen op Marktplaats hadden we nu de spullen om verder te gaan waar het eigenlijk allemaal om ging. Allereerst mijn drives omzetten van ReiserFS naar XFS, en de capaciteit van mijn array uit te breiden.

Dus mijn nieuwe ITX bord in mijn oude kast met al mijn drives gezet. Het JMicron JMB585 gebaseerd SATA kaartje in de PCIe 3.0 slot en.... helemaal niks. Drives werden niet herkend in de BIOS, niet in unraid. Na twee dagen stoeien met BIOS settings de hoop opgegeven en een ander SATA kaartje besteld.

Andere SATA kaart
Nu ging ik een Asmedia ASM1166 gebaseerd kaart proberen. Daar zijn diverse varianten van in omloop die onder vele namen verkocht worden, zie hier een mooi overzichtje: https://forums.unraid.net/topic/101904-sanity-check-on-a-pcie-to-5-port-sata30-expansion-card/?do=findComment&comment=946917

Ik wou eentje met een PCIe x4 connector (de langere versie) vanwege de hogere throughput mogelijk. De kaart zelf is PCIe 3.0 x 2, maar sommige verkopen de kaart met een x 1 connector wat dus de bandbreedte beperkt. De versie met de rode SATA poorten kreeg goede commentaren, dus die gekocht.



Dit kaartje in de server gestoken en gelijk zonder problemen all disks weer aanwezig, de array werkt weer vlekkeloos. Een kleine opluchting. Dus waarschijnlijk gewoon een defect kaartje geweest. Als ik dat meteen geweten had...

Firmware update
Een van de redenen waarom ik nu voor een ASM1166 gebaseerd kaartje koos, was omdat met een firmware update deze beter functioneert en ook energie zuiniger te maken is.
De algemene tips voor energie verbetering: https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/
En de specifieke opmerking mbt de ASM1166 kaartjes: https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/8/#comment-1185707

In deze post zie je ook dat iemand succes had met de firmware update op de versie van het kaartje met de rode SATA poorten: https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/?do=findComment&comment=1191967

Je kan ook de officiële Silverstone ECS06 kaart kopen waar de firmware update vandaan komt, maar het zou op alle ASM1166 kaarten moeten werken.
Een handleiding voor de firmware update is te vinden op: https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/

Een nadeel van de firmware update. Deze moet op een Windows PC gebeuren, en die heb ik niet. Alleen een oude laptop voor noodgevallen of rare dingen waar ik echt Windows voor nodig had.

Maar ik had een oud werkend moederbord met CPU en geheugen uit mijn server gehaald, een nieuwe voeding gekocht, een nieuwe PC kast voor de aan/uit knop, en ik kon makkelijk de Windows boot drive uit de oude laptop halen. Dus in 10 minuten een 'ghetto' style Windows PC in elkaar gezet.



Het ASM1166 kaartje klaar voor een firmware update.


En succes!


De drives gaan nu keurig in spindown, en met de power tweaks moet het nog zuiniger te krijgen zijn.

[Bolle]

Na al dat hobbyen - wat leuk is als het lukt, minder als dat niet zo is - even waar ik nu sta en de volgende stappen.

Allereerst; het moederbord en geheugen kwam van een gamer, dus nu heb ik funky RGB oplichtende geheugen modules. Natuurlijk erg gaaf en nuttig voor een server in een gesloten case ergens achter in een gangkast...



Pre-clear & file system conversie
Op het moment heb ik het nieuwe moederbord met CPU en geheugen in mijn oude server gezet. De nieuwe 16Tb Toshiba schijf is daar ook ingezet.

Op het moment gaat de 16 Tb schijf door de pre-clear heen. Dat is tegenwoordig niet meer nodig met unraid. Maar de schijf kwam in tegenstelling tot eerder bestelde schijven minder mooi verpakt in de post. Dus gezien het aankoopbedrag van deze schijf wil ik deze eerst even wat testen.

Als deze klaar is kan ik de file system migratie doen volgens de wiki: https://wiki.unraid.net/File_System_Conversion

Na deze migratie zal ik ook een van mijn originele 2 Tb schijven uit faseren die SMART waarschuwingen begint te geven.

SSD drives
Als dit proces klaar is wil ik 2 M2 SSD drives kopen, voor dockers en downloads/cache:
Voor dockers denk ik aan een 250 Gb Samsung 970 Evo Plus. Voor downloads een 1 Tb WD Blue SN570.
Dan kan ik mijn bestaande 500 Gb cache HDD migreren naar deze twee drives. De 500 Gb begint ook de eerste SMART waarschuwingen te geven dus goed te uit te faseren.

Inbouw in nieuwe kast
Na de file system migratie en cache migratie heb ik een array van 6 drives, en kan ik alles overzetten in de kleinere Fractal kast.

Meer functionaliteiten
Met wat krachtiger hardware wil ik dan meer functionaliteiten toevoegen. Ik denk dan aan oa:
> Plex/Emby/Jellyfin als media server
> Migratie van mijn bestaande Logitech Media Server die nu op een apart klein servertje draait naar deze.
> Foto back-up
> Time Machine back-up
En wat nog meer naar voren komt. Eerst de voorgaande stappen!

[Bolle]

Net wat zitten inlezen over ZFS. Vanaf 6.12 gaat unraid dat ook ondersteunen. Best complex en beetje mijn petje te boven.
Snap wel een beetje de voordelen van een ZFS pool, maar begrijp nog niet helemaal hoe dat binnen een unraid array zou werken.

Ook lijkt me dat ZFS weer een beetje de specifieke voordelen van unraid mist, zoals bv makkelijk een disk bijprikken, verschillende groottes van disks, spindown van ongebruikte schijven, makkelijke recovery van data op resterende schijven mochten er meerdere uitvallen vervallen. In ruil daarvoor krijg je verhoogde data integriteit (checksums, write-copy) en hogere data transfer rates?
In kader van een media server zie ik die voordelen niet zo. Mocht je zeer data-kritische dingen met veel read/writes gaan doen kan ik me voorstellen dat een ZFS pool naast je 'normale' array wel zin zou hebben.

Vooralsnog ben niet helemaal overtuigd waarom ik niet gewoon naar XFS zou moeten gaan. Zeker omdat ik al een set bestaande schijven met data heb. ZFS zou volgens mij enkel werken als je vanaf niks begint met aantal lege schijven met gelijke capaciteit?

[PascalP]

Dat hele ZFS gedoe moet ik me ook nog eens gaan inlezen, zit nog op 6.10 dacht ik dus binnenkort eerst maar eens updaten

[Bolle]

Overigens na ca 13 jaar unraid gebruik, fijn hoeveel gebruikersvriendelijk het geworden is.

Pre-clear is nu met 1 druk op de knop een plug-in downloaden. En daarna is het via de GUI een druk op de knop om de pre-clear te doen.



Ik kan me nog herinneren dat pre-clear in het begin wat aanklooien was met scriptjes en command line interfaces. Weet dat veel IT die hards vaak CLI prefereren, ik vind een makkelijke GUI wel zo prettig!

[Robbo]

Ik ben acht jaar geleden van Unraid naar ZFSGuru (inmiddels ter ziele) gegaan. 
Voornaamste reden is om 'bit rot' te voorkomen. Ik draai nu met 10x 4TB in RAIDZ2.

Nadeel is dat uitbreiden van een ZFS pool zeer lastig is. Dus nu met 4K materiaal gaat het vrij hard met de vrije ruimte en moet ik af en toe wat materiaal verwijderen.

Onlangs heb ik nog eens naar Unraid gekeken en dat heeft echt flinke stappen gemaakt in die tijd. Zeer gebruikers vriendelijk en een actieve community. Ik ben nu met Truenas Scale aan het experimenteren en dat is niet bepaald gebruikers vriendelijk en aan de community heb je vrij weinig.

Als Unraid haar ZFS support voor elkaar heeft zal ik het eens gaan bekijken.

[Bolle]

Mijn eerste impressie van wat inlezen over ZFS is dat ook. Een zeer solide file system, en hoge garanties voor data integriteit.

Als ik set lege disks had en kritische data had zou ik misschien een ZFS pool toevoegen aan de server voor dat doel. Voor minder kritische data (media) zijn denk ik de voordelen van unraid met 'simpel' XFS groter zoals in mijn eerdere post.

Als goed is heb ik straks nog wat SATA poorten over, wellicht dat ik daar nog eens een pool van een paar SSD drives inzet. Ook leuk om te proberen :-)

[Bolle]

En de file systeem migratie begonnen...

[riwi]

Net wat zitten inlezen over ZFS. Vanaf 6.12 gaat unraid dat ook ondersteunen. Best complex en beetje mijn petje te boven.
Snap wel een beetje de voordelen van een ZFS pool, maar begrijp nog niet helemaal hoe dat binnen een unraid array zou werken.

Ook lijkt me dat ZFS weer een beetje de specifieke voordelen van unraid mist, zoals bv makkelijk een disk bijprikken, verschillende groottes van disks, spindown van ongebruikte schijven, makkelijke recovery van data op resterende schijven mochten er meerdere uitvallen vervallen. In ruil daarvoor krijg je verhoogde data integriteit (checksums, write-copy) en hogere data transfer rates?
In kader van een media server zie ik die voordelen niet zo. Mocht je zeer data-kritische dingen met veel read/writes gaan doen kan ik me voorstellen dat een ZFS pool naast je 'normale' array wel zin zou hebben.

Vooralsnog ben niet helemaal overtuigd waarom ik niet gewoon naar XFS zou moeten gaan. Zeker omdat ik al een set bestaande schijven met data heb. ZFS zou volgens mij enkel werken als je vanaf niks begint met aantal lege schijven met gelijke capaciteit?

Ik draai al jaren met Linux PCs met ZFS zonder enige vorm van GUI of management interface. Ik zou dat niet zo combineren met unraid. Ik zou de basis disks gewoon xfs houden. xfs is erg snel dus misschien wordt unraid daar dan wel wat vlotter van. Ik lees dat unraid ong. 40MB/sec haalt. Dat zou voor mij te langzaam zijn. Als ik 30T aan data wil verplaatsen kost me dat weken met 24x7.

ZFS met 12x8T in RaidZ2 haal ik via SMB en 10Gbit toch wel 600MB/sec maximaal. Maar meestal 450MB/sec. En dan ben je nog zo een dag of meer bezig met zo'n copy/move actie.

Maargoed het is wat "basis" kwa features dus ik ben ook aan het kijken of ik eens kan experimenteren met TrueNAS Core zeker nu ze ipv FreeBSD ook gewoon Linux ondersteunen.

De voordelen van ZFS zijn o.a. de snapshots die geen ruimte kosten. En de disk uitval waar je geen last van hebt. Want met meer dan 50 disks gaat er gegarandeerd een keertje 1 stuk. Misschien bouwen ze in unraid wel hele slimme dingen voor snapshots en disk management. 't is bij mij handwerk.

Ik had een keer een 3T disk stuk uit een 12x3T raidz2 pool en de rebuild duurde toen meer dan 24 uur. Bleek achteraf de disk niet stuk maar dat de voeding het probleem van de sata errors.

Las ik nou dat je de SF600 voeding in de ATX kast gebruikt? Past dat ?

[riwi]

Mijn eerste impressie van wat inlezen over ZFS is dat ook. Een zeer solide file system, en hoge garanties voor data integriteit.

Inderdaad garanderen ze de integriteit. Maar als het niet meer integer is dan ben je alle data kwijt. Dwz hij weigert een pool te mounten waarvan ZFS denkt dat deze niet meer 100% correct is. Maar meestal is de integriteit nog wel te herstellen op een of andere manier. Zeker de laatste paar jaar is daar wel in verbeterd.

[Bolle]

Ik lees dat unraid ong. 40MB/sec haalt. Dat zou voor mij te langzaam zijn.

ZFS met 12x8T in RaidZ2 haal ik via SMB en 10Gbit toch wel 600MB/sec maximaal. Maar meestal 450MB/sec. En dan ben je nog zo een dag of meer bezig met zo'n copy/move actie.

De voordelen van ZFS zijn o.a. de snapshots die geen ruimte kosten. En de disk uitval waar je geen last van hebt. Want met meer dan 50 disks gaat er gegarandeerd een keertje 1 stuk. Misschien bouwen ze in unraid wel hele slimme dingen voor snapshots en disk management. 't is bij mij handwerk.

Las ik nou dat je de SF600 voeding in de ATX kast gebruikt? Past dat ?

Unraid is zeker niet snel, nee. Ik zie het ook echt als een systeem voor mediaopslag - 1 keertje schrijven, vaker lezen. En daarin vrij flexibel met verschillende disks, uitbreiding van je array, en kunnen uitlezen van de schijven op andere systemen mocht het geheel eens finaal onderuit gaan. En als je een enkele disk verliest is dat ook makkelijk op te lossen, met 2 parity disks kan je volgens mij zelfs 2 disks verliezen.

Voor meer enterprise achtige toepassing, waar read/write snelheiden belangrijker zijn, en data integriteit, zijn er denk ik betere oplossingen.

Snapshots begrijp ik nog niet genoeg van om te oordelen of dat binnen de media storage doelstelling zinvol is.

Maar als unraid 6.12 ZFS gaat ondersteunen, zou het dus interessant kunnen zijn om naast de traditionele array een ZFS pool te hangen. Maar eerlijk gezegd heb ik daar om het moment (nog) geen use case voor. Al mijn kritische data staat op een Mac die elk uur naar een Time Machine backups doet, en alle echt belangrijke zaken/documenten worden ook gesyncd naar cloud storage.

Met een ATX adaptor kan je idd een (kleinere) SFX voeding in een (grotere) ATX kast hangen.

[PascalP]

Unraid is idd niet bijster snel, haalde zelf ook iets van 45mb/s, maar na toevoegen van een SSD cache schijf haal ik met gemak 100mb/s+ op een 1Gbit verbinding.
Wil er binnenkort nog eens eens SFP+ kaartje inzetten om te testen

[riwi]

Snapshots begrijp ik nog net genoeg van om te oordelen of dat binnen de media storage doelstelling zinvol is.

Ja als je iets te vlot met verwijderen bent van je media files kan je ze via de snapshot nog terug halen.
Als je 2 ZFS PCs hebt kan je ook de snapshot naar de andere PC "senden". En dat kan incremental dus dan "send" ie alleen de verschillen.
Ik gebruik dat niet want ik heb niet de ruimte om alles 2x op te slaan.

Met een ATX adaptor kan je idd een (kleinere) SFX voeding in een (grotere) ATX kast hangen.

Mooi. Die kende ik niet. Ik heb in de huiskamer PC zo'n SF450. Lekker stille voeding.

[Bolle]

Zo, ondertussen is de array helemaal overgezet naar XFS. Hiervoor heb de 'File System Conversion' procedure gebruikt: https://wiki.unraid.net/File_System_Conversion



Ik heb het zo gedaan dat aan het einde disk 6 (welke de lege 'swap disk' was) de WD 2 TB EARS was. Dat was een van de originele disks uit mijn server die ik er eind 2010 ingezet had, en deze gaf enkele SMART errors welke een indicatie konden zijn dat deze disk het zou kunnen begeven.

Vervolgens heb ik deze met de 'Shrink Array' procedure verwijderd uit de array. Je kan de procedure hier aan werk zien, een van de effecten is dat de grootte van de disk foutief weergegeven wordt (8,2 Gb ipv 2 Tb).
Meer info over de 'Shrink Array' procedure: https://wiki.unraid.net/Shrink_array en een paar posts eerder heb ik een YT filmpje gepost.

Beide procedures werkten uitstekend. Ik heb voor de volledigheid na de conversie en verwijderen disk een 'Parity Check' gedaan en daar kwamen 0 fouten uit. Dus parity is valide gebleven en data beschermd gedurende het gehele proces.

Ik kreeg ook vlak voor de conversie de eerste waarschuwingen mbt ReiserFS.



Nu ben ik bezig mijn cache disk wat aan het opschonen. Ook heb ik 2 M2 NVME disks gekocht, deze zal ik plaatsen. De bedoeling is 1 voor dockers/VM/system achtige dingen, en een voor downloads en cache. Dit weekend wil ik de cache migreren, en dan kan ik ook het geheel in de kleinere Fractal kast plaatsen.

[Bolle]

En weer een unraid-update update!

Met de array overgezet naar XFS, en een nieuwe 16 Tb bijgeplaatst, waren mijn grootste prioriteiten opgelost. File system migratie en meer capaciteit.

Nu tijd om de lagere prioriteit zaken aan te pakken, te weten update van hoe mijn cache ingericht was en over naar een fysiek kleinere server.

SSD Cache
Oorspronkelijk had ik een Corsair MX500 SATA SSD aangeschaft met idee deze aan een SATA poort te hangen en te gebruiken voor Dockers en cache. Mijn bestaande 500 Gb HD kon dan blijven gebruike voor tijdelijke files zoals downloads.

Toen de server upgrade escaleerde in een nieuw ITX moederbord heb ik die plannen aangepast. Met nu ineens 2 M2 slots beschikbaar, en de Fractal kast met maar ruimte voor 6 3,5 inch HDDs (en mijn array was al 6 drives), ging de gedachten naar 2 M2 NVME drives, een voor dockers etc, en een voor downloads en cache. De SATA SSD kon ik nog retourneren, dus die ging met het niet werkende JMB585 SATA kaartje terug.

Idee was om voor de docker NVME een wat 'higher end' SSD te gebruiken, en voor cache/downloads een wat simpelere. Toen ging ik me wat inlezen in NVME drives en begon het me wat te duizelen. Maar kort gezegd, veel simpelere NVME drives werken met een soort van virtual cache voor hoge lees/schrijf snelheden, maar als die vol zit klapt de snelheid in elkaar. Met een media server, met grote media bestanden, remux acties leek me dat een bottleneck. Dus zocht meer een NVME drive die langere tijd hoge schrijfsnelheden kon volhouden. De WD Blue SN570 die ik in gedachten had, had dat niet, die zakt aardig terug.

Let's say you install / download a game - SN 570 has around 12 GB of SLC-cache and you fill that up at up to 3.3 GB/s but once that 12 GB is full, the write speeds drop to around 600 MB/s 
Samsung 980 can have up  to 160 GB of slc cache (for the 1 TB model) - it can fill that at up to 3 GB/s and once it's full, speeds go down to around 400-500 MB/s.

En veel higher end drives zijn weer vrij prijzig, wat me ook wat overdreven leek voor een relatief eenvoudige media server. Uiteindelijk vond ik op Amazon.de aardige aanbiedingen voor de Samsung 980 en 970 Evo Plus.
De 980 is in principe een wat meer simpele drive, maar heeft een vrij grote virtual cache en houdt daarmee vrij lang hoge schrijfsnelheden vol. De  970 Evo Plus heeft een echte aparte cache, valt iets eerder terug maar minder ver en daarmee consistenter. Ik denk dat met de gemiddelde 4K bestanden tussen de twee weinig te kiezen is.

Ik ben uiteindelijk voor 2 x 1 Tb 970 Evo Plus gegaan. Zeker de docker NVME is daarmee wat groter dan nodig, maar voor de kleine prijsverschil (60 eur ipv 40 EUR) over 250 Gb de moeite waard, ook omdat er een grotere cache op de 1 Tb versie zit.



De drives, met een low profile heatsink erbij genomen. Helaas niet low profile genoeg om in de kast te passen bleek.



De M2 NVME op de onderkant van het moederbord.

Dus nu een array en 2 cache pools met elk een NVME. De dockers worden elke nacht gebackuped naar de array, dus een raid opstelling voor dockers en/of cache m.i. niet nodig.

Het geheel draaiende


Next stap, overzetten in nieuwe behuizing.

[Bolle]

Inbouwen van alles in de Fractal Node 304 behuizing.

Allereerst het moederbord en de SFX voeding




Er past een standaard ATX voeding in, maar de kleinere SFX voeding geeft wel meer ruimte in de kast. Enige wat niet lekker paste was de USB 3.0 aansluiting aan de voorkant van de kast naar de connector op het moederbord, de best stugge kabels zitten in de weg met de drives. Ik heb een 90 graden hoek verloopje gekocht en zal ik een dezer dagen monteren.

Vervolgens de 6 drives in de 'hangers' monteren.



Met een deel van het serienummer genoteerd, makkelijk als je drives wil vervangen.

De 'hangers' in de behuizing.


En alles aanzetten en het werkt!


Je kan in plaatje boven ook ruimte zien om evt nog 2,5 inch (SSD) drives te monteren. Aan de buitenkant van de buitenste 'hangers' past nog een drive. En je kan evt nog zo'n PCI slot houder voor 1 of 2 2,5 inch drives monteren. Dus er zou nog ruimte voor max 4 drives zijn.

En alles kan terug de gangkast in.


En het is flink wat compacter dan de vorige mid-tower kast! Wel zo handig voor in een appartement.


Alles werkt nu prima. Ik ben nu bezig mijn Logitech Media Server (LMS) die ik op een ander servertje had draaien over te zetten op de unraid server. Ik gebruik LMS nog als muziek server voor meerdere spelers in mijn huis. Zowel Squeezebox devices als mijn Denon receiver via de Airplay plugin voor LMS. En het is wat zonde om twee servers te hebben draaien.

LMS werkt nu al op de Unraid server via een Docker, het is mn even de muziek collectie te synchroniseren tussen beide servers. En ook te plannen dat het op 1 drive in de Unraid server staat, het is nu wat verspreid over meerdere drives. Als ik dan muziek luister, hoeft maar 1 drive aan te gaan, en kunnen de andere in slaapstand blijven.

[riwi]

mooi compact systeem zo.

Ik heb Samsung 970evo 1TB (zonder plus) in een PC en merkte dat die onder belasting (rar / par) wel erg warm werd. 90 graden pieken dus ik heb er wel een koel element omheen gedaan zodat ie nu max pieken van 70 graden heeft, maar meestal onder 60 graden.
Waarom pasten de koel dingen niet? Omdat het onder het moederbord zit?
Kan je het moederbord niet op hogere schroef busjes zetten?

Voor mij ging het niet om lees/schrijf performance maar meer om dat het dan langer mee gaat.

[Bolle]

Ik gebruik de NVME drives (momenteel) nog niet heel intensief, dus nog geen echte problemen. Maar voor inderdaad de mn de levensduur had ik het idee een koelelement te gebruiken.

Omdat deze inderdaad onder het moederbord komt, een low-profile element genomen maar helaas niet genoeg ruimte. Kan idd eens kijken naar andere afstandsbusjes, maar ben bang dat ik dan krap kom met het i/o deel op het moederbord, er is erg weinig ruimte onder de fan aan de achterkant van de kast. Dat is dan weer een nadeel van ITX builds, de ruimte is wat krapper!

Alternatief wat ik gelezen heb is een low profile cooler te plaatsen die lucht onder het moederbord door blaast. Voor de NVME aan de bovenkant van het bord is er minder een issue, daar zit al standaard een koelelement bij het moederbord.

[jaco]

Ja als je iets te vlot met verwijderen bent van je media files kan je ze via de snapshot nog terug halen.
Als je 2 ZFS PCs hebt kan je ook de snapshot naar de andere PC "senden". En dat kan incremental dus dan "send" ie alleen de verschillen.
Ik gebruik dat niet want ik heb niet de ruimte om alles 2x op te slaan.
Mooi. Die kende ik niet. Ik heb in de huiskamer PC zo'n SF450. Lekker stille voeding.

Zfs send en receive kan heel snel, ik heb het op 10GE gedaan, en het is bijna line rate. Iemand heeft me wel geholpen die er beetje meer van snapte dan ikzelf.
Ik heb alleen maar raidz2 pools. 10x3t/10x4tb en 10x8tb. Maar ze staan al jaren uit, maar weer eens booten en een scrub draaien.

[riwi]

Zfs send en receive kan heel snel, ik heb het op 10GE gedaan, en het is bijna line rate. Iemand heeft me wel geholpen die er beetje meer van snapte dan ikzelf.
Ik heb alleen maar raidz2 pools. 10x3t/10x4tb en 10x8tb. Maar ze staan al jaren uit, maar weer eens booten en een scrub draaien.

Ik heb het wel getest en uitgeprobeerd, maar line rate haal ik zeker niet. De ZFS send/receive gaat via SSH en dan heb je encryptie aan de zendende kant en decryptie aan de ontvangende kant. Dat kost veel CPU power en met een kleine I3 processor loop je dan al gauw tegen de max aan. Ik haalde ong. 300MByte/sec via het 10Gbe netwerk.

Ik heb nu nog 4 PCs met ZFS draaien met in totaal 5 Pools :
12x3TB RAIDZ2
14x4TB RAIDZ2
14x4TB RAIDZ2
12x8TB RAIDZ2
5x1TB RAIDZ1 (ssd) always on.

Ik dacht er aan om de 12x3TB eens te vervangen door 5x 16TB of iets dergelijks. Maar ik heb nog geen haast daarmee.