Ervaringen met unRAID?

[skank1]

Ik heb de laatste tijd af en toe dat mn docker disabled staat, nochtans is die enabled en start alles automatisch op.
Af en toe dus staat hij disabled.

Wat kan de oorzaak hiervan zijn? Want ik wil die altijd enabled.

[PascalP]

Uiteraard kan je die ook gewoon backuppen, er is zelfs een Appdata Backup & Restore app te vinden in Community Applications. Het was van mijn kant meer om iets bij te leren.

@PascalP , als je cache Btrfs is en je er een tweede bijzet van dezelfde grootte in dezelfde pool, normaal gewoon cache genaamd, dan kan je kiezen of je deze in RAID 1 wilt gebruiken.

Heb inderdaad gelezen dat een ZFS pool inderdaad niet zomaar uit te breiden is met een extra schijf.

Waar ik dan bijvoorbeeld zelf aan zit te denken om eventueel een aparte ZFS pool te maken met twee schijven voor bijvoorbeeld Nextcloud data, dat zou de schrijfsnelheid zeker moeten helpen.

Betreft de cache ga ik het denk ik wel zo doen idd, gewoon omdat het kan

En die schrijfsnelheid van een ZFS pool zou wel een mooie plus zijn, nu vind ik het nog steeds vrij langzaam allemaal als ik van disk naar disk kopieer (en dus niet via de SSD cache)

Ik snap die opzet eigenlijk ook helemaal niet. Lijkt me zwaar overkill voor thuis ook, maar ach, als je het leuk vindt waarom niet dan he

Onderdeel van de hobby denk ik ook wel

[Teejoo]

Ik heb daar ook nog over nagedacht met mijn 2 cache drives, maar ik vond het eigenlijk niet zo handig omdat hij dan ook een film die ik naar de server kopieer telkens naar 2 drives aan het kopiëren ben om vervolgens naar de HDD te kopiëren. Tenminste, zo denk ik dat het gaat. Vandaar mij keuze voor een app cache drive en eentje als data cache. Maar misschien kunnen we ook 3 cache drives inbouwen bedenk ik me nu! Ik heb nog een nieuwe liggen.

[PascalP]

Vraagje voor de (geavanceerdere) Unraid gebruiker welke een cache pool draait.
Nu ik al een tijdje mijn dockers/system/appdate op de cache draai ipv het array heb ik afgelopen week een 2e identieke SSD toegevoegd zodat deze data ook redundant is.

Nu zou het standaard in Raid1 btfrs draaien, wat volgens mij ook zo is, maar wat doet dat balance nu?
Als ik erop klik zie ik de opties 'perform full balance' en 'convert to raid1' de andere 2 opties spreken voor zich, maar wat is nu het verschil en wat doet dit balance nu? Of is het raadzaam dit periodiek te draaien?

Idem voor scrub, is dit iets wat je periodiek zou willen draaien of gewoon af en toe handmatig?

[PascalP]

Of lees ik het verkeerd en heb je eigenlijk 3 opties:
convert to single
convert to raid 0
convert to raid 1

En als het een van deze 3 is, raid 1 in mijn geval, dan kun je balancen tussen de schijven? Dus het 2e punt uit onderstaand rijtje vooral?

Btrfs-balance is a tool to manage and maintain a Btrfs filesystem.
Its main purposes are:
- converting between profiles (raid modes).
- distributing data evenly across devices when devices has been added or removed.
- maintain unallocated disk space.

[Teejoo]

Geen idee Pascal..

[PascalP]

Geen idee Pascal..

Ik ook niet, daarom vraag ik het voor de zekerheid

Vanochtend nog een 2e parity drive toegevoegd, laat die parity sync nu maar eerst voltooien en dan zal ik het eens proberen wat het doet...

[StefaanD]

Zou haast zelf denken dat 'perform full balance' en 'convert to raid 1' hetzelfde doen. Staat er onder het kopje 'Btrfs balance status' geen helptekst als je daarop klikt?

Heb zelf nog geen twee cache SSD, vandaar mijn wat vreemde constructie om appdata veilig te stellen, maar zou denk ik zelf kiezen voor convert to raid 1, dan wordt de data van de eerste SSD gekopieerd naar de nieuwe SSD, en daarna werkt het gewoon als RAID 1

[PascalP]

Nee helaas hebben al deze functies geen help of '?' optie....

Vannacht was de parity sync met de 2e parity drive klaar dus heb het gewoon geprobeerd, is een actie van nog geen 10 minuten.

Voordat ik begon had ik een ratio van 59,6% en was het volgens Unraid niet nodig, na de balance actie is het 99,7% geworden, ik zal het eens in de gaten houden hoever het zakt met de tijd en of ie onder een bepaalde waarde wel aangeeft dat het nodig is.

[PascalP]

Heb ook nog e.e.a. gezocht over deze funties maar veelal kom ik terecht bij oudere forum posts op het Unraid forum waar het nog handmatig gedaan moest worden via de command line.

Als ik tussen de regels door lees in diverse topics is eigenlijk een beetje het verhaal dat het meestal alleen nodig is als je schijven toevoegt of de capaciteit van je pool wijzigt, dus nu 1x handmatig en dan laat maar draaien zo

Het scrubben moet ik nog even verder op zoeken of dit raadzaam is om periodiek te doen....

Vooralsnog ziet het er allemaal prima uit en draait het prima weer na een pauze van 1 jaar 

[riwi]

Het scrubben moet ik nog even verder op zoeken of dit raadzaam is om periodiek te doen....

Ik weet niks van Btrfs, maar met ZFS kan je ook een scrub doen op de pool. Dan loopt ie alle data na en vergelijkt met de checksum en herstelt evt de data of rapporteert discrepanties. Men raad met drukke ZFS pools aan om dit regelmatig te doen. Ik doe dat max 1x per jaar. (mijn pools zijn niet druk, want 1 schrijvende gebruiker en slechts media players die lezen).

Balancing met ZFS is als je in een mirror pool met meerdere mirrors er 1 toevoegt dat ie dan de data verspreid en balanceert over alle beschikbare mirrors. Stel je hebt een pool van 2+2+2 schijven en je voegt een extra paar toe. Dan is het vierde paar leeg en de eerste drie gevuld. Met de balance actie kan ie dan de data gelijkmatig verdelen over de 4 paartjes. Toekomstige schrijf acties worden zowiezo gebalanced gedaan. Dit kan alleen als de pool bestaat uit mirrors (vgl raid-1), want een raidz pool kan je niet uitbreiden dacht ik.

[StefaanD]

Raidz liet inderdaad geen uitbreiding toe, tot ergens vorig jaar waar OpenZFS het dan toegevoegd heeft.

Het zit in ieder geval nu in de master branch van OpenZFS, wordt nog wel even wachten wellicht vooraleer het kan in unraid bijvoorbeeld.

Weet niet wat je draait van OS Riwi maar vermoed dat jij eerder zal kunnen genieten hiervan dan wie Unraid gebruikt 

[PascalP]

Ik weet niks van Btrfs, maar met ZFS kan je ook een scrub doen op de pool. Dan loopt ie alle data na en vergelijkt met de checksum en herstelt evt de data of rapporteert discrepanties. Men raad met drukke ZFS pools aan om dit regelmatig te doen. Ik doe dat max 1x per jaar. (mijn pools zijn niet druk, want 1 schrijvende gebruiker en slechts media players die lezen).

Zo begrijp ik het ook idd nu ik me een beetje verder ingelezen heb via Google en Unraid forum, heb het nu ook 1x handmatig gedaan maar net zoals jou heb ik ook geen 'drukke' server dus zal wel allemaal meevallen en hoef ik het niet maandelijks te doen.
Ik als enige gebruiker, wat containers zoals Sonarr en Radarr en dan Plex op de TV in de woonkamer draaien, veel meer is het niet momenteel.
Wil wel nog de overstap maken van mijn Homey Pro naar Home Assistant op de Unraid server maar dit zal ook geen bergen data zijn.
De handmatige actie duurde overigens minder dan 2 minuten dus is ook zo gepiept

Balancing met ZFS is als je in een mirror pool met meerdere mirrors er 1 toevoegt dat ie dan de data verspreid en balanceert over alle beschikbare mirrors. Stel je hebt een pool van 2+2+2 schijven en je voegt een extra paar toe. Dan is het vierde paar leeg en de eerste drie gevuld. Met de balance actie kan ie dan de data gelijkmatig verdelen over de 4 paartjes. Toekomstige schrijf acties worden zowiezo gebalanced gedaan. Dit kan alleen als de pool bestaat uit mirrors (vgl raid-1), want een raidz pool kan je niet uitbreiden dacht ik.

Zal dan idd wel ongeveer hetzelfde zijn op mijn Raid 1 btrfs cache pool, ik laat het lekker zo nu.
ZFS heb ik me nog niet aan gewaagd, mede door de beperkingen die er zijn mbt uitbreiding van het array.

[riwi]

Raidz liet inderdaad geen uitbreiding toe, tot ergens vorig jaar waar OpenZFS het dan toegevoegd heeft.

Het zit in ieder geval nu in de master branch van OpenZFS, wordt nog wel even wachten wellicht vooraleer het kan in unraid bijvoorbeeld.

Weet niet wat je draait van OS Riwi maar vermoed dat jij eerder zal kunnen genieten hiervan dan wie Unraid gebruikt 

Ik draai standaard Linux Slackware. Alleen command line geen GUI Ik haal de source van github en compile dan zelf de modules.

Je kon een pool met mirror vdev's altijd al uitbreiden. De weg terug was niet mogelijk.
Je kon ook een pool met raidz vdev wel uitbreiden door een extra raidz vdev toe te voegen. Bv je hebt een pool met 5 disk raidz1, dan kan je wel extra 5 disks met raidz1 toevoegen aan de pool. Daarna moet je dan die balance actie doen. Ook hier was de weg terug niet mogelijk. Daar was toen wel shit over want er waren gebruikers die 'per ongeluk' een loze vdev toevoegden door een type foutje en daar kon je dan niet meer vanaf.
Met de nieuwe feature om een raidz uit te breiden zitten wel haken en ogen. Ik heb eens een openZFS meet/presentatie gevolgd daarover, en dat was niet even een disk erbij en klaar is kees.

Ik heb nu geaccepteerd dat ik de pools niet kan uitbreiden. Ik bouw (als het moet) evt een extra PC, met nieuwe disken en kopieer dan via 10Gbe lan de oude pool content naar de nieuw gebouwde PC/pool. Eventueel kan ik dan daarna de nieuwe disken in de oude PC hangen en de oude disken afdanken.

Als die feature raidz expansion er echt in komt kan ik het proberen want ik heb 1 pool met 12x 8TB RAIDZ2 waar nog 1 sata poort vrij is, dus dan kan er 1x 8TB bij.

Voor gevorderden over ZFS : presentatie Matt Ahrens (ZFS opper head honcho)  over raidz expansie : https://www.youtube.com/watch?v=tqyNHyq0LYM

<sorry voor de unraid offtopic >

[PascalP]

Nog een vraag voor de Unraid (of docker) gebruikers onder ons, is er een plug-in of docker container om de S.M.A.R.T. waardes van de schijven te monitoren en wanneer er een error optreedt hier ad-hoc een melding voor te sturen, via email bijvoorbeeld?
Dit had ik vroeger bij mijn Synology wel standaard beschikbaar in DSM en heeft me al vaak geholpen om tijdig een andere schijf te plaatsen en het array te fixen voordat er echt iets mis ging.
Unraid meldt het wel maar dan enkel een push notificatie wanneer ik in de WebUI inlog wat ik niet dagelijks doe natuurlijk.

Heb al een docker draaien (Scrutiny) maar die doet maar heel beperkt iets (enkel monitoring) en kan ook geen meldingen of logging sturen.

In de 'store' heb ik al zoekende nog geen alternatief gevonden 

[StefaanD]

Heb al eens gezocht of er dergelijke Docker container bestaat maar helaas nog niet meteen iets kunnen vinden.

[PascalP]

Heb al eens gezocht of er dergelijke Docker container bestaat maar helaas nog niet meteen iets kunnen vinden.

Het blijkt via Scrutiny wel mogelijk te zijn, maar dan moet je e.e.a. handmatig configureren via YAML, voor mijzelf geheel nieuw en heb ik er ook nog niks mee gedaan, maar een goede maat van me kent er goed de weg in met YAML en gaat me binnenkort eens meehelpen.

Hier meer info mocht je er ook mee willen stoeien;
https://github.com/AnalogJ/scrutiny

Het het stukje over de YAML configuratie file;
https://github.com/AnalogJ/scrutiny/blob/master/example.scrutiny.yaml

Voldoende opties om notificaties mee te zenden;
#notify:
#  urls:
#    - "discord://token@channel"
#    - "telegram://token@telegram?channels=channel-1[,channel-2,...]"
#    - "pushover://shoutrrr:apiToken@userkey/?priority=1&devices=device1[,device2, ...]"
#    - "slack://[botname@]token-a/token-b/token-c"
#    - "smtp://username:password@host:port/?fromAddress=fromAddress&toAddresses=recipient1[,recipient2,...]"
#    - "teams://token-a/token-b/token-c"
#    - "gotify://gotify-host/token"
#    - "pushbullet://api-token[/device/#channel/email]"
#    - "ifttt://key/?events=event1[,event2,...]&value1=value1&value2=value2&value3=value3"
#    - "mattermost://[username@]mattermost-host/token[/channel]"
#    - "ntfy://username:password@host:port/topic"
#    - "hangouts://chat.googleapis.com/v1/spaces/FOO/messages?key=bar&token=baz"
#    - "zulip://bot-mail:bot-key@zulip-domain/?stream=name-or-id&topic=name"
#    - "join://shoutrrr:api-key@join/?devices=device1[,device2, ...][&icon=icon][&title=title]"
#    - "script:///file/path/on/disk"
#    - "https://www.example.com/path"

[StefaanD]

Bedankt Pascal en is me gelukt om notificaties in te stellen voor Slack   

Ook maar meteen de Scrutiny collector opnieuw laten lopen omdat vele Seagate drives smart waardes anders tonen (48bit ipv 16bit) en 'k heb zelf 1 Seagate Ironwolf 6TB zitten.

Als je meer over wilt weten, hier het bug rapport.

Is alleen belangrijk als je Scrutiny reeds een hele tijd gebruikt en als je uiteraard Seagate drives hebt  want de collector loopt maar één keer bij de installatie van de Docker container. Je kan wel altijd achteraf uitvoeren. Wie meer wilt weten roep maar.

Mijn SSD gaf ook een fout en nu wordt deze ook correct uitgelezen.


Tweede punt, voor mijn nieuwe build reeds één item besteld dat onafhankelijk is van een moederbord of zelfs de kast namelijk een Broadcom SAS-9300-16i met vier poorten dus en kan 16 schijven aansturen.

Zelf wat zitten tobben over de case, of ik toch niet voor een Define 7 XL zou gaan ipv Rack en een rackmount server, maar hier is het gemis van hotswap bays niet zozeer de doorslag gevende factor maar eerder als je de Define 7 XL volledig uitrust met 16 schijven in storage configuratie, dat het daarachter wel een serieuze kabelbrij wordt met power en SATA kabels.

Voordeel van de rackmount case (24-bay) is dat deze 6 backplanes heeft en dus maar zes kabels voor voeding en SAS kabel.

Heb daarvoor de Inter-Tech 4U-4424 boven de 4U-4724 verkozen, hoewel de laatste recenter is maar wel maar 2 backplanes heeft. Dus als er daar eentje uitvalt ben je 12 schijven kwijt waar dat bij de 4U-4424 maar 4 zijn.

Als er iemand is met meer ervaring in rackmount cases hoor 'k graag feedback of mijn denkwijze correct is, of er nog opmerkingen zijn over één van deze cases.


@Bolle , ben je zelf reeds aan de slag geweest met Powertop? Kom zelf niet verder dan C2 hoewel na auto-tune alle zaken onder tunables nu wel als good worden aangemerkt. Daarvoor waren er een ganse reeks als 'bad' aangeduid.

[Bolle]

Bolle , ben je zelf reeds aan de slag geweest met Powertop? Kom zelf niet verder dan C2 hoewel na auto-tune alle zaken onder tunables nu wel als good worden aangemerkt. Daarvoor waren er een ganse reeks als 'bad' aangeduid.

Hi, wat late reactie, was 2,5 maandjes weg in buitenland. Nee, met Powertop aan de slag staat nog op 'to do' lijstje. Zal hier melden als ik daar meer van weet!