Ervaring met truenas

[jaco]

Suggestie uit de unraid discussie was om het maar in een apart topic op te nemen.

IX Systems: https://www.ixsystems.com
Forums: https://forums.truenas.com/latest

TrueNAS core: https://www.truenas.com/truenas-core/
TrueNAS Scale: https://www.truenas.com/truenas-scale/
FreeNAS: https://www.truenas.com/freenas/

Documentation hub: https://www.truenas.com/docs/core/13.0/gettingstarted/

TrueNAS is de opvolger van freenas. Wordt door ix systems op de markt gebracht.
Freenas en de eerdere TrueNAS versies waren op freebsd gebaseerd.
Paar jaar geleden zijn ze op linux verder gegaan.
De freebsd train heet TrueNAS Core
De linux train heet TrueNAS Scale


Er zijn veel site's waar je kunt vinden om kaarten voor de hdd's te kunnen omzetten tot IT.
https://techmattr.wordpress.com/2016/04/11/updated-sas-hba-crossflashing-or-flashing-to-it-mode-dell-perc-h200-and-h310/
https://brycv.com/blog/2012/flashing-it-firmware-to-lsi-sas9211-8i/

[jaco]

Ik ben gestart met zfsguru systemen, toen alles naar freenas overgezet.
Jaren uit gestaan, en maar weer eens aangezet want hoewel het HT nog niet klaar is, maar de content moet ik wel af kunnen spelen.

Eerste systeem overgezet van freenas naar truenas (10x8tb en 10x 4 tb) Alles goed gegaan. Van 11.3 freenas naar 12.x freenas en dan naar de 13.x release zodat je over kunt naar truenas scale.

2e systeem draait oudere freenas versie en dat zou op te graden zijn van binnen 11.x naar hogere 11.x, naar 12.x en dan naar 13.x en dan kun je naar truenas scale.
Ik heb 3 updates gedaan en zit ik op de stabiele 11.x release, en kan niet naar 12.x toe omdat hij dan de pools niet meer ziet. Dit systeem heeft 10x4t en 10x3t raid z2.
In de pool met 4TB disk zitten ook nog 2 hdds die slechte sectoren hebben. Volume is degraded maar door raid z2 kun je de data nog lezen.

Ik denk dat ik maar 10 nieuwe hdd's van 14-18t koop en de data migreer van. 2 hele servers. Deze dan opnieuw inricht en de pools wipe en opnieuw aanmaak.

3e systeem heeft 2 goede pools zo te zien, scrub loopt nu.

[Robbo]

Ik ben op advies van Jaco in 2015 naar ZFSGuru gegaan 
Toen draaide ik al een aantal jaren met QNAP, hoofdzakelijk voor dagelijks gebruik. De media die ik langer wilde bewaren had ik op losse HDDs staan. Niet ideaal dus. Door Jaco werd ik gewezen op bitrot en waarom een RAID2 pool daar mee zou helpen. 

Dus met wat uitzoekwerk een ZFSGuru setup gebouwd met 10x 4TB HDDs op basis van een Supermicro board met 10 on-board SATA connectoren, zodat er ook geen additioneel SATA board nodig is. 16GB ECC ram om het geheel compleet te maken.

Dat ding draait nu nog steeds. Tenminste af en toe gaat de server maar aan, alleen wanneer ik iets uit de oude doos wil kijken. Af en toe scrub ik de pool, maar tot nu toe nooit een fout gevonden. Inmiddels wel wat vage foutmelding in de logging van ZFSGuru zelf dus tijd om iets anders te kiezen.

De QNAP voor dagelijks gebruik daar heb ik een 2,5 jaar geleden afscheid van genomen.  De behoefte om enkele Linux containers voor diverse applicaties te draaien ging nog maar met een VM erbij was toch wat veel voor het beestje. TrueNAS scale vond ik een aardig en flexibel alternatief en gratis ook nog en ook Proxmox stond op de short list.  Dus een gebruikte HP Elitedesk Mini met Intel i5, 16GB ram, 2 NVME poorten en interne HDD slot aangeschaft. Een goede deal voor 250 euro. Meer dan genoeg power en draait nog zuiniger dan de QNAP ook. 

Als eerste Proxmox geprobeerd. Vrij hardcore en voor mijn doel te lastig. De wens om een gezamenlijke share te gebruiken over meerdere applicaties (LXC containers) bleek vrij lastig te realiseren. Ook in een recente revisit ism een vriend met veel Linux en Kubernetes ervaring was dit een flinke klus.

De setup in Truenas Scale was even wennen.  Het is een stuk complexer dan QNAP en ook nog een vrij vroege versie van het pakket helpt ook niet.  Hoe dan ook wel een stuk makkelijker dan Proxmox en het draaide prima stabiel. Home Assistant in een VM draaide ook perfect en ook alle applicaties die ik voorheen in een LXC container had draaien waren via de TrueNAS catalog te installeren, al dan niet met wat extra uitzoek werk want zo 123 als in QNAP was het zeker niet. Zeker ook om alle rechten goed te zetten.

In het begin nogal eens de root user nodig gehad om zaken goed te kunnen krijgen, maar in verder releases zijn een hoop zaken steeds beter opgezet.  Eind 2023 heb ik een update doorgevoerd en die mislukte om onduidelijke reden. Ook de rollback helaas.  Dus helemaal opnieuw beginnen was helaas noodzakelijk. Inmiddels draait die versie nog steeds en heb ik niet meer geupdatet. Wat me nu in de problemen brengt met updates op de applicaties die draaien.

Wel heb ik een tweede Elitedesk Mini gekocht en daarop de laatste Truenas Scale 'Electric Eel' versie geinstalleerd. Dit werkt tegenwoordig met Docker ipv de eerdere Kubernetes (K3s) gebaseerde versies.  En ook dit draai stabiel.

De op ZFSGuru gebaseerde 'media vault' NAS moet nog eens keer gemigreerd gaan worden. Daar zit al een SSD in voor caching. Dus die zou ik kunnen inzetten als boot.  Maar ik ben er nog niet uit of ik de data eerst ga back-uppen of het gewoon riskeer dat de pool import op een 10 jaar oude ZFS pool wel gaat lukken.  Daarnaast is 30TB netto weer wat weinig. Want een aantal recente 4K media bestanden zijn zodanig in grootte dat dit wel snel aantikt.  Dus wellicht maar een nieuwe opzet maken van 10x14TB oid.

[jaco]

Nou bitrot lijkt te bestaan.

Ik heb nu een server met 2 disks met defecte sectoren, en een server met 1 disk met defecte sectoren. Ze zijn uit 2013/2014. Niet heel veel draaiuren.

De nieuwe hdd's zijn binnen, kan ik de pools overcopieren, daarna de slechte hdd's eruit halen en de servers opnieuw opbouwen.

[Robbo]

10x een nieuwe 12TB+ HDD tikt toch wel fors aan.   
Ik heb nog wel 4x 4TB liggen.  Even bedenken hoe ik die ga inzetten.

[jaco]

10x14tb refurbished €2000

[Robbo]

Niet slecht maar tikt wel snel aan. Ik ga een huis bouwen dus die hou ik maar even in de pocket 

Ik kan denk ik beter een SATA board kopen en een extra 4TB disk en dan een 5 disk RAIDZ1 pool opbouwen.

[jaco]

Ik heb 1 raid-z1 volume. Daar ga ik ook een z2 van maken. Lsi kaarten zijn niet zo duur meer.

[Robbo]

Dat valt inderdaad niet tegen. 28 excl btw
https://www.renewtech.nl/supermicro-aoc-sas9211-8i.html?srsltid=AfmBOop8yGtoVQhSwM99yXq46os6U_HkevLkDN2pJd6eoMx3v2uW3TeJ

Dan nog 2 sets SFF naar SATA.

[jaco]

Moet je alleen naar IT mode flashen.

[SpeedyAndré]

Ik heb een LSI 9750-4i (+ batterij) liggen met een 8087 naar 4x SAS/sata kabel waar power apart op kan.
Op Mp staan aardig wat Megaraid kaarten voor weinig en bovenstaande is niet wat ik had besteld.
Ik wilde liever een 12Gbs SAS kaart zonder batterij en die draait met 2x SAS 14TB, echter met W10 omdat het m'n ht pc is waar o.a. een Madvr kaart in zit.
Die hdd's waren €129, 12Gbs is natuurlijk niet nodig maar ja die prijs...
Truenas zou kunnen maar nog een pc erbij zie ik niet zo zitten en er staat een nas met 5 hdd's

André 

[jaco]

Ik kom erachter dat de mainboards van mijn NAS units problemen hebben met een bios bug. Ik kan gelukkig wel een upgrade doen. Paar cheap xeon E3 CPU's (1260L en een 1265Lv2) gekocht zodat dat wat beter gaat.
Een systeem naar TrueNAS scale overgezet en de ZFS pool geïmporteerd. Dat ging vrij makkelijk.

[riwi]

10x een nieuwe 12TB+ HDD tikt toch wel fors aan.   

Ik zit soortgelijk met een NAS PC met 12x 3TB disks in RAIDZ2 (dus 30TB netto). Ik bedacht ook om daar dan maar 12x 16TB van te maken, maar dat is vrij prijzig kwa disks. Misschien maak ik er dan 5x 16 TB RAIDZ1 van, dan heb ik 64TB netto ongeveer. En dan heb ik nog sata poorten over om er later evt nog een 5 disk RAIDZ1 bij te maken.

Moet je alleen naar IT mode flashen.

Ik heb overigens ipv die LSI kaartjes de HighPoint RocketRaid 2720SGL (2x sf8087). Die heb ik nooit hoeven te flashen, je kan in de bios van dat kaartje gewoon passthrough kiezen dan doet ie geen hardware raid.
Nooit problemen mee gehad. Ik heb 2x een 2720 (2x sf8087), een 2740 (4x sf8087) en een 2760 (6x sf8087)

Die 2760 heb ik van een gast op dat forum waar jij toen bij zat. Die had problemen met de hardware raid van de highpoint kaart en vroeg of ik hem wilde. Dus gratis opgestuurd door hem, kaart van ruim 1000 euro. In passthrough draait ie al jaren probleemloos bij mij.

Ik wil op een extra PC eerst eens spelen met Truenas Scale voor ik echt over ga voor de NAS PC's

[jaco]

Ik wil op een extra PC eerst eens spelen met Truenas Scale voor ik echt over ga voor de NAS PC's

Ik had alle servers naar freenas omgezet. Ik heb een server naar scale omgezet en moet de anderen nog doen. De gui is wat verbeterd en de virTualisatie is onder linux anders dan onder freebsd.

Het lijkt prima te werken, de commando structuur op de cli is ook wel redelijk gelijk, zeker met de ZFS commandos.