Eigen zelfbouw NAS met apps en os

Started by ikkeenjij36, April 14, 2015, 19:54:53

Previous topic - Next topic

0 Members and 1 Guest are viewing this topic.

jaco

Quote from: ikkeenjij36 on April 16, 2015, 21:27:17
Hoi ik heb ook geprobeerd met zfsguru en hoewel het in het begin altijd liep als een trein ging het elke keer mis,nu ga ik het nog eens proberen maar even op een andere ssd en standalone en even paar keer booten met de hand.als main nog steeds xpenology en dat driiat bij mij stabieler maar zfsguru is gewoon een mooi project en als ze met de nieuwe versie uitkomen ben ik erg benieuwd hoe dat loopt.
Ik lees op tweakers dat je het niet goed geinstalleerd krijgt.
Hoe boot je dan met alleen optische drive en ssd in systeem ?

Ik maak dan in de gui een partitie op de ssd - 20 GB of zo (en niet de hele ssd zoals de guis standaard doet) en installeer dan het systeem daarop. Daarna reboot je zonder de boot cd en draait freebsd met de zfsguru gui. Dan hang je je data discs eraan en maakt nieuwe pools voor opslag.
Als ik de pools heb draaien maak ik nog een l2arc cache aan op de ssd van ook 20-30 GB en voeg die aan de pool toe.

Ik heb 4 servers draaien en die doen het gewoon op die manier, niks wegvallende of hangende gui.

ikkeenjij36

Ok maar is het niet zo dat dan de ssd met meerdere dingen tegelijk bezig is?
Dus os en l2cache?

Of is daar niet veel van te merken?
Want dat is dan misschien nog een extra optie hoewel ik er nog een xtra ssd erin heb zitten die nergens voor gebruikt wordt op dit moment en die in wil gaan zetten als l2cache schijf.
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

Robbo

Quote from: Bart_M on April 16, 2015, 21:32:06
Waarom ben je overgestapt?

Ik ben er met versie 5.0 ingekomen, dus het werkt allemaal wel prima. Rebuild vanaf de parity schijf bij het vervangen van een 2TB voor een 4TB werkte prima. Maar bijv. bij elke nieuwe kopieer actie zat ik altijd tenenkrommend te wachten tot het ding er eens zin in kreeg.  Dan vraag je je elke keer af of die is vastgeslagen of niet.  Het allerbelangrijkste van een server OS is dat het superstabiel is en dat vertrouwen had ik er niet in.   Een mounted ISO als source lukt bijv ook niet met Unraid als target.  Weird.   

Er wordt ondertussen wel in volle vaart door ontwikkeld bij Unraid, maar bovenstaande voorbeelden wordt niet naar gekeken. Allerlei features komen erbij, allemaal beta, dus blijkbaar veel proefkonijnen die hun data daaraan willen wagen.  Mij niet gezien dus vandaar FreeBSD.

Ander belangrijk punt en wel de hoofdreden is bitrot.

jaco

#28
Quote from: ikkeenjij36 on April 17, 2015, 12:10:28
Ok maar is het niet zo dat dan de ssd met meerdere dingen tegelijk bezig is?
Dus os en l2cache?

Of is daar niet veel van te merken?
Want dat is dan misschien nog een extra optie hoewel ik er nog een xtra ssd erin heb zitten die nergens voor gebruikt wordt op dit moment en die in wil gaan zetten als l2cache schijf.
tja als je niet veel RAM hebt zou het system kunnen willen swappen op de systeemschijf (waar de swap partitie op zit volgens mij)
L2ARC wordt zelden gebruikt als je films opslaat volgens mij..

In ZFS ARC worden 2 dingen opgeslagen, data en metadata.
Er zijn ook 2 parameters waarop gecached wordt: meest recent gebruikt, en meest vaak gebruikt.

Een film an sich zal niet in ARC terecht komen denk ik. Wat ik wel zag was dat de yadis film wall veel sneller geladen wordt je kunt als er 1 keer doorheen gescrolled bent (waar telkens weer een nieuw scherm van de fysiske hdd gehaald wordt (als de yadis folder daar staat))
Na 1 keer dat gedaan te hebben kun je er snel door heen verder.

Ik heb een ssd in mijn dune gezet met daarop de yadis index van meerdere pools. Dat gaat ook snel.
Dus denk ik maar terug te gaan op 1 SSD per server met boot en l2ARC.

ikkeenjij36

Ok begrepen.
Yadis heb ik niet meer en dune ook niet :ohmy:.
Ervoor in de plek een medi8er die wel alles naar mijn zin doet.
Maar ja die maakt ook data aan dus zou dan ook nog wat zijn.
Ik heb zelf 16Gb ddr 1333mhz geheugen erin zitten dus denk niet tekort te komen.
Verder ben ik nu nog ff aan het stoeien/twijfelen wat te doen.
Met zfsguru door blijven gaan,zonder sonarr die ik 1 x draaiend heb gehad zoals je ook op tweakers.net heb kunnen lezen.
Of toch nog misschien een ander os erop knallen?
Zoiets als omv bijvoorbeeld want daar is wel sonarr op te draaien via een plugin.
Ook sab hp cp sb autosub zijn dingen die werken op omv dus twijfels twijfels twijfel.
Goeie ideen gedachten mag natuurlijk.
Nu maar eerst even genieten van mijn nieuwe ls kabeltjes,merk toch wel iets verschil hoewl dat ook tussen mijn OREN zitten maar als zelfs de directrice verschil hoort is er wat gebeurt.😆😆😇
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

jaco

Maar als je die synology software hebt draaien met all applicaties er op naar je zin. Waarom zou je dan overstappen naar zfsguru ?
Wellicht alleen omdat zfs stuk beter is dan bijna alle andere file systemen als ntfs, ext3, etc.

ikkeenjij36

Quote from: jaco on April 17, 2015, 20:55:12
Maar als je die synology software hebt draaien met all applicaties er op naar je zin. Waarom zou je dan overstappen naar zfsguru ?
Wellicht alleen omdat zfs stuk beter is dan bijna alle andere file systemen als ntfs, ext3, etc.
Ja dat is eigenlijk wel de reden maar danmoet ik wel mijn apps kunnen draaien,enigste wat ontbreek in zfsguru is misschien sonar dan maar ik weet niet hoe makelijk dat er in/op te krijgen is met de nieuwe versie.
Op deze versie draait het nog niet zonde veel moeite in ieder geval.r breng
Ben er 2 dagen mee bezig geweest maar helaas,nik niet lukken dus terug maar naar dat saaie xpenology.
Ik heb op de 2e ssd even omv gezet alle apps draaien erop alleen ben ik een beetje bang om da te gaan draaien nu ook geen zfs maarja heb 16 Gb geheugen en geadviseerd wordt 1Gb per Tb opslag.
MMM wie het weet mag het zeggen
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

jaco

Als je films en series op slaat heb je helemaal geen 1 GB ram per TB opslag nodig.
Dat is een richtlijn die ooit opgesteld is jaren terug toen veel minder ram gebruikelijk was.
Verder is iets van 80 % van het ram (als je genoeg hebt) direct aan ARC toegewezen,  en je gebruikt ARC helemaal niet volgens mij, behalve voor een fbi warning, of brein spam die op meerdere discs voorkomen. Er worden geen 20GB m2ts files in arc opgeslagen..

Typisch arc gebruik is veel gebruikers op dezelfde dataset met kleinere files die dan gecached worden voor zover ik heb gezien.

ikkeenjij36

#33
Ok dat heb ik dus ook niet,misschien op 1 of 2 apparaten films streamen maar meer ook niet,wordt t toch een keuze tussen zfsguru zonder sonarr maar sickbeard wat ik zelf niet heel erg lekker progje vindt of omv met wel alle apps werkend maar dan moet ik misschien lang wachten voor mijn raid gebouwd is.
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

ikkeenjij36

Update:😆kleine upgrades/tweaks uitgevoerd.
2x140mm fans bijgeplaatst van noctua(lekker stille) voor xtra airflow.
En de cmos batterij vervangen,bios tijd stond altijd verkeerd en bij een wakertc commando niet meer uit stanbye/off doordat de tijd en datum in het bios op 1974 stond en dat is al ff geleden.
Nu receiverloos doordat de sr7008 besloten heeft ermee te stoppen.😢😢
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

jaco

#35
Open media vault is toch een gui op linux. Dan moet je wachten of redundancy met btfrs goed gaat werken voor een storage pool. Anders wordt het mdadm op ext3 of ext4 file system.

Overigens is de ontwikkelaar van omv de vroegere ontwikkelaar van freenas. Die heeft de overstap gemaakt van freebsd naar linux dus voor wat voor reden dan ook.

Bart_M

Ik heb een stabiele Unraid server draaien op versie 5. Loopt nooit vast, nog nooit data problemen gehad.
Oa met de SSD cache disk is het is snel genoeg voor mij en ik heb nog ruimte om uit te breiden qua schijfcapaciteit.
Versie 6 ziet er goed uit, maar nog beta waardoor ik nog even afwacht tot een stable build.

Zijn er richting de toekomst dan toch problemen te verwachten als je door blijft draaien met UnRaid? Bitrot heb ik bijvoorbeeld nog nooit van gehoord.
Daarnaast is er een groot probleem als je wilt overstappen, waar parkeer tijdelijk ff ettelijke TB aan data...?

Robbo

Ik heb de nieuwe server opgebouwd met andere discs.  Daarna de losse unraid discs gemount in Freebsd en naar de ZFS pool gekopieerd. 

ikkeenjij36

Ok daar ben ik wel nieuwschierig naar.
Kan je er ook apps zoals sabnzd enz. erop draaien?
Dan ben ik geintereseerd of dat iets voor mij is.
MARANTZ SR7008/Marantz PM8005/Taga 606v3 Se 5.0/Taga tsw200 sub/Fronts ls kabel canare 8s4/Center  ls kabel jib-hf004//rears standaard 2.5mm vd rol(onbekend).
squeezbox touch/pm8005 voor stereo/peout front jib hf-004 interlinks

jaco

Unraid is niets voor jou denk ik. Het zou niets voor iemand moeten zijn.
Ze gebruiken riserfs, de ontwikkelaar daarvan zit in gevangenis, die is veroordeeld voor moord op zijn vrouw. Dus die ontwikkelt even niet verder.
Je kunt wel je collectie van verschillende hdds gebruiken.


Bitrot is voor zover ik begrepen heb iets waar data die op een hdd staat niet goed meer is, maar de hdd zelf heeft/kan het niet corrigeren en de daarop berekende redundancy kan het ook niet herstellen.

Ik heb zelf ervaren dat ik films van unraid af copieerde waar ik lees fouten op kreeg in m2ts files terwijl de parity goed was. Nu kan ik de film er gewoon al corrupt opgezet hebben, maar die fysieke hdd had vergen relocated sectors toen ik hem met smarts bekeek. Die worden normsal aangemaakt als je data probeert te lezen op sectoren die slecht zijn, dan her creƫert de hdd de data op reserve sectoren. Dus de hdd gaf het op, maar de parity kon het niet oplossen.
Het waren 1.5 TB samsung hdds.

Bart_M

Vanaf versie 6 kan je ook overstappen naar andere filesystems.


Ik vond de leercurve van UnRaid al redelijk lastig, zeker als je al een keertje een probleem hebt. Maar ZFSguru lijkt me wat dat betreft nog net wat pittiger. Ben al heel lang geen IT'er meer, het moet nu gewoon allemaal werken. (Maar in de toekomst ook ;D)

jaco

Dat lijkt leuk, maar ga je met btrfs experimenteren in een raid configuratie ? Dat werk nu al wel voor mirror voor zover als ik begrepen heb. Maar nog niet voor redundancy over meerdere hdd's. Dat zal best wel komen overigens..

Als unraid daar zelf redundancy over berekend zou het nu kunnen, maar ... dan doe je per disk een modern file system and daar een los redundancy mechanism overheen. Dat lijkt me niet handig...
Als bfrfs wel multi disk redundancy kan, dan heeft heel unraid zijn idee niet meer zo veel zin.

Het was mooi dat je alleen data disk actief had als je een film eraf keek. Dat scheelde stroom, warmte en lawaai.

Echter de nadelen van de crappy performance naar de cache hdd (tussen 3 en ~100 MB/sec, en meer bij de 3 dan bij de 115 in de buurt) en een 32 bit OS wat issues had op door mij gebruikte hardware was voor mij te veel wat mis was.
Zelfde hardware met FreeBSD doet 880 MB/sec copy over LAN naar elkaar en 350 MB/sec van Wintel naar server.
(wel van 1 GE NIC naar 10 GE NIC gegaan, maar met 1 GE NIC was het stabiel ~100 MB/sec.

Verder moet je betalen voor licenties, terwijl er meerdere gratis opties zijn met beter support (meer dan 1 ontwikkelaar) Maar iedereen zijn Eigen keus natuurlijk.