RAID based storage oplossingen

jaco · February 16, 2015, 11:52:39

Dat doe ik niet. Je moet op tweakers.net in de zelfbouw storage server gaan kijken. Daar zitten wel wat mensen die dat soort scripts hebben gemaakt.

Maikel_audionerd · February 16, 2015, 19:24:00

Quote from: jaco on February 15, 2015, 19:17:14
Mijn servers draaien op open bsd met zfs file systeem. Dat is dan zfsguru, wat een gui is en wat scripts.
Lekker makkelijk te installeren en bedienen. Voor een hdi dune werkt het ook prima hier. Je kunt het makkelijk doen, want samba share heeft standaard geen password, dus je browsed de workgroup en vind de server en mapped de aangeboden share's

De reden die ik gaf was grappig en sarcastisch bedoeld. Vragen over waarom hoeveel etc. vindt ik niet toepasselijk, dat is een eigen keuze. Andere mensen rijden in een grote auto en zitten er alleen in.
Groot huis en wonen alleen etc.

Klinkt interessant, ga ik nog eens verder mee. Ja lekker hobbyen is altijd leuk tijdverdrijf

MegaJ · February 17, 2015, 13:02:23

Quote from: riwi on February 16, 2015, 10:48:40
Hoe monitoren jullie de schijven? Handmatig? Of geautomatiseerd?

Ik had gisteren kennelijk een hikje ergens en zag op 2 stuks 3T schijven dat er telkens sata errors waren. Eigenlijk zag ik de iconen op de Dune erg langzaam in beeld komen en dacht laat ik eens kijken wat er loos is. 'zpool status' gaf geen problemen aan. De /var/log/messages liet zien dat er 2 sata interfaces waren die om de paar seconden down en up gingen om beurten. Na het unpluggen van 1 van de schijven en weer insteken was alles weer OK. Op dat moment gaf zfs aan dat er 1 schijf unavailable was geweest. Na een reboot was ie er weer en na een 'zpool scrub' (duurde 8 uur voor het scrubben van 20TB) is alles weer 100%. Ik kijk het even aan en als dezelfde schijf weer issues geeft dan vervang ik hem. Ik zal vanavond even een smartctl lange test uitvoeren.

Dus nu wil ik eigenlijk de schijven actief gaan monitoren. Dus de messages file scannen op sata errors. De schijven regulier smart test procedures laten doen. En een mailtje laten sturen als er iets 'fouts' gedetecteerd wordt. Ik doe dat nu handmatig, maar dat is denk ik niet voldoende.
Hoe doen jullie dit ?

Verdiep je eens in bijvoorbeeld bash scripten. Het is niet erg ingewikkeld maar als je dat combineert met een cronjob dan kun je makkelijk maken wat je wilt. Gooi er wat reguliere expressies tegenaan (gebruik bijvoorbeeld awk) om je logbestanden te filteren op tekst die aangeeft dat er problemen zijn. Het is even werk, maar je leert er veel van.

riwi · February 17, 2015, 15:08:35

Quote from: MegaJ on February 17, 2015, 13:02:23
Verdiep je eens in bijvoorbeeld bash scripten. Het is niet erg ingewikkeld maar als je dat combineert met een cronjob dan kun je makkelijk maken wat je wilt. Gooi er wat reguliere expressies tegenaan (gebruik bijvoorbeeld awk) om je logbestanden te filteren op tekst die aangeeft dat er problemen zijn. Het is even werk, maar je leert er veel van.

Ik doe vrij regelmatig dingen met bash, perl e.d. Dus zelf maken is een optie. Maar ik dacht er is vast wel een 'harddisk monitor tooltje' dat het voor me doet. Het wiel opnieuw uitvinden kan ook leerzaam zijn inderdaad.

Ik las over nagios. Da's een framework om zaken te monitoren. Misschien dat ik dat kan gaan gebruiken.

jaco · February 17, 2015, 16:08:12

python scripts van Louwrentius:
showdisk
disk temperature

wellicht is er wat te combineren ?

riwi · February 17, 2015, 21:46:35

Quote from: jaco on February 17, 2015, 16:08:12
python scripts van Louwrentius:
showdisk
disk temperature

wellicht is er wat te combineren ?

Bedankt jaco

Ik heb er wel even naar gekeken en voor de gein het disktemp script omgebouwd naar mijn kast:
Het eerste script loopt vast bij mij.

Code Select


root@riwinas:/home/richard/scripts# ./show-hdd-temp.sh
 | top  |  rear  |
 | 25 - | - 27 - |
 | 26 - | - 26 - |
 | 26 - | - 27 - |
 | 25 - | - 25 - |
 | 27 - | - 31 - |
 |  -- below --  |
 | 27 - | - 26 - |
 | 27 - | - 26 - |
 | 27 - | - 26 - |
 | 27 - | - 25 - |
 | 26 - | - 26 - |
 | 26 - | - 26 - |
 | 27 - | - 26 - |
 | 26 - | - 25 - |
 | 26 - | - 26 - |
 | 27 - | - 27 - |

Ik had al zoiets gemaakt dat ook reallocated sectors print en nog een paar smart parameters.
De output daarvan komt automatisch in html op mijn web pagina

Nu wil ik nog iets maken dat de /var/log/messages file bekijkt/scant op sata errors.
Want voordat ZFS merkt dat er iets mis is ziet de kernel disks verdwijnen. En dat zie je daar het eerst.

Nadeel van die smartctl scripts is dat als je ze periodiek (ieder uur) runt je disken nooit in slaap vallen. En crontab is ook lastig als de server maar een paar uur per dag (willekeurig) aan staat.

MegaJ · February 18, 2015, 18:26:31

Wat bedoel je precies met SATA errors?

Over de cronjob / tab; je kan toch in je script controleren wanneer je voor het laatst gedraaid hebt en of het dan alweer tijd is? Dus m.i. kan je de cronjob vaak laten draaien, misschien elke 10 min. ofzo, maar dan relateren aan de laatste keer dat je de output hebt gemaakt of je dan wel of niet het hele script afloopt... Dan maakt het ook niet zo uit of de computer maar een paar uur aan is.

riwi · February 18, 2015, 21:06:16

Quote from: MegaJ on February 18, 2015, 18:26:31
Wat bedoel je precies met SATA errors?

Over de cronjob / tab; je kan toch in je script controleren wanneer je voor het laatst gedraaid hebt en of het dan alweer tijd is? Dus m.i. kan je de cronjob vaak laten draaien, misschien elke 10 min. ofzo, maar dan relateren aan de laatste keer dat je de output hebt gemaakt of je dan wel of niet het hele script afloopt... Dan maakt het ook niet zo uit of de computer maar een paar uur aan is.

Dat is een goed idee ja.

SATA errors zoals dit (eigenlijk ATA meldingen uit de kernel) :

Code Select


Feb 15 16:04:11 riwinas kernel: [  628.062092] ata15: hard resetting link
Feb 15 16:04:16 riwinas kernel: [  633.216653] ata15: hard resetting link
Feb 15 16:04:17 riwinas kernel: [  633.369423] ata15.00: configured for UDMA/133
Feb 15 16:04:17 riwinas kernel: [  633.369437] ata15: EH complete
Feb 15 16:14:32 riwinas -- MARK --
Feb 15 16:21:08 riwinas kernel: [ 1645.536683] ata15: hard resetting link
Feb 15 16:21:13 riwinas kernel: [ 1650.691068] ata15: hard resetting link
Feb 15 16:21:13 riwinas kernel: [ 1650.843831] ata15.00: configured for UDMA/133
Feb 15 16:21:13 riwinas kernel: [ 1650.843842] ata15: EH complete
Feb 15 16:21:36 riwinas kernel: [ 1673.733191] ata15: hard resetting link
Feb 15 16:21:41 riwinas kernel: [ 1678.887611] ata15: hard resetting link
Feb 15 16:21:41 riwinas kernel: [ 1679.040415] ata15.00: configured for UDMA/133
Feb 15 16:21:41 riwinas kernel: [ 1679.040425] ata15: EH complete
Feb 15 16:33:53 riwinas kernel: [ 2411.208079] ata14: hard resetting link
Feb 15 16:33:59 riwinas kernel: [ 2416.541752] ata14: hard resetting link
Feb 15 16:34:03 riwinas kernel: [ 2421.713321] ata14: hard resetting link
Feb 15 16:34:04 riwinas kernel: [ 2421.866052] ata14.00: configured for UDMA/133
Feb 15 16:34:04 riwinas kernel: [ 2421.866074] ata14: EH complete
Feb 15 16:34:04 riwinas kernel: [ 2422.521326] ata14: hard resetting link
Feb 15 16:34:09 riwinas kernel: [ 2427.676072] ata14: hard resetting link
Feb 15 16:34:10 riwinas kernel: [ 2427.828845] ata14.00: configured for UDMA/133
Feb 15 16:34:10 riwinas kernel: [ 2427.828866] ata14: EH complete
Feb 15 16:34:11 riwinas kernel: [ 2428.947405] ata14: hard resetting link
Feb 15 16:34:16 riwinas kernel: [ 2434.102215] ata14: hard resetting link
Feb 15 16:34:16 riwinas kernel: [ 2434.254973] ata14.00: configured for UDMA/133
Feb 15 16:34:16 riwinas kernel: [ 2434.254984] ata14: EH complete
Feb 15 16:34:17 riwinas kernel: [ 2435.385067] ata14: hard resetting link
Feb 15 16:34:22 riwinas kernel: [ 2440.539365] ata14: hard resetting link
Feb 15 16:34:22 riwinas kernel: [ 2440.692158] ata14.00: configured for UDMA/133
Feb 15 16:34:22 riwinas kernel: [ 2440.692169] ata14: EH complete
Feb 15 16:34:24 riwinas kernel: [ 2441.824587] ata14: hard resetting link
Feb 15 16:34:24 riwinas kernel: [ 2442.324990] ata15: hard resetting link
Feb 15 16:34:29 riwinas kernel: [ 2446.979523] ata14: hard resetting link
Feb 15 16:34:29 riwinas kernel: [ 2447.132325] ata14.00: configured for UDMA/133
Feb 15 16:34:29 riwinas kernel: [ 2447.132337] ata14: EH complete
Feb 15 16:34:29 riwinas kernel: [ 2447.479924] ata15: hard resetting link
Feb 15 16:34:29 riwinas kernel: [ 2447.632698] ata15.00: configured for UDMA/133
Feb 15 16:34:29 riwinas kernel: [ 2447.632709] ata15: EH complete
Feb 15 16:34:31 riwinas kernel: [ 2448.780570] ata14: hard resetting link
Feb 15 16:34:36 riwinas kernel: [ 2453.935091] ata14: hard resetting link
Feb 15 16:34:36 riwinas kernel: [ 2454.087909] ata14.00: configured for UDMA/133
Feb 15 16:34:36 riwinas kernel: [ 2454.087921] ata14: EH complete
Feb 15 16:34:37 riwinas kernel: [ 2455.212345] ata14: hard resetting link
Feb 15 16:34:42 riwinas kernel: [ 2460.367240] ata14: hard resetting link
Feb 15 16:34:42 riwinas kernel: [ 2460.520010] ata14.00: configured for UDMA/133
Feb 15 16:34:42 riwinas kernel: [ 2460.520030] ata14: EH complete
Feb 15 16:34:43 riwinas kernel: [ 2461.155844] ata14: hard resetting link
Feb 15 16:34:49 riwinas kernel: [ 2466.593153] ata14: hard resetting link
Feb 15 16:34:49 riwinas kernel: [ 2467.096820] ata14.00: configured for UDMA/100
Feb 15 16:34:49 riwinas kernel: [ 2467.096831] ata14: EH complete
Feb 15 16:34:49 riwinas kernel: [ 2467.167963] ata13: hard resetting link
Feb 15 16:34:54 riwinas kernel: [ 2472.322785] ata13: hard resetting link
Feb 15 16:34:59 riwinas kernel: [ 2477.477932] ata13: hard resetting link
Feb 15 16:34:59 riwinas kernel: [ 2477.630716] ata13.00: configured for UDMA/133
Feb 15 16:34:59 riwinas kernel: [ 2477.630725] ata13: EH complete
Feb 15 16:35:00 riwinas kernel: [ 2478.762707] ata13: hard resetting link
Feb 15 16:35:06 riwinas kernel: [ 2483.917088] ata13: hard resetting link
Feb 15 16:35:06 riwinas kernel: [ 2484.069839] ata13.00: configured for UDMA/133
Feb 15 16:35:06 riwinas kernel: [ 2484.069852] ata13: EH complete
Feb 15 16:35:08 riwinas kernel: [ 2485.942172] ata13: hard resetting link
Feb 15 16:35:13 riwinas kernel: [ 2491.096829] ata13: hard resetting link
Feb 15 16:35:13 riwinas kernel: [ 2491.249768] ata13.00: configured for UDMA/133
Feb 15 16:35:13 riwinas kernel: [ 2491.249790] ata13: EH complete
Feb 15 16:35:15 riwinas kernel: [ 2493.013676] ata13: hard resetting link
Feb 15 16:35:15 riwinas kernel: [ 2493.013760] ata15: hard resetting link
Feb 15 16:35:20 riwinas kernel: [ 2498.168495] ata13: hard resetting link
Feb 15 16:35:20 riwinas kernel: [ 2498.168500] ata15: hard resetting link
Feb 15 16:35:20 riwinas kernel: [ 2498.321529] ata15.00: configured for UDMA/133
Feb 15 16:35:20 riwinas kernel: [ 2498.321549] ata15: EH complete
Feb 15 16:35:20 riwinas kernel: [ 2498.321656] ata13.00: configured for UDMA/133
Feb 15 16:35:20 riwinas kernel: [ 2498.321663] ata13: EH complete
Feb 15 16:35:21 riwinas kernel: [ 2499.050981] ata13: hard resetting link
Feb 15 16:35:26 riwinas kernel: [ 2504.205327] ata13: hard resetting link
Feb 15 16:35:26 riwinas kernel: [ 2504.358135] ata13.00: configured for UDMA/133
Feb 15 16:35:26 riwinas kernel: [ 2504.358154] ata13: EH complete
Feb 15 16:35:27 riwinas kernel: [ 2505.475318] ata15: hard resetting link
Feb 15 16:35:32 riwinas kernel: [ 2510.630468] ata15: hard resetting link
Feb 15 16:35:32 riwinas kernel: [ 2510.783284] ata15.00: configured for UDMA/133
Feb 15 16:35:32 riwinas kernel: [ 2510.783299] ata15: EH complete
Feb 15 16:35:34 riwinas kernel: [ 2511.876107] ata13: hard resetting link
Feb 15 16:35:39 riwinas kernel: [ 2517.030591] ata13: hard resetting link
Feb 15 16:35:39 riwinas kernel: [ 2517.183771] ata13.00: configured for UDMA/133
Feb 15 16:35:39 riwinas kernel: [ 2517.183780] ata13: EH complete

Na wat zoekwerk kwam ik erachter dat ata13, ata14, ata15 de disks sdl, sdn en sdo zijn. Na unpluggen (power en sata) van /dev/sdo (15 kwam het vaakst voor in de meldingen) deed alles het weer. Maandag nog een "long" test met smartctl -t long /dev/sdo gedaan (op alle 3 schijven) en die zegt dat alles OK is met de schijven. Dus misschien een power of kabel probleempje. Deze 3 zitten op dezelfde controller. Dus het kan ook aan de marvel controller hebben gelegen.

In ieder geval lijkt het me de moeite waard om deze detectie te scripten en een mail te krijgen zodra dit gebeurt.

MegaJ · February 20, 2015, 08:40:56

Ah ok, dat soort errors heb ik volgens mij nog niet meegemaakt, zal eens checken op mijn freebsd nas. Lijkt inderdaad op die controller te wijzen, wel heel toevallig anders als bij alle drie de aansluitingen niet goed zouden hebben gezeten toch.

riwi · February 20, 2015, 17:21:13

Quote from: MegaJ on February 20, 2015, 08:40:56
Ah ok, dat soort errors heb ik volgens mij nog niet meegemaakt, zal eens checken op mijn freebsd nas. Lijkt inderdaad op die controller te wijzen, wel heel toevallig anders als bij alle drie de aansluitingen niet goed zouden hebben gezeten toch.

De meldingen uit mijn log komen uit de "linux kernel". Dus die klaagt : "ik stuur iets naar die poort en er komt geen antwoord dus ik zal hem maar resetten".
FreeBSD is 'echte' UNIX en geen linux variant. Als zodanig heb je met FreeBSD niet zoiets als een kernel geloof ik. In ieder geval werkt het op dat niveau (hardware aansturing, geheugen beheer etc.) echt anders dan Linux. Linux is 'flexibeler' kwa hardware support, maar als de hardware eenmaal ondersteund is dan is BSD stabieler.

dennism · February 20, 2015, 22:48:25

Quote from: riwi on February 20, 2015, 17:21:13
De meldingen uit mijn log komen uit de "linux kernel". Dus die klaagt : "ik stuur iets naar die poort en er komt geen antwoord dus ik zal hem maar resetten".
FreeBSD is 'echte' UNIX en geen linux variant. Als zodanig heb je met FreeBSD niet zoiets als een kernel geloof ik. In ieder geval werkt het op dat niveau (hardware aansturing, geheugen beheer etc.) echt anders dan Linux. Linux is 'flexibeler' kwa hardware support, maar als de hardware eenmaal ondersteund is dan is BSD stabieler.

Unix heeft ook een kernel, inderdaad wel een andere dan Linux, maar in de basis zal een BSD kernel ongeveer hetzelfde doen als een Linux kernel. Al is de Linux wel een stuk uitgebreider.

Kleine uitleg van de Unix kernel is hier te vinden: https://en.wikipedia.org/wiki/Unix_architecture

jaco · February 21, 2015, 03:31:27

Bij mij is het FreeBSD en had ook problemen met een Norcotek backplane en daardoor op 4 HDD's ook cabe errors. Die (backplane) vervangen en verder geen issues met die HDD's tot nu toe.

jaco · March 1, 2015, 06:28:00

De hdd's zijn gisteren gebracht. Deze keer HGST 7k4000 units.

jantje112 · March 5, 2015, 11:30:26

@Jaco, waar koop jij de partijen? Scheelt dit veel met de winkelprijs?

Ik ben in mijn server over op FreeNas. Is ZFSGuru nou nog zoveel beter of is het meer van hetzelfde in een ander jasje. (of andersom)

En heeft iemand nog een unraid licentie over? Zit erover te denken de resterende schijven in mijn oude unraid server (die nooit echt is gestart) te bouwen.

Robbo · March 5, 2015, 11:45:52

Ik ben net overstap van Unraid naar ZFSGuru. Ben nog in de opstart fase, dus wil eerst alles goed hebben draaien voordat ik de Unraid definitief vaarwel zeg, maar heb dan wel een key te koop.

jaco · March 5, 2015, 19:08:33

Quote from: jantje112 on March 5, 2015, 11:30:26
@Jaco, waar koop jij de partijen? Scheelt dit veel met de winkelprijs?

Ik ben in mijn server over op FreeNas. Is ZFSGuru nou nog zoveel beter of is het meer van hetzelfde in een ander jasje. (of andersom)

Ik koop ze bij piet snot (geen geintje) via tweakers.net
Maar je moet er wel een serie tegelijk komen, voor 1 of 2 staat hij niet op denk ik

Freenas is nu van een commercieel bedrijf. De community versie is verder gegaan onder nas4free, en de originele developer doet nu iets anders (open media vault)

Welk product nu beter is ?

Je kunt de volgende thread op zfsguru forum lezen: http://zfsguru.com/forum/generalchat/930
Daar staat een tabel in met de opties van de verschillende systemen, en je zou moeten kijken welke features de juiste voor je zijn.

Ik heb destijds toen ik graag van unraid afwilde freenas, nas4free en zfsguru geprobeerd, en ben bij zfsguru blijven hangen.
Je hebt een volledige bsd omgeving met een shell er boven op, en niet een systeem wat allerlij zaken mist en discht gespijkerd is.

Bij zfsguru kun je kiezen voor open shares, dus geen gezeik met userids en passwords.
Dat vindt ik goed genoeg voor een systeem waar films op staan.
Dat kan wellicht ook met andere systemen, maar dan moet je van alles uit gaan zetten.

Ik heb alleen hulp nodig gehad toen ik de sysclt file had ge-edit voor spindown, en ergens een " sluiten was vergeten. Dan boot de zaak niet erg goed meer, maar op tweakers is er altijd wel iemand die je kan helpen. Er zit een mede developer van zfs guru.

Verder kreeg ik 10 GE eerst niet stabiel, maar uiteindelijk via freebsd forums de oplossing gevonden.

News:

RAID based storage oplossingen