RAID based storage oplossingen

[dennism]

Waarom heb je de Seagate ST3000DM001 schijven er niet bij staan?

Ook deze schijven lijken niet over TLER (of een variant hierop) te beschikken. Dus eigenlijk ook enkel geschikt voor software raid.

[riwi]

Ook deze schijven lijken niet over TLER (of een variant hierop) te beschikken. Dus eigenlijk ook enkel geschikt voor software raid.

Ik doe ook gewoon lvm met raid-0 dus weg=pech.
Als je zou jbod'den met lvm kan je ook expanden en resizen, maar ik doe liever raid-0 per 4 of 6 disks met grotere blocksize.
Ik heb het nu allemaal in 2 PCs zitten (20T + 15T). Met die grote kast en extra controller zou alles in 1 PC passen. Da's wel handiger, bovendien kan ik dan 3T schijven bij plaatsen ipv dat ik 1.5T's vervang en afdank.

Maar Robert wil redundancy met hardware raid dus voor hem is dit niet zo interessant.

[riwi]

O ja, zonde van de SSD's die snap ik niet zo?
Een intel 60G ssd kost 5 of 6 tientjes. Dan ga je toch niet klooien met een USB stick?

[dennism]

O ja, zonde van de SSD's die snap ik niet zo?
Een intel 60G ssd kost 5 of 6 tientjes. Dan ga je toch niet klooien met een USB stick?

De meeste enterprise hardware leveranciers leveren ESXI juist op USB stick omdat het zo practisch is. ESXI an sich heeft namelijk niet enorm veel IO performance nodig, vandaar dat je dus makkelijk een stick kan pakken, waarmee je geen performance en een storage poort verliest. Zonde van de SSD doel ik op dat je ESXI op een SSD zet, en de over gebleven ruimte niet meer kan gebruiken voor wat anders. Daar RobertT een 128GB ssd geselecteerd heeft, wat een hele mooie is om OS VM's op te slaan, echter een 128GB SSD voor een 4GB esxi installatie is naar mijn mening niet heel erg efficient. Kleine SSD of iets in die richting is inderdaad ook een optie.

[jaco]

Behuizing + voeding:

• Fractal Design Define XL USB3, ATX, Grijs     159,00     159,00

Ik heb mijn PC in deze kast zitten. De drives in de onderste sectie van de kast worden ietwat warmer dan die in de middelste sectie.
Gaat alleen goed als de klep tussen de bodem sectie en de midden sectie gesloten is, maar dan heb je wel een voeding met erg lange kabels nodig. (of verleng kabels)
Ik heb wel 2 x fans over uit die kast, ze leveren geen fan bij voor de onderste sectie van de kast. Mocht je interesse hebben..

[Robert T]

Hm paar goede tips, thanks!

TLER: Areca controllers hebben een feature waar je de timeout kan instellen of uitzetten zodat een disk niet zomaar uit een array wordt gegooid. 3TB schijven versus 3TB WD RED schijven is al gauw 250EUR verschil op 8 disks. Ik betwijfel of dat het wel waard is eerlijk gezegd.

Dennis, ik lees ook op tweakers mee maar daar zie ik weinig ervaring nog met deze schijven. Als jij andere info hebt waarmee ik ~250EUR kan rechtvaardigen kan je dat ff linken hier?

USB: Erg goede tip, niet eens bij stil gestaan dat ESXi niet op de SSD kan samen met de OS'n. Het doel is idd geen OS'n op m'n array te stoppen dus ik zal dan wel OF een goedkoop SSD'tje erbij prikken OF een USB stick erin prikken voor ESXi en de OS'n gewoon op de Samsung SSD zetten.

VMware HCL: ARGH!! De areca controllers die wel in de lijst staan zijn een stuk duurder... ga nog wel even goed zoeken.. gister ook nog even gezocht maar geen berichten gelezen dat de controller die ik wil ook daadwerkelijk werkt met ESXi. Misschien dat het meevalt en ik drivers kan installeren onder ESXi aangezien ik niet van m'n array hoef te booten en dus daarvoor ook m'n controller niet nodig heb.

Behuizing: Fractal ziet er "clean" uit en heeft alles wat ik nodig heb maar behuizing vind ik niet zo boeiend, andere kast is ook prima. Lian Li heeft onlangs nieuwe kasten uitgebracht, ik zal daar nog wel eens naar gaan kijken.

Verder is RAID6 eigenlijk alleen om schijf failures toe te staan, dat is de prijs van de schijven me dan wel weer waard. Redundancy zelf regel ik wel met m'n huidige NAS, die 5.5TB blijft gewoon staan en gebruik ik wel om backups te maken van de belangrijke dingen (en m'n workstations etc).

[dennism]

Anandtech heeft een mooie review over de WD Red drives: http://www.anandtech.com/show/6157/western-digital-red-review-are-nasoptimized-hdds-worth-the-premium, verder Storage Review: http://www.storagereview.com/western_digital_red_nas_hard_drive_review_wd30efrx en Tweaktown http://www.tweaktown.com/reviews/4842/western_digital_red_series_review_a_low_cost_validated_nas_specific_hdd/index13.html even bij de top 5 uit google over genomen. Al met al veelal dezelfde conclusie dat deze schijven aan te raden zijn in NAS omgevingen vanwege de 24/7 certificering, waar andere desktop schijven voor 8 uur per dag gecertificeerd worden. Ook wordt de extra garantie welke WD meegeeft op deze schijven veel genoemd.

Qua Netwerk interface zou ik even kijken naar dit kaartje: http://www.vmware.com/resources/compatibility/detail.php?deviceCategory=io&productid=4632&deviceCategory=io&partner=46&releases=171&keyword=82574L&deviceTypes=6&page=1&display_interval=10&sortColumn=Partner&sortOrder=Asc

Deze is te krijgen voor een eurotje of 30 en staat op de HCL, waar geen enkele Realtek Nic op de HCL staat.

Wat betreft de Areca kaart zie ik wel dat Areca drivers heeft voor VMware http://www.areca.com.tw/support/s_vmware/vmware.htm maar dat alleen de duurdere series daarwerkelijk gecertificeerd zijn, of dat is omdat Areca bij de goedkopere kaarten het traject niet wil doorlopen, of dat de kaarten minder geschikt zijn kan ik helaas zo geen info over vinden.

[Hanky Panky]

Waarom heb je de Seagate ST3000DM001 schijven er niet bij staan? Die zijn het goedkoopste momenteel. Ik dacht er aan om er daar 4 van aan te schaffen binnenkort. Maar ik hoef geen 24/7 gebruik en heb geen raid eisen.

Heb er net 3 á 2 TB in een raid 5 systeem gehangen met HW raid. In het begin wel wat gedonder gehad met als verdachten de Intel Rapid Store drivers en de SATA kabel. Wat leeswerk op het i-net leerde: neem de nieuwste anders kun je uitvallers krijgen omdat de driver de schijven in een slaapstand zet waardoor er meestal 1 niet meer wakker wordt (coma dus eigenlijk...). Na  het opstarten werkt het weer (wel 4-6 uur rebuilden....). Ik draai nu 11.5.4.1001 zonder problemen. Tevens heb ik de SATA kabel vervangen van de uitvaller voor een versie met een klik-bevestiging. Kan dus niet zonder meer zeggen wat nu de uiteindelijke oorzaak was.

Qua prijs onverslaanbaar op dit moment, ik kocht ze bij Alternate en daar kreeg ik de Thaise uitvoering.

[dennism]

Wat voor Raid kaart gebruik je? Intel Rapid Storage drivers zijn namelijk normaliter enkel voor software raid bij mijn weten in combinatie met Intel Chipsets, welke inderdaad raid 0,1,5 en 10 ondersteunen, maar enkel software gebaseerd, niet hardware.

[riwi]

Heb er net 3 á 2 TB in een raid 5 systeem gehangen met HW raid.

Van de 2T versies heb ik er inmiddels 9 in gebruik van het type ST2000DL003, 5900rpm maar dat zijn wel andere dan de huidige 3T ST3000DM001. Dus die doen het wel bij jou zolang je de sata kabel maar vast klikt Da's mooi. Ik heb voornamelijk Seagate schijven en geen slechte ervaringen ermee.

Volgens mij kan je via de Intel RST software ook een hardware raid managen, maar dat weet ik niet zeker. In ieder geval een fake raid (0 of 1) kan je managen In mijn woonkamer/download PC heb ik 2x2T via de bios/RST in raid-0.  De rest is onder linux dus dan heb je geen last van RST drivers.

[Hanky Panky]

Van de 2T versies heb ik er inmiddels 9 in gebruik van het type ST2000DL003, 5900rpm maar dat zijn wel andere dan de huidige 3T ST3000DM001. Dus die doen het wel bij jou zolang je de sata kabel maar vast klikt Da's mooi. Ik heb voornamelijk Seagate schijven en geen slechte ervaringen ermee.

Volgens mij kan je via de Intel RST software ook een hardware raid managen, maar dat weet ik niet zeker. In ieder geval een fake raid (0 of 1) kan je managen In mijn woonkamer/download PC heb ik 2x2T via de bios/RST in raid-0.  De rest is onder linux dus dan heb je geen last van RST drivers.

De kabel zat netjes recht maar goed, je gaat op basis van ervaring wel even wat dingen (snel) uitsluiten en één daarvan is even een ander kabeltje aan hangen  Je zult niet de eerste zijn die struikelt over een kabeltje van een paar euro(cent). Het aparte was namelijk dat hij na een reboot gelijk weer mee deed. Denk toch een driver verhaal want ook een kabeltje dat niet goed pakt gaat na een reset niet ineens goed zitten.

Ik heb de 7200 rpm uitvoering ST2000DM001 (7200.14) in een Hardware setup (bios mobo). Je kunt inderdaad veel zaken beheren via de Intel drivers. Ook bijvoorbeeld het toevoegen van een 4e schijf in een 3 schijfs Raid 5 setup zonder dat je eerst alles kwijt bent las ik zo even snel in de hulp functie. Ook wel fijn is dat hij een mailtje stuurt als er iets verandert of er ellende is 

Ik heb een jaar of 5 geen Seagates gehad na een geintje met 50% DOA (4 schijven, 2 gaar bij aankoop).

[dennism]

Bios mobo raid is software/fake raid geen Hardware raid engine

[Hanky Panky]

Bios mobo raid is software/fake raid geen Hardware raid engine

Dacht dat programma's als UNRAID e.d. als softraid werden betiteld en een mobo Raid als hardware raid werd omschreven.

Wiki omschrijft het ook zoals ik er over denk:

Hardware-based RAID
Hardware RAID controllers use proprietary data layouts, so it is not usually possible to span controllers from different manufacturers. They do not require processor resources, the BIOS can boot from them, and tighter integration with the device driver may offer better error handling.

On a desktop system, a hardware RAID controller may be an expansion card connected to a bus (e.g., PCI or PCIe), a component integrated into the motherboard; there are controllers for supporting most types of drive technology, such as IDE/ATA, SATA, SCSI, SSA, Fibre Channel, and sometimes even a combination. The controller and drives may be in a stand-alone enclosure, rather than inside a computer, and the enclosure may be directly attached to a computer, or connected via a SAN.
Most hardware implementations provide a read/write cache, which, depending on the I/O workload, improves performance. In most systems, the write cache is non-volatile (i.e. battery-protected), so pending writes are not lost in the event of a power failure. Hardware implementations provide guaranteed performance, add no computational overhead to the host computer, and can support many operating systems; the controller simply presents the RAID as another logical drive.

http://en.wikipedia.org/wiki/RAID

[dennism]

Dacht dat programma's als UNRAID e.d. als softraid werden betiteld en een mobo Raid als hardware raid werd omschreven.

Wiki omschrijft het ook zoals ik er over denk:

Hardware-based RAID
Hardware RAID controllers use proprietary data layouts, so it is not usually possible to span controllers from different manufacturers. They do not require processor resources, the BIOS can boot from them, and tighter integration with the device driver may offer better error handling.

On a desktop system, a hardware RAID controller may be an expansion card connected to a bus (e.g., PCI or PCIe), a component integrated into the motherboard; there are controllers for supporting most types of drive technology, such as IDE/ATA, SATA, SCSI, SSA, Fibre Channel, and sometimes even a combination. The controller and drives may be in a stand-alone enclosure, rather than inside a computer, and the enclosure may be directly attached to a computer, or connected via a SAN.
Most hardware implementations provide a read/write cache, which, depending on the I/O workload, improves performance. In most systems, the write cache is non-volatile (i.e. battery-protected), so pending writes are not lost in the event of a power failure. Hardware implementations provide guaranteed performance, add no computational overhead to the host computer, and can support many operating systems; the controller simply presents the RAID as another logical drive.

http://en.wikipedia.org/wiki/RAID

Wat daar bedoeld zijn raid controllers geintegreerd op het moederbord, die bijvoorbeeld een LSI HW raidcontroller op het moederbord hebben zitten. Dit zie je vaak bij Server borden en zo nu en dan bij workstation borden. Bij normale consumenten borden zie je dit vrijwel nooit.

Wat jij gebruikt is http://en.wikipedia.org/wiki/Intel_Matrix_RAID, een raidvorm die grotendeels overeen komt met software raid daar er geen hardware write cache (eventueel met BBU) is, geen offload engine is, alle parity e.d. wordt dus door je CPU gegaan, en niet door een hardware raid chip. Het grote verschil is dat van een pure software raid niet geboot kan worden, maar van een Intel Rapid Storage volume (voorheen matrix raid) wel, omdat de volume info in de Bios aanwezig is. Echter alle enterpise opties van volwaardige hardware raid zul je hier helaas niet aantreffen. Vandaar dat dit binnen de IT wereld ook gewoon software raid genoemd wordt, misschien was ik daar niet duidelijk genoeg in

Eigenlijk heel kort gezegt zijn er 3 stappen:

1. Volledig software raid o.a. Unraid en andere software raid zaken zoals ZFS e.d.
2. Firmware raid om het zo maar even te noemen: Raidset e.d. instellen in de bios waardoor je kan booten van de raidset, maar alle andere zaken worden door software/cpu afgehandeld. Op huidige cpu's geen performance probleem meer, maar vooral in het begin had je echt een zware CPU nodig om dit goed te laten functioneren.
3. Volledig hardware raid: De schijven hangen aan een speciale raid adapter met een raid engine die alle taken met zijn eigen raid cpu uitvoerd, vaak in combinatie met onboard cache modules en battery backup module.

[bart_nl]

ik lees ook op tweakers mee maar daar zie ik weinig ervaring nog met deze schijven. Als jij andere info hebt waarmee ik ~250EUR kan rechtvaardigen kan je dat ff linken hier?

ik draai met 24x Seagate ST3000DM001 op een Areca controller en dat werkt nu (*) probleemloos. Heb in eerste 14 dagen wel 3 schijven vervangen die niet goed werkten. Sowieso met een grotere array eerst een paar weken proefdraaien voor dat je hem echt gaat gebruiken. Mijn ervaring is dat je in het begin meer uitval hebt en meer aan je setup sleutelt waardoor risico dan hoger is. Draait het eenmaal naar tevredenheid dan werkt het probleemloos.
Hiervoor draaide ik met 8x consumerschijven op een Areca 1220 en daar in ongeveer 5 jaar geen probleem mee gehad.
(*) eigenlijk "...werkte tot dit weekend..." want ik heb nu een uitgefikte norco backplane die kortsluiting op de 12V veroorzaakt. Misschien is mijn raid-6 array nu wel corrupt maar dat ligt dan niet aan al dan niet TLER. Verwar raid dus nooit met een backup 

[jaco]

Dat is balen, ik heb ooit 12 en 5 volt omgedraaid, en daar konden ze niet echt goed tegen.
Hopenlijk geen hdd's defect.

[Robert T]

Heb idd het probleem gelezen ja, Bart.. flink klote! Ben overigens niet zo'n fan van het ZFS gestapo daarzo dus ben meer een meelezer Het is te hopen dat je array weer online gaat komen.. pfff

Inmiddels wat testen gelezen over de WD RED schijven en met name het 24x7 beschikbaarheid is op zich wel interessant maar moeilijk naar waarde te schatten, het prijsverschil is te groot om zomaar te doen wat mij betreft. TLER is wel leuk maar strict noodzakelijk is het niet volgens mij.

Ondertussen ga ik wel even nog een keer kijken naar de mainboards. deze heb ik namelijk uitgezocht op PCI-E x16 slots / DVI / Ethernet on board maar aangezien (na de tip van Dennis) de realtek NIC niet erg lekker werkt met VMware.. maar even opnieuw filteren...

Ga ook nog wel even googlen op Areca & VMware zoeken.. zou me niks verbazen als het wel gewoon werkt en het alleen niet gecertificeerd is maar goed, dat ga ik niet gokken.

[riwi]

Ik kijk ipv de duurdere Areca kaarten nu naar een HighPoint RocketRaid 2740 :

http://www.webconnexxion.com/raid5/p/415/highpoint-rr2740-6g-16x-sas-sata-ssf-8087-raid-pci-x16.html
Kost 300 euro inc. btw

Met 4 sas SFF-8087 breakout kabeltjes kan je dan 16 disken aansluiten.

[Robert T]

Die kaart heeft geen geheugen on board en geen mogelijkheid tot BBU dus liever niet. Ik ga ook liever voor een merk waar meer ervaring mee is. Als ik bijv op tweakers.net ga kijken in de lijst van de grootste DIY NAS setups is verreweg het meest gebaseerd op Areca. Wel even eea gelezen over highpoint maar er zijn ook nogal wat compatibility problemen bekend met mainboards.

Die kabeltjes zou ik sowieso gebruiken op de Areca kaarten... Nog even over kabeltjes - voor de mensen die meelezen: Op tweakers zijn de Molex kabels vaak een onderwerp van discussie. Schijnt dat de bouw kwaliteit van die kabels slecht is en als je een aantal schijven op z'n molex splitter aansluit die stuk opeens uitvallen gaat je hele array onderuit (afhankelijk van de raid setup natuurlijk)

Betere optie is de silverstone variant:

http://tweakers.net/pricewatch/288778/silverstone-sst-cp06-4x-sata.html

[riwi]

Ik gebruik al een aantal jaar een Highpoint RR2300 PCI-E 1x met 4x sata zonder problemen, vandaar dat ik weer naar Highpoint keek/kijk. En HW raid en geheugen gebruik ik niet van zo'n kaartje. Ik wil alles met software doen onder linux.
Die molex naar 4x sata power kabeltjes zijn inderdaad wel mooi

Heb net m'n nas PC opengeschroefd, maar met 11 schijven en een SSD zit deze echt bomvol, dus een andere kast moet er wel komen als hij moet groeien.

[bart_nl]

Op tweakers zijn de Molex kabels vaak een onderwerp van discussie. Schijnt dat de bouw kwaliteit van die kabels slecht is

dat is in zijn algemeenheid niet waar. Er zijn goede molex splitters van bijvoorbeeld BitFenix en je kunt ze ook zelf bouwen. Daarnaast kun je bij monteren ook controleren of de stekkers goed in elkaar passen. Als je dat doet is er niets mis met molex stekkerverbindingen.

[Robert T]

Die Molex kabeltjes lijken haast te simpel om slecht te bouwen.. maar goed, zal er op letten.. wat ik nou weer begreep van die silverstone kabels is dat er condensatoren in verwerkt zitten.. dat lijkt me nu juist weer storingsgevoeliger... maar goed dat is ook weer erg doemdenken.

[bart_nl]

Die Molex kabeltjes lijken haast te simpel om slecht te bouwen

dat is ook zo. Het zwakke punt is dat de pennetjes niet echt vastzitten en via weerhaakjes uit de pennetjes gebogen stukjes metaal in de connector worden gehouden. Die weerhaakjes willen nog wel eens losraken en dan zit zo'n pen niet goed vast in de connector. Als je dan twee connectoren in elkaar drukt maakt de losse pen niet goed contact.

[riwi]

Ik heb eens een harddisk stuk gemaakt door de molex op de kop erin te drukken. Het afgeronde hoekje was niet zo mooi gemaakt en hij paste er dus ook op de kop in. Toen kwam er rook uit de disk  En was ie stuk natuurlijk.


Sommige molex stekkers zijn wel beter dan andere hoor. Met de Zalman voedingen krijg je goede stevige molex stekkers

[jaco]

Ik heb eens een harddisk stuk gemaakt door de molex op de kop erin te drukken. Het afgeronde hoekje was niet zo mooi gemaakt en hij paste er dus ook op de kop in. Toen kwam er rook uit de disk  En was ie stuk natuurlijk.

RMA doen als er nog garantie op zit.