NAS nodig ? Nieuwtjes op CEBIT

[mansm]

Ik weet niet waar jij naar raid 5 systemen kijkt, degene die ik ken hebben allemaal een spare disk. En dat zijn er best wel veel, raid 5 systemen die ik zie. Geef zelf overigens de voorkeur aan raid 6, maar niet vanwege betrouwbaarheid.

ej@pvr:~$ w
14:49:38 up 24 days, 20:06,  2 users,  load average: 0.49, 0.49, 0.41

top - 14:51:47 up 24 days, 20:08,  2 users,  load average: 0.37, 0.44, 0.39
Tasks: 331 total,   4 running, 327 sleeping,   0 stopped,   0 zombie
Cpu0  :  1.3%us,  7.6%sy,  7.9%ni, 82.8%id,  0.0%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu1  :  2.3%us, 26.4%sy, 32.7%ni, 38.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   8196492k total,  8124808k used,    71684k free,   301492k buffers
Swap: 21036924k total,   529388k used, 20507536k free,  1946964k cached

Nee, dus, staan niet uit hun neus te eten.

Maar je verhaal over realteks is dus zwaar achterhaald en zwaar overtrokken. Zeker voor een thuisnas.

dat van die realteks kan achterhaald zijn....

alleen over uit hun neus eten blijf ik bij.... 82.8%id 38.6%id (id staat voor idle).. gemiddeld is boven de 60 procent idle.

en dan even je load gegevens interpreteren... volledige bezetting zou met 2 procs/cores 2.0 zijn... je komt niet boven de 0.5 uit
0.5/2 = 25% load... oftewel de machines hebben het niet bepaald druk

noem jij dan eens een paar consumer nassen die hotspares hebben...

[EJ]

60% idle betekent 40% load. Dat is hoog voor een thuisserver voor het geval je het niet wist. En interpretatie van het loadgetal? Dat hangt van je kernel af, daar kun je niet zo maar een antwoord aan vast hangen. Ik heb systemen gezien met een load van 4000 die zich nog best stonden te vervelen. En systemen met een load van 1 waarop je niet meer kon inloggen. Loadgetal zegt alleen maar iets als je het vergelijkt met een volledig gelijk systeem.

Kijk eens op tweakers.net naar raid 5 nassen. Je zult zien dat die allemaal 4 bays hebben.

[riwi]

Ik vond met een atom PC onder linux dat de doorvoer op gbit niet zo vlot was als met een dual core athlon. Ik zag op de atom tijdens transfers met 50-60MB/sec ook dat de cpu load naar 60%-80% ging. Met de Athlon haal ik wel 70-80MByte/sec en een load van 40% ongeveer. Beide PC's hebben een 4 disk raid0 met LVM met grote blocksize.
Dus CIFS/SMB trekt volgens mij wel degelijk behoorlijk load en zo kan een betere CPU in een NAS wel degelijk verbetering geven.
In ieder geval zou mijn voorkeur in een NAS uitgaan naar de NAS met de dikste CPU (en minimaal 5 bays).

@Audioloog. Waarom wil je speciaal ZFS? Wat is daar zo bijzonder aan? m.a.w. wat is er mis met ext3 of ext4? Ik heb wel eens gespeeld met reiserfs maar dat kreeg ik stuk met 1 dd commando en een SMB transactie tegelijk.  De solaris machines waar ik mee werk doen geen raid, maar gewoon disk mirroring met een metadb.

[EJ]

Ik vond met een atom PC onder linux dat de doorvoer op gbit niet zo vlot was als met een dual core athlon. Ik zag op de atom tijdens transfers met 50-60MB/sec ook dat de cpu load naar 60%-80% ging. Met de Athlon haal ik wel 70-80MByte/sec en een load van 40% ongeveer. Beide PC's hebben een 4 disk raid0 met LVM met grote blocksize.
Dus CIFS/SMB trekt volgens mij wel degelijk behoorlijk load en zo kan een betere CPU in een NAS wel degelijk verbetering geven.
In ieder geval zou mijn voorkeur in een NAS uitgaan naar de NAS met de dikste CPU (en minimaal 5 bays).

Dat was ook absoluut niet ter discussie, het ging om het netwerkkaartje. Terzijde: gebruikte een 32 of 64 bit versie op de atom? Geen idee of de atom 64 bit ondersteunt.

@Audioloog. Waarom wil je speciaal ZFS? Wat is daar zo bijzonder aan? m.a.w. wat is er mis met ext3 of ext4? Ik heb wel eens gespeeld met reiserfs maar dat kreeg ik stuk met 1 dd commando en een SMB transactie tegelijk.  De solaris machines waar ik mee werk doen geen raid, maar gewoon disk mirroring met een metadb.

Ik kan audioloog absoluut begrijpen: zfs heeft mogelijkheden die ext3 noch ext4 hebben, nog afgezien van het feit dat zfs een 128 bits fs is. Als je vergelijkbare mogelijkheden wilt moet je op btrfs wachten. Maar dat is nog verre van compleet.

Zfs:
Raid zit in het filesystem besloten, je hebt journalling, en bovenal snapshots. Copy-on-write (dus geen fsck achtige zaken nodig), pools van beschikbare ruimte zijn beschikbaar (in plaats van diskpartities), data-deduplicatie is standaard, en het mooiste van alles: je kunt een gedistribueerde opslag beschikbaar stellen. Volledig transparant. Nadelen? Ja, de snelheid laat te wensen over...

[hifiman]

@Audioloog. Waarom wil je speciaal ZFS? Wat is daar zo bijzonder aan? m.a.w. wat is er mis met ext3 of ext4? Ik heb wel eens gespeeld met reiserfs maar dat kreeg ik stuk met 1 dd commando en een SMB transactie tegelijk.  De solaris machines waar ik mee werk doen geen raid, maar gewoon disk mirroring met een metadb.

Er is niks mis met ext3 of ext4, maar zfs (en zraid!) is gewoon superieur aan al het andere wat er bestaat, lees er eens wat over en je weet wat ik bedoel   Ej noemt het eigenlijk al allemaal op, zfs is volgens mij ook het enige fs wat bitrot voorkomt.
Over naar freebsd dus voor mijn server, op de desktop blijf ik op linux (ubuntu).   In hoeverre die deduplicatie haalbaar is met een 12 TB zfs pool valt nog te bezien, maar een ssd schijf als cache gebruiken zal vast schelen 

[edwinvh]

Ik heb hier een atom D525 als test staan en die geeft in (ubuntu software raid)raid0 iets over de 100MB per sec met uitschieters van 115 MB.
Mijn Qnap 859 heeft ook een atom en gaat ook naar die snelheid.

[Jeroen V]

Dat was ook absoluut niet ter discussie, het ging om het netwerkkaartje. Terzijde: gebruikte een 32 of 64 bit versie op de atom? Geen idee of de atom 64 bit ondersteunt.

Ja hoor, die zijn er. Maar ik heb niet het idee dat dat veel verschil zal maken voor de netwerksnelheid...

Zfs:  Nadelen? Ja, de snelheid laat te wensen over...

Is dat een gevolg van het nodig hebben van veel rekenkracht? Of zijn er juist een lading reads nodig voordat een write gedaan kan worden? (zoals bij bv raid5 het geval is.)

[riwi]

Sorry voor de late reactie, was de thread even vergeten..

Terzijde: gebruikte een 32 of 64 bit versie op de atom? Geen idee of de atom 64 bit ondersteunt.

Een Atom 330, wel dual core maar niet volledig 64bit. In ieder geval had/heb ik er Slackware 32 bit op gezet.

Zfs:
Raid zit in het filesystem besloten, je hebt journalling, en bovenal snapshots. Copy-on-write (dus geen fsck achtige zaken nodig), pools van beschikbare ruimte zijn beschikbaar (in plaats van diskpartities), data-deduplicatie is standaard, en het mooiste van alles: je kunt een gedistribueerde opslag beschikbaar stellen. Volledig transparant. Nadelen? Ja, de snelheid laat te wensen over...

Is dat niet functionaliteit die lvm ook al biedt? Ik bedoel ik zet mijn schijven in een volume group en ik creeer een partitie in een logical volume waarbij ik opgeef of ik raid 0 of 1 of iets anders als jbod wil. data-deduplicatie zal ik eens opzoeken
En gedistribueerde opslag is als je de schijf aan meerdere computers hangt toch? Dan heb je geen NFS meer nodig. Kan wel handig zijn.

Er is niks mis met ext3 of ext4, maar zfs (en zraid!) is gewoon superieur aan al het andere wat er bestaat, lees er eens wat over en je weet wat ik bedoel  Ej noemt het eigenlijk al allemaal op, zfs is volgens mij ook het enige fs wat bitrot voorkomt.
Over naar freebsd dus voor mijn server, op de desktop blijf ik op linux (ubuntu).  In hoeverre die deduplicatie haalbaar is met een 12 TB zfs pool valt nog te bezien, maar een ssd schijf als cache gebruiken zal vast schelen 

Goed hobbywerk dus Komt zfs niet naar de linux wereld toe dan?
fssnap is ook leuk (als dat hetzelfde is als in Solaris).

Ik heb hier een atom D525 als test staan en die geeft in (ubuntu software raid)raid0 iets over de 100MB per sec met uitschieters van 115 MB.
Mijn Qnap 859 heeft ook een atom en gaat ook naar die snelheid.

Da's erg netjes. Ik heb hier over het netwerk nog niet dergelijke snelheden gehaald. 115MB is ook erg dicht bij de theoretische max dacht ik (of doe je dual gbit?).

[hifiman]

Goed hobbywerk dus Komt zfs niet naar de linux wereld toe dan?

Nee en ja.   Nee, want licentie technisch mag dat niet. Ja, want om dit issue te omzeilen is er een project om via FUSE zfs op linux te implementeren, in userspace dus ipv in de kernel. Wat mij betreft al reden om dat niet te willen gaan gebruiken. Bij freebsd was het licentie technisch wel mogelijk om zfs in de kernel te implementeren.

Ik zit nog in de voorbereidingsfase (al mijn huidige functionaliteit moet wel meekunnen!) , ik overweeg om eerst alleen nfs en samba native in freebsd te doen en de rest voorlopig in een headless virtual box VM met daarin mijn oude linux omgeving minus nfs en samba

Liefs zou ik voor de stable release van freebsd gaan (8.2 dus), maar vanwege de veel volwassener zfs versie in freebsd versie 9 denk ik dat ik toch daar maar voor ga. Klinkt wat tegenstrijdig, de beta versie draaien ivm hogere stabiliteit ;-)
Tevens kan ik dan eens kijken of dedup een beetje "te doen" is op mijn systeem met (straks) een 12TB zraid pool in een quadcore 3 GHz 64 bits machine met  8 GB aan ram.

[EJ]

Sorry voor de late reactie, was de thread even vergeten..

hihi.

Is dat niet functionaliteit die lvm ook al biedt? Ik bedoel ik zet mijn schijven in een volume group en ik creeer een partitie in een logical volume waarbij ik opgeef of ik raid 0 of 1 of iets anders als jbod wil. data-deduplicatie zal ik eens opzoeken

Nee, lvm is iets heel anders dan een filesystem, namelijk een logical volume manager. Het kan wat volumes beheren. Niet op de schaal die zfs kan doen. Zfs kent allerlei handige truukjes met schijven die cachen (leuk voor ssd's) naar grote achtergrond schijven. Zfs is zoals gezegd een file system. 128 bits.

Kijk eens bij btrfs, dat komt in de buurt van wat zfs kan.

En gedistribueerde opslag is als je de schijf aan meerdere computers hangt toch? Dan heb je geen NFS meer nodig. Kan wel handig zijn.

Uhm, jawel, nfs is namelijk het protocol om de data naar andere computers (die wellicht helemaal geen opslag hebben) te verspreiden v.v.