Snelste manier van Parren, rarren etc?

Started by Starred, December 20, 2009, 22:52:00

Previous topic - Next topic

0 Members and 1 Guest are viewing this topic.

Starred

Hoe kan je je pc het beste configureren om na een download zo snel mogelijk te parren en vervolgens uit te pakken? Ik pak de files trouwens steeds uit op een via USB2.0 aangesloten externe harddisk.
Vooral dat parren met quickpar duurt soms heel lang en hoop dat dit wellicht wat sneller kan....

MovieMax

Pak de files eerst uit op een lokale harde schijf of beter nog, koop een externe harde schijf met eSata. Je PC moet natuurlijk wel een eSata aansluiting hebben. Dan is die externe harde schijf net zo snel als een interne. Zo'n USB aansluting is echt rete-traag.

Let ook op waar winrar de tijdelijke bestanden dumpt. Het beste is de temp dir instelling van winrar op dezelfde drive te zetten als de bestemmings directory van je uitgepakte files. Anders moet winrar de uitgepakte files nog eens kopiĆ«ren van de temp drive naar de bestemings drive. 
KEF Reference 205 | KEF IQ2c | KEF Q55 | Velodyne DD-18 | Pass Labs X150.5 & X250.5 | JVC DLA-RS15 | Denon 3801 | LG 47LW570 | Viablue SC-4 silver & WBT | Oehlbach Blue Magic | Sommer 5.1 | Apogee Wyde Eye | Asus HDAV 1.3 deluxe | Harmony One | SQBox Touch | PS3 Slim | Ipad 2 | Airport Express | Auralex Gramma | Metrum Acoustics Octave DAC | Oehlbach NF 214 Master Set | AKG K 701

Dirc

misschien is er ook verschillende software met verschillende snelheid?
Kan me voorstellen dat sommigen 1 core gebruiken en anderen meerder?

Starred

Ik las ooit ook wel eens iets over een virtuele schijf, dat dit quickpar zou versnellen?

MaxxMark

Parren is vooral een disk intensieve taak. De CPU's zijn meestal de bottleneck niet. Ofwel hoe sneller je disks zijn hoe sneller het parren zal gaan.

Een snelle opstelling zou zijn als je download naar schijven in raid-0 en daarop gaat parren.

Daarna zorgen dat je uitpakt naar een andere schijf (bijvoorbeeld de schijf waarop je het uiteindelijk wilt opslaan). Dit omdat naar dezelfde schijf uitpakken langzamer gaat dan naar een fysiek andere schijf (letop! echt een fysiek andere schijf! niet een andere partitie).

In theorie zou het het snelste gaan als je een ramdrive zou hebben (een virtuele schijf in het geheugen). Maar vaak is een ramdrive te klein om je hele download op te zetten, maar het zou wel de ideale manier zijn :)
Arcam AVR850  + Yamaha RX-V3800 - Martin Logan Fresco 7.1.4 - Velodyne DD15 - HDI Dune 3.0 Prime / Dune 4K Pro - JVC N7 - Screen Excellence 21:9 (320cm breed) - Mijn eerste HT -  Mijn tweede HT@mark_prins - www.markprins.com

AllStar

Nog niemand die de term "SSD" heeft laten vallen?  ;) En inderdaad, bestanden uitpakken naar een locatie op dezelfde schijf duurt langer, omdat dan zowel de lees als schrijkop in actie moeten komen. Als het kan dus settings zo instellen dat de temp folder op schijf 1 is, en je complete downloads naar schijf 2 moeten.

Starred

Quote from: MaxxMark on December 21, 2009, 09:48:39
Parren is vooral een disk intensieve taak. De CPU's zijn meestal de bottleneck niet. Ofwel hoe sneller je disks zijn hoe sneller het parren zal gaan.

Een snelle opstelling zou zijn als je download naar schijven in raid-0 en daarop gaat parren.

Daarna zorgen dat je uitpakt naar een andere schijf (bijvoorbeeld de schijf waarop je het uiteindelijk wilt opslaan). Dit omdat naar dezelfde schijf uitpakken langzamer gaat dan naar een fysiek andere schijf (letop! echt een fysiek andere schijf! niet een andere partitie).

In theorie zou het het snelste gaan als je een ramdrive zou hebben (een virtuele schijf in het geheugen). Maar vaak is een ramdrive te klein om je hele download op te zetten, maar het zou wel de ideale manier zijn :)

Ik heb toevallig dit weekend een ssd schijf besteld. Eigenlijk alleen als boot/systeem schijf. Maar zou dus zin hebben als ik de downloads daar op zet en dan naar andere schijf uitpak?




MaxxMark

Quote from: AllStar on December 21, 2009, 09:51:44
Nog niemand die de term "SSD" heeft laten vallen?  ;) En inderdaad, bestanden uitpakken naar een locatie op dezelfde schijf duurt langer, omdat dan zowel de lees als schrijkop in actie moeten komen. Als het kan dus settings zo instellen dat de temp folder op schijf 1 is, en je complete downloads naar schijf 2 moeten.
Quote from: Starred on December 21, 2009, 10:27:08
Ik heb toevallig dit weekend een ssd schijf besteld. Eigenlijk alleen als boot/systeem schijf. Maar zou dus zin hebben als ik de downloads daar op zet en dan naar andere schijf uitpak?

Ik heb zelf ook een SSD maar ik ga niet unparren op en extracten van mijn SSD schijf. En dit om een aantal redenen:
1. Een SSD heeft wel een lage accesstime, maar geen hogere doorvoersnelheid dan een HDD. Het checken van een file (bij het parren) gebeurt zover ik weet gewoon sequentieel. Ofwel vanaf begin tot het eind van de betreffende file. En dus is een SSD hierdoor niet sneller (of langzamer) dan een normale HDD. (Misschien dat bij het repairen non-sequentieel door files wordt gelezen en dat er dan wel voordeel is voor een SSD maar dat weet ik niet zeker)
2. Bij een SSD is het vooralsnog zo dat hij een kortere levensduur (in termen van schrijfacties) heeft dan een HDD. Hoewel ik persoonlijk vind dat je je daar niet al te veel van aan moet trekken denk ik dat het downen naar je SSD, parren (en evt repairen) een onnodige extra verkwisting is van de schrijf acties.
Arcam AVR850  + Yamaha RX-V3800 - Martin Logan Fresco 7.1.4 - Velodyne DD15 - HDI Dune 3.0 Prime / Dune 4K Pro - JVC N7 - Screen Excellence 21:9 (320cm breed) - Mijn eerste HT -  Mijn tweede HT@mark_prins - www.markprins.com

bart_nl

Quote from: Starred on December 21, 2009, 10:27:08Ik heb toevallig dit weekend een ssd schijf besteld. Eigenlijk alleen als boot/systeem schijf. Maar zou dus zin hebben als ik de downloads daar op zet en dan naar andere schijf uitpak?
lees de eerste reaktie op je vraag en probeer eerst eens een (e-)sata aangesloten schijf want met usb2 beperk je de snelheid van een harddisk al gauw tot de helft. 

Tube-freak

Ik download met grabbit en daar zit een automatische par en rar functie in, hoef je niets handmatig meer te doen.  je kan ook instellen naar welke directory je het wil extracten etc...
16th generation Disciple of the Wudang San Feng pai

Starred

Quote from: Tube-freak on December 21, 2009, 11:35:47
Ik download met grabbit en daar zit een automatische par en rar functie in, hoef je niets handmatig meer te doen.  je kan ook instellen naar welke directory je het wil extracten etc...

Ik ook, maar op een gegeven moment gaat dit toch vertragen als je bijv. achterelkaar 3 films van 25gb download. Dan gaat ie proberen de eerste te unparren/rarren terwijl de 2e film gedowned wordt en dat gaat niet goed

Tube-freak

De snelheid van de harde schijven is nou eenmaal niet meegegroeit met de snelheid van het internet.  De keten is zo sterk als de zwakste schakel noemen ze dat.
Kijk daarom heb ik geen 50Mbit internet omdat mijn harde schijf zoveel data niet eens weg kan schrijven zonder dat de halve pc hangt.

Ik heb professionele servers gekoppeld aan een fibre channel SAN zien hangen omdat er een disk failde en er een tegelijk een scheduled backup job liep. En doordat hij ook nog data opnieuw moest opbouwen naar een spare disk dan werd het even teveel van het goede.  En dan hebben we het over het snelste en beste wat er te krijgen is qua opslag en dan gaat dat ook wel eens mis.  laat staan dat je dat met je pctje thuis goed gaat krijgen.  

Wellicht biedt een Solid State disk uitkomst.  Dat kost wel erg veel geld maar is wel super snel. 





16th generation Disciple of the Wudang San Feng pai

AllStar

Quote from: MaxxMark on December 21, 2009, 10:55:33
Ik heb zelf ook een SSD maar ik ga niet unparren op en extracten van mijn SSD schijf. En dit om een aantal redenen:
1. Een SSD heeft wel een lage accesstime, maar geen hogere doorvoersnelheid dan een HDD. Het checken van een file (bij het parren) gebeurt zover ik weet gewoon sequentieel. Ofwel vanaf begin tot het eind van de betreffende file. En dus is een SSD hierdoor niet sneller (of langzamer) dan een normale HDD. (Misschien dat bij het repairen non-sequentieel door files wordt gelezen en dat er dan wel voordeel is voor een SSD maar dat weet ik niet zeker)
2. Bij een SSD is het vooralsnog zo dat hij een kortere levensduur (in termen van schrijfacties) heeft dan een HDD. Hoewel ik persoonlijk vind dat je je daar niet al te veel van aan moet trekken denk ik dat het downen naar je SSD, parren (en evt repairen) een onnodige extra verkwisting is van de schrijf acties.

Hmm, toch merk ik (in positieve zin) verschil tussen een SSD en een gewone HDD. Wat punt 2 betreft: dat is echt geen issue, voor mij niet in ieder geval. Tegen de tijd dat de SSD "versleten" heb ik die echt niet meer in gebruik, je moet het wel heel gek maken wil je daar last van gaan krijgen . .

bart_nl

Quote from: Starred on December 21, 2009, 12:11:20
Ik ook, maar op een gegeven moment gaat dit toch vertragen als je bijv. achterelkaar 3 films van 25gb download. Dan gaat ie proberen de eerste te unparren/rarren terwijl de 2e film gedowned wordt en dat gaat niet goed
met wat voor een snelheid download je dan? Ik heb hier met 60 Mbit van UPC geen probleem in de zin dat harddisks parren en unrarren het downloaden niet bijhouden. Heb wel een SSD als systeemschijf maar download op normale sata schijven.

MaxxMark

Quote from: AllStar on December 21, 2009, 12:37:41
Hmm, toch merk ik (in positieve zin) verschil tussen een SSD en een gewone HDD. Wat punt 2 betreft: dat is echt geen issue, voor mij niet in ieder geval. Tegen de tijd dat de SSD "versleten" heb ik die echt niet meer in gebruik, je moet het wel heel gek maken wil je daar last van gaan krijgen . .

Imo verkijk je je denk ik snel op de getallen. Hoewel de lifetime van een flash cell tussen de 1000 en 10.000 re-writes ligt (gemiddeld dus 5000) komt dat neer op het wegschrijven van ~400TB (80gb * 5000).

Dan denk je vast "Ik download toch geen 400TB in zijn volledige lifetime?". Maar denk je dan in dat een gemiddeld news programma intern zijn yEnc files nog wegschrijft naar de ssd. voordat hij het uitpakt. Dus je 400TB gaat dan al naar 200TB. DAarnaast ga ik er van uit dat je op je SSD ook je windows installatie hebt staan, die uiteraard ook zijn fair share aan write acties doet.

Nu ga ik zelf ook uit van "Joh tegen de tijd dat ie slechter begint te worden heb ik vast een nieuwe!", maar met zulke grote hoeveelheden data kies ik toch liever eiren voor mijn geld en unpar ik wel op een andere disk :)

Sowieso vraag ik me af hoe veel je dan wel niet download. Ik ben zelf een vervent downloader en download vaak full BR iso's, maar op een gegeven moment is het gewoon "op" met de nieuwe films en series en is het voor mij erg afgezwakt.
Arcam AVR850  + Yamaha RX-V3800 - Martin Logan Fresco 7.1.4 - Velodyne DD15 - HDI Dune 3.0 Prime / Dune 4K Pro - JVC N7 - Screen Excellence 21:9 (320cm breed) - Mijn eerste HT -  Mijn tweede HT@mark_prins - www.markprins.com

Erik

Als je nou zorgt voor een of meerdere goede newsproviders, dan heb je geen corrupte files en kun je het unpar proces overslaan en hoef je alleen uit te pakken en dat gaat meestal wel snel.
"You have enemies? Good. That means you've stood up for something, sometime in your life."
- Winston Churchill

Nosferatu

2 harddisks en dan Grabit instellen dat inkomende data op 'disk1' komt en het (automatisch) parren/unrarren op 'disk2'. Laat je het allemaal op 1 disk (maakt niet uit of je daarop meerdere partities hebt) dan zit ie continu daarop te lezen/schrijven. Door 2 fysieke harddisks hiervoor te nemen ontlast je je systeem behoorlijk en gaat alles veel sneller. Maakt in principe wel uit iets of je 2e disk een interne SATA disk is of een externe USB is, aan de andere kant, zit je continu achter je PC om te kijken hoe ver ie met alles is ?  ;D
Video corner: Denon X-4000 + DBT-3313UD + DNP-800NE, B&W XT-8 front- + B&W M-1 rear luidsprekers, LG 50PK350 Full HD plasma TV.
Music corner: Denon PMA-2020AE + DCD-2020AE  + DNP-2000NE + TU-1500AE, Tellurium Q Ultra Black II + JKE Lo-Cap 55 interlinks, Denon DP-3000NE platenspeler, Ortofon Cadenza Blue, Ortofon Quintet Black-S & Denon DL-103R elementen, Primare R35 Phono pre amplifier, ATC SCM19 luidsprekers, Inakustik luidsprekerkabels.
HeadFi corner: Pioneer XDP-30R, Denon AH-D9200, Bose QC25, ATH-MSR7NC, Sony WH-1000

Ejorne

#17
SABNZBD+ doet hetzelfde als Grabit maar dan beter. Er wordt ook maar exact zoveel parbestanden gedownload als nodig is.

Daarbij zal een SSD zeker wel sneller zijn dan een gewone HDD en is huis-tuin-en-keuken-internet nog lang niet zo snel als een gemiddelde HDD. Waarschijnlijk worden er her en der bitjes en bytes verward ofzo...


MaxxMark

Quote from: Ejorne on December 21, 2009, 21:09:36
SABNZBD+ doet hetzelfde als Grabit maar dan beter. Er wordt ook maar exact zoveel parbestanden gedownload als nodig is.

Newsleecher doet dat ook op die manier :)

Maar parren zal onder geen enkele app echt sneller gaan dan de ander. De implementatie methode is toch altijd gelijk en volgens mij wordt veelal dezelfde library er voor gebruikt.

Quote from: Ejorne on December 21, 2009, 21:09:36
Daarbij zal een SSD zeker wel sneller zijn dan een gewone HDD en is huis-tuin-en-keuken-internet nog lang niet zo snel als een gemiddelde HDD. Waarschijnlijk worden er her en der bitjes en bytes verward ofzo...

Het gaat niet per definitie om rauwe data transfer. Het punt is dat bij het checken van een bestand het niet alleen disk io is maar ook cpu vereist (checksums bepalen voor de blocks in het gedownloadde bestand). De combinatie hiervan kan bij sommige downloads problemen opgeven (als er bijvoorbeeld rare block groottes etc worden opgegeven). Als dan eindelijk na het checken een file wordt ge-extract en er dus weer tegelijkertijd naar de disk wordt geschreven(yEnc tempfile wegschrijven, wegschrijven van temp yEnc naar rar bestand, par checken van bestanden, extracten van een rar naar destination) dan kan het heel goed zijn dat het downloaden sneller gaat dan het verwerken van de gedownloadde bestanden :)
Arcam AVR850  + Yamaha RX-V3800 - Martin Logan Fresco 7.1.4 - Velodyne DD15 - HDI Dune 3.0 Prime / Dune 4K Pro - JVC N7 - Screen Excellence 21:9 (320cm breed) - Mijn eerste HT -  Mijn tweede HT@mark_prins - www.markprins.com

Starred

Wat kan je nou het beste gebruiken om een grote hoeveelheid data (lees: BD) snel van interne naar externe harddisk te krijgen?

Een sharkoon met esata aansluiting? http://www.sharkoon.com/html/produkte/docking_stations/sata_quickdeck/index_en.html?id=10
Of een sharkoon met usb3.0 aansluiting? http://www.sharkoon.com/html/produkte/docking_stations/sata_quickport_usb30/index_en.html?id=5

MaxxMark

Quote from: Starred on December 23, 2009, 23:35:24
Wat kan je nou het beste gebruiken om een grote hoeveelheid data (lees: BD) snel van interne naar externe harddisk te krijgen?

Een sharkoon met esata aansluiting? http://www.sharkoon.com/html/produkte/docking_stations/sata_quickdeck/index_en.html?id=10
Of een sharkoon met usb3.0 aansluiting? http://www.sharkoon.com/html/produkte/docking_stations/sata_quickport_usb30/index_en.html?id=5

Ik heb er zelf geen kaas van gegeten, dus ik spreek niet uit ervaring. Maar als ik naar wikipedia kijk ( http://en.wikipedia.org/wiki/Esata#SATA_in_comparison_to_other_buses ) dan staat daar dat:
E-Sata 300MB/s maximaal doet
USB3 600MB/s maximaal doet

Let wel dat dan echt USB3 gebruikt wordt. Want bij USB2 gaat die snelheid naar 60MB/s :)

Zoals ik al zei, hoe de praktiijk snelheid van ESata en USB3 is weet ik niet.
Arcam AVR850  + Yamaha RX-V3800 - Martin Logan Fresco 7.1.4 - Velodyne DD15 - HDI Dune 3.0 Prime / Dune 4K Pro - JVC N7 - Screen Excellence 21:9 (320cm breed) - Mijn eerste HT -  Mijn tweede HT@mark_prins - www.markprins.com

bart_nl

Quote from: Starred on December 23, 2009, 23:35:24Wat kan je nou het beste gebruiken om een grote hoeveelheid data (lees: BD) snel van interne naar externe harddisk te krijgen?
het maakt qua snelheid m.i. niet uit omdat met de huidige harddisks de disk zelf in beide gevallen de bottleneck zou moeten zijn.
Mogelijk voordeel dat ik voor USB3 zie is dat het aankoppelen en verwijderen van de disks beter werkt. Ik gebruik al geruime tijd e-sata en dan wordt een aangesloten disk niet altijd direct herkend. Met USB3 zou dat beter moeten werken.
Mogelijk nadeel van USB3 is dat de omzetting van s-ata naar usb3 vergelijkbaar slecht werkt als dat wat momenteel gangbaar is voor de usb2 naar s-ata omzetting. Bij e-sata weet je zeker dat je dezelfde snelheid haalt als wanneer je schijf via interne s-ata aansluiting zou gebruiken.

Tube-freak

Het gewoon een Hitachi HDS SAN neerzetten thuis.   Kost wel wat heb je ook wat. RAID6 1 of meer gigabyte cache, Terrabytes aan opslag 2, 1Gbs connecties.  Als het dan nog niet snel genoeg gaat dan helpt echt niets meer.  Begint vanaf 3500 euro voor een instap systeempje.
http://www.storagemadesimple.eu/products.html&cat_id=46

Maar voor dat geld kan je natuurlijk ook gewoon de Blu rays kopen.
16th generation Disciple of the Wudang San Feng pai

Ejorne

Quote from: Tube-freak on December 24, 2009, 11:40:54
Begint vanaf 3500 euro voor een instap systeempje.

Voor dat geld koop je ook een heel stapeltje SSD schijven, wanneer je die in raid zet haal je ook aanzienlijke snelheden...
http://www.youtube.com/watch?v=96dWOEa4Djs

:P

Tube-freak

Dat zag er wel grappig uit dat filmpje.  Ik vrees alleen niet dat dat onder de 3500 euro was....
Maar goed als het echt sneller dan snel wil dan zijn er maar een paar dingen belangrijk

- Snelle RAID configuratie met veeeeeeel cache geheugen
- Snelle schijven (bijvoorbeeld SSD)
- Snel netwerk (indien het een externe disk behuizing betreft).

Of je koopt gewoon een paar gigayte aan geheugen in je Windows 7 64 bits en maakt een Ramdrive aan.  Alleen dat ramdisk gedoe zit niet standaard in windows dus ik zou niet weten hoe je dat aan de praat kan krijgen.

Dus de newsgroep opslaan parren en rarren in een ramdisk en dan later naar schijf kopieren.  Ik geloof dat Windows 7 (64 bits) Home Premium tot 16 GB geheugen aan kan dus als je een Ramdiskje van van 12GB maakt dan kom je een heel eind.





16th generation Disciple of the Wudang San Feng pai