Supersnel downloaden langzaam uitpakken....

negotiata · June 10, 2012, 23:32:12

ik heb een 120 mb verbinding en haal bijna 15mb per seconde downloaden.

Ik zoek Nzb's met spotnet en download en pak ze uit met grabit.
Mijn probleem is : Downloaden gaat snel maar het checken en uitpakken gaat langzaam.

Mijn pc heeft 8 gig DDR 3 geheugen en core i7 2.8.
Ik download naar schijf D: en laat het uitpakken naar schijf E: (Beide 7200 schijven)

Mijn vraag is wat is de bottleneck ?
Grabbit ? Geheugen van mijn pc ? Of iets anders ?

Iemand een idee hoe ik dit moet aanpakken ?

mijkie · June 10, 2012, 23:58:06

parren en rarren neemt altijd meer tijd in dan het downloaden , ik werk met SABNZBD op Imac (2,7 i5) en Qnap 459proII , allebei het zelfde .....

negotiata · June 11, 2012, 00:40:52

Dat begrijp ik dat het langer duurt.

Maar moet toch op te lossen zijn op een of andere manier om het proces te versnellen ?

Raymen · June 11, 2012, 04:54:03

Ik vindt grabit ook altijd te langzaam uitpakken,daarom download ik alles met newsleecher,vindt ik fijner en sneller gaan.

En waarom doe je dat trouwens niet met spotnet zelf,gaat ook vrij rap.

Ook kan nog kiezen voor apart progammatje die he voor je doet (parenrar)
Er zijn er trouwens meer die dat doen.

Mvrg,
Raymen

jaco · June 11, 2012, 06:58:47

Par kan wel sneller. Dan moet je een PC kopen/maken die een zo snel mogelijke interne bus heeft (overclocken).

Verder moet je I/O systeem op orde zijn. Om snelheid te verhogen zou je een SSD kunnen nemen om de PAR checks op te doen, alleen als je met 15 Mbyte/sec binnenhaalt moet je een vrij grote SSD nemen anders blijf je data aan het moven (50 a 60 GB per uur komt dan binnen) Of een SSD wel bestand is tegen heel veel read/write cycli is weer wat anders.

Andere optie is een Hardware raid controller, en meerdere snellere hdd's in een raid volume stoppen.
Transfer rate van 1 HDD is zeg maar 100 Mbyte/sec, van een Raid opstelling snel 200-300 Mbyte/sec

Als je tegelijk download en repareert/uitpakt krijgt je I/O systeem ook meer te doen, dan alleen downloaden.

Ik gebruik newsleecher, en dat is ook niet echt snel allemaal. De nieuwe versies cachen de artikelen (bijvoorbeeld een 100 MByte Rar file bestaat uit heel veel kleine 'text' bestandjes die als ze allemaal binnen zijn aan elkaar geplakt moeten worden) in de directory waar de file komt te staan.
Oude versies doen dat in een Temp folder, en die heb ik gemapped naar een Ram disk. Dan heb je geen disk I/O voor die kleine files, en heb je alleen disk I/O als de 100 Mbyte (of andere maat) file ge-regenereerd is en geschreven moet worden.

Elke aanpassing helpt weer een beetje. Ik kan met 14 MByte down loaden, een file met quickpar controleren/reparen en iets uitpakken en dan zie ik geen dips op files tot 200 Mbyte per stuk. Als het 500 Mbyte files zijn krijg ik inzakkers in de newsleechter grafiek.
Ik download op 1 raid-5 volume, en pak de dingen uit op een ander raid-5 volume. Dat zijn al wat oudere 1 TB hdd's en de transfer rate is ongeveer 200-250 Mbyte/sec. Ook is het een PCI-X raid controller.
Met wat nieuwere hardware zou het allemaal nog een stukje sneller kunnen denk ik.

Thunder · June 11, 2012, 09:57:47

Bottleneck is voornamelijk je HDD. Je bent met 14-15MB/s aan het downloaden en tegelijk wordt op die schijf ook de data benaderd voor het parren. Als het goed is kan je SABNZBD instellen dat het downloaden tijdelijk wordt gepauzeerd als je aan het parren en uitpakken bent. Zodoende ben je zo snel mogelijk van de controle-uitpak af, waarna je weer full-speed kan downloaden.

Ik heb zelf ook Ziggo 120Mbit en maak me er tegenwoordig niet meer zo druk over dat dit gebeurt. Je kan nu al sneller downloaden dan dat je kan kijken. Net 2 2.5TB schijven gekocht, zodat ik weer genoeg schijfruimte heb voor het komend jaar. En deze gaan intern zodat de snelheid voor het uitpakken wel beter is, pak nu namelijk uit naar USB disks.....

negotiata · June 12, 2012, 02:08:59

Ik heb Sabnzb gedownload en geinstallerd vandaag.
Ik kon bij opties multicore uitpakken aanvinken en check met par overslaan als de post compleet is.

Heb ff 50 gig gedownload en een wereld van verschil !

Ik ben nu voorlopig tevreden.

Maar heb na aanleiding van jaco toch besloten om binnenkort een upgrade te doen en een nieuwe pc te bouwen. Thanx jaco

Quote from: Raymen on June 11, 2012, 04:54:03
Ik vindt grabit ook altijd te langzaam uitpakken,daarom download ik alles met newsleecher,vindt ik fijner en sneller gaan.

En waarom doe je dat trouwens niet met spotnet zelf,gaat ook vrij rap.

Ook kan nog kiezen voor apart progammatje die he voor je doet (parenrar)
Er zijn er trouwens meer die dat doen.

Mvrg,
Raymen

Spotnet haal ik net 6 mb per seconde met mijn 120mb verbinding .

Ik kan jullie sabnzbd aanraden !

jaco · June 12, 2012, 06:52:06

Quote from: Negotiata on June 12, 2012, 02:08:59
Maar heb na aanleiding van jaco toch besloten om binnenkort een upgrade te doen en een nieuwe pc te bouwen. Thanx jaco

Tijdens een repair van quickpar kun je een getal in Mbyte/sec zien. Dat geeft een indicatie voor hoe 'snel' je totale systeem die reparatie kan doen.

Ik had een dual core Xeon 3.4 Ghz, die deed ~500 MByte/sec.
Nu heb ik een I7 op 2.8 Ghz ? (al 2 jaar oud of zo) en die haalt iets van 1100 Mbyte/sec (als het systeem onbelast is) Dus in mijn geval gaat de reparatie in de helft van de tijd na een upgrade (met dezelfde raid controller en dezelfde hdd's)
Uitpakken met Winrar is moeilijker war over te zeggen, omdat er nog altijd slimmerikken zijn die winrar niet alleen in laten pakken, maar ook nog laten comprimeren...

jaco · June 12, 2012, 07:59:06

Als toevoeging: Standaard Quickpar gebruikt 1 core.
Er zijn multicore recompiles.
Multipar is een andere tool, die ondersteund wel multicore. http://hp.vector.co.jp/authors/VA021385/

mijkie · June 12, 2012, 10:17:05

werk al tijden met SABnzbd , heb ook wel eens een ander propje gebruikt maar ,kom toch weer terug ....

negotiata · June 15, 2012, 15:56:52

Na 1 Terrbayte gedownd te hebben, ben ik overtuigd SABNZBD doet alles super netjes en snel.

Problem solved !

Joris1971 · June 15, 2012, 19:56:13

Quote from: Negotiata on June 15, 2012, 15:56:52
Na 1 Terrbayte gedownd te hebben, ben ik overtuigd SABNZBD doet alles super netjes en snel.

Problem solved !

Wat download jij allemaal

??

alexander2 · June 15, 2012, 20:06:13

Quote from: Joris1971 on June 15, 2012, 19:56:13
Wat download jij allemaal ??

Nog niet zo lang geleden was ik de aso van het jaar nu kan ik eindelijk het stokje overdragen.

Het lijkt veel maar als je een tv seizoen binnentrek ( 1080p ) dan gaat het hard.
Films zijn ook al 40 Gb.

negotiata · June 15, 2012, 21:14:39

Quote from: Joris1971 on June 15, 2012, 19:56:13
Wat download jij allemaal ??

Paar films voor mijn mediaspeler ;-)

Krijg deze week mijn nieuwe nas met 8tb en uitbreidbaar via usb .. dan heb ik bijna 18 tb tot mijn beschikking

alexander2 · June 15, 2012, 21:37:45

Quote from: Negotiata on June 15, 2012, 21:14:39
Paar films voor mijn mediaspeler ;-)

Krijg deze week mijn nieuwe nas met 8tb en uitbreidbaar via usb .. dan heb ik bijna 18 tb tot mijn beschikking

18 Tb

negotiata · June 16, 2012, 01:19:47

Quote from: alexander2 on June 15, 2012, 21:37:45
18 Tb

Ach valt nog wel mee. Maat van me heeft 60 tb en klaagt nog steeds over "ruimtetekort"

alexander2 · June 16, 2012, 07:56:28

Quote from: Negotiata on June 16, 2012, 01:19:47
Ach valt nog wel mee. Maat van me heeft 60 tb en klaagt nog steeds over "ruimtetekort"

Dat meen je niet.

jaco · June 16, 2012, 07:58:19

ik ken iemand (online) die meer dan 100 TB online heeft draaien.

Het is maar wat je hobby is.

riwi · June 16, 2012, 13:24:44

Quote from: Negotiata on June 12, 2012, 02:08:59
Ik kan jullie sabnzbd aanraden !

Ik heb met newsbin ook geen zakkers tijdens downloaden/parren/unrarren.
Ik download op een 2 disk raid-0 met een i7-2600 en daar wordt ook op uitgepakt.
Newsbin heeft interne 64 bit par en unrar routines die multicore werken.
Als ik tijdens het downloaden spul naar de NASPC kopieer dan krijg ik wel dips in de download snelheid.

negotiata · June 16, 2012, 14:32:12

Quote from: riwi on June 16, 2012, 13:24:44
Ik heb met newsbin ook geen zakkers tijdens downloaden/parren/unrarren.
Ik download op een 2 disk raid-0 met een i7-2600 en daar wordt ook op uitgepakt.
Newsbin heeft interne 64 bit par en unrar routines die multicore werken.
Als ik tijdens het downloaden spul naar de NASPC kopieer dan krijg ik wel dips in de download snelheid.

Ik heb Newsbin Pro ook geprobeerd. Maar vind hem niet gebruiksvriendelijk.
Ik moet een nzp aanklikken en de rest moet automatisch gebeuren. Of misschien heb ik me er niet al te diep in verdiept.

riwi · June 16, 2012, 14:47:13

Dat kan wel met newsbin hoor. Maar als sabnzb+ het voor je doet dan is het prima toch?
Ik vind juist dat je met sabnzb minder controle hebt over wat je doet, of wat de PC aan het doen is.
En wat lastiger met bv. passworded zaken die niet automatisch kunnen.

Joris1971 · June 16, 2012, 16:34:18

Over DL gesproken, ik heb een Nieuwsgroep abo bij Tweak, ik download met Spotlight, maar ondanks het grote aanbod is er niet alles te vinden... ligt dit aan de nieuwsgroepen van Spotnet zelf?

negotiata · June 16, 2012, 18:55:48

Onnline ftd wil ook nog wel eens wat meer vinden

riwi · June 16, 2012, 18:56:36

Spotnet heeft geen eigen nieuwsgroepen. Usenet staat los van websites of newsproviders kwa content.

Als spullen die op usenet staan niet te vinden zijn dan ligt dat aan de searchengine in dit geval spotnet zelf.
Als jij spullen niet kan vinden die je graag wel zou vinden dan is het er niet, of het heet anders dan jij (of spotnet) denkt dat het heet.

Marco66 · August 15, 2012, 20:44:13

Volgens mij gebruikt spotnet zelf ook sabnzbd als downloader.

Marco

News:

Supersnel downloaden langzaam uitpakken....