Frutselizer

[jowi]

Hee, ik heb nu ook niks meer...wtf?
Nog even verder speuren.

[riwi]

Hee, ik heb nu ook niks meer...wtf?
Nog even verder speuren.

-edit
re install helpt niet

wireshark bekeken :

Code Select Expand


root@riwiatom:~# ping nzbindex.nl
PING nzbindex.nl (178.20.172.20) 56(84) bytes of data.
64 bytes from nzbindex.nl (178.20.172.20): icmp_req=1 ttl=58 time=17.9 ms

wireshark :
7 3.218571 192.168.1.2 52455 178.20.172.20 80 TCP 66 52455 > http [SYN] Seq=0 Win=8192 Len=0 MSS=1460 WS=4 SACK_PERM=1
8 3.230524 178.20.172.20 80 192.168.1.2 52455 TCP 66 http > 52455 [SYN, ACK] Seq=0 Ack=1 Win=5840 Len=0 MSS=1460 SACK_PERM=1 WS=1024
9 3.230578 192.168.1.2 52455 178.20.172.20 80 TCP 54 52455 > http [ACK] Seq=1 Ack=1 Win=65700 Len=0
10 3.231136 192.168.1.2 52455 178.20.172.20 80 HTTP 262 GET /rss/?q=broke%20girls%20S02E20%20+-divx+-xvid+-german+-french+-xbox+-ps3+-dvd+-razor1911+-xxx+-porn+-sponsor+-erotic+-disc+-pinda+-avi&minsize=250&max=100&sort=sizedesc HTTP/1.1
11 3.244875 178.20.172.20 80 192.168.1.2 52455 TCP 60 http > 52455 [ACK] Seq=1 Ack=209 Win=7168 Len=0
12 3.244876 178.20.172.20 80 192.168.1.2 52455 HTTP 382 HTTP/1.1 403 Forbidden  (text/html)

We krijgen forbidden terug van nzbindex.nl

Deze ook :
http://www.nzbindex.nl/rss/?q=broke%20girls%20S02E20%20+-divx+-xvid+-german+-french+-xbox+-ps3+-dvd+-razor1911+-xxx+-porn+-sponsor+-erotic+-disc+-pinda+-avi&minsize=250&max=100&sort=sizedesc%20HTTP/1.1

[jowi]

Ah. Een 403 Forbidden error... de rss feed van nzbindex ligt er blijkbaar regelmatig uit.
Bijv. http://www.nzbindex.nl/rss/?q=how%20i%20met%20your%20mother%20S08E01

Via de normale site kun je nog wel zoeken... maar niet via de rss feed dus. Eens kijken of er info over te vinden is. Vroeger hadden ze een forum maar dat is er niet meer zo te zien... zal mij eens op den twitters begeven dan.

[jowi]

Ben bang dat we gewoon geduld moeten hebben tot de rss feed weer online is en blijft... er is geen info meer te vinden op nzbindex, geen forum, geen email/contact info... afwachten dus en hopen dat de feed weer terugkomt.

[jowi]

Als dit zo door gaat moet ik misschien de rss feed verlaten en een scraper bouwen zodat ik de reguliere site kan gebruiken....

[Teejoo]

Als dit zo door gaat moet ik misschien de rss feed verlaten en een scraper bouwen zodat ik de reguliere site kan gebruiken....

ja, bouw vooral een scraper! Geen idee wat dat is, maar ik vind het knap dat je dit soort zaken kunt maken. Het lijkt me in elk geval dat je weer 1 afhankelijkheid minder hebt als je direct voa de site zou zoeken. Zoals reeds eerder aangegeven vind ik deze tool niet te evenaren qua gebruiksgemak.

[jowi]

Een scraper leest zeg maar de rauwe html in zoals je browser die ook krijgt, als tekst, en gaat daar dan gegevens uit proberen te destilleren. Probleem is dat als ik vanuit code de nzbindex pagina aanroep, ik altijd de 'I agree/I Decline' pagina terugkrijg. Ook als ik een zoekopdracht verstuur. Nu kan ik die 'I agree' POST wel doen vanuit code, en dat accepteert ie ook en krijg ik (wederom in code) de werkelijke zoekpagina terug... maar als ik vervolgens een url met een zoekopdracht verstuur, krijg ik weer die 'I agree/decline' html terug. Ik moet een list verzinnen om daar voorbij te komen...

[LP]

Je kan de 'I Agree' omzeilen door een extra vlag mee te sturen in de post. Heb zelf ook een nzbindex scraper gemaakt in shell script icm wget. Ben nu niet thuis. Zal het vanavond even voor je opzoeken. Maar waarschijnlijk ben je er dan al wel uit want zo moeilijk is het ook weer niet.

[jowi]

Nice

[LP]

Gebruik in mijn shell script de volgende commando's om een HTML pagina uit nzbindex op te vragen:

URL="http://www.nzbindex.nl/search/?q=${PATTERN}+${SERIES_P}+s${SEASON_2}+e${EPISODE_2}&age=${AGE}&max=25&minage=&sort=agedesc&minsize=${MINSIZE}&maxsize=&dq=&poster=${POSTER}&nfo=&complete=1&hidespam=1&more=1"
WGET_FILE=${TMPDIR}/${SERIES_U}.${SE}.`uuidgen`.html
wget "${URL}" --header "Cookie: agreed=true" --output-document=${WGET_FILE} --quiet --timeout=30

Voor jou is dan vooral het --header deel interessant.

[jowi]

Ok je geeft het niet mee als extra param IN de url maar op een andere manier, eens uitzoeken hoe dit in c# gaat. Iets met een cookie dus blijkbaar.

[LP]

Klopt veld moet ik de cookie worden meegegeven. Zal ook wel mogelijk zijn met C#. Even spitten in de documentatie.

[jowi]

Ik heb al wat gevonden denk ik, van de week eens proberen

[gsuk]

@Jowi

fijn dat je er weer bent


groetjes Emile

[DVDGuy]

@Jowi 

[jowi]

Thanks

Gaat de goede kant op zo, cookie werkt, en ik regex de in dit geval 3 matches voor de How I Met Your Mother S08E22 1080p download links:

Code Select Expand


Cookie['PHPSESSID']: a88fd49fa5f4acd11b94dafeeb8e6041
Cookie['SPAW_DIR']: %2Fadmin%2Fspaw2%2F
Cookie['lang']: 1
Cookie['agreed']: true
<a href="http://www.nzbindex.nl/download/88071327/How.I.Met.Your.Mother.S08E22.The.Bro.Mitzvah.1080p.WEB-DL.DD5.1.H.264-BS-0047-How.I.Met.Your.Mother.S08E22.The.Bro.Mitzvah.1080p.WEB-DL.DD5.1.H.264.nzb">Download</a>
<a href="http://www.nzbindex.nl/download/88071709/137280-FULL-a.b.teevee-How.I.Met.Your.Mother.S08E22.1080p.WEB-DL.DD5.1.H.264-BS-2828-How.I.Met.Your.Mother.S08E22.The.Bro.Mitzvah.1080p.WEB-DL.DD.nzb">Download</a>
<a href="http://www.nzbindex.nl/download/88071670/137280-FULL-a.b.teevee-How.I.Met.Your.Mother.S08E22.1080p.WEB-DL.DD5.1.H.264-BS-11-How.I.Met.Your.Mother.S08E22.The.Bro.Mitzvah.1080p.WEB-DL.DD5..nzb">Download</a>

Zal wel abracadabra zijn maar het komt er op neer dat ik nu dus in de Frutselizer onder water de webpagina in laad die je zou zien als je zelf zou browsen (deze: http://www.nzbindex.nl/search/?q=How.I.Met.Your.Mother.S08E22.The.Bro.Mitzvah.1080p ), en daar dan de downloadlinks uit sloop, zodat ik de rss interface niet meer hoef te gebruiken. Moet nog een hoop ombouwen hoor dus het duurt nog wel even.

[riwi]

Goed werk

[StefaanD]

Moet nog een hoop ombouwen hoor dus het duurt nog wel even.

Betekent dit dat je er niet meer op rekent dat ze hun RSS feed terug in orde krijgen ? Je sloopt dus de RSS feed eruit en gaat volledig voor zoeken op de webpagina zelf. Of ga je de optie aanbieden via een instelling ?

Geen idee of NZBIndex véél aan hun RSS feed hebben veranderd in de loop van de tijd ( gerekend vanaf ontstaan van Frutselizer zeg maar  ), maar zou wel kunnen dat er regelmatig aan de webpagina's wordt gesleuteld/veranderd daar. Als dat zo is dan is werkzekerheid alvast verzekerd 

[jowi]

Even afwachten wat er met de rss feed aan de hand is, maar ik denk aan een keuzemogelijkheid. Qua pagina opmaak maakt niets uit denk ik, de url met de downloadlink zal niet zo snel veranderen... die is ook verder hetzelfde als in de rss feed.

[StefaanD]

Net geprobeerd met

http://www.nzbindex.nl/rss/?q=how%20i%20met%20your%20mother%20S08E01

en krijg nu toch ook terug resultaat. Lijkt een beetje op en af te gaan daar momenteel.

Een keuzemogelijkheid lijkt me inderdaad ook het beste en qua pagina opmaak gaat de gebruiker daar niets van merken, daar zorg jij wel voor 

[jowi]

Ik zie het ja... eens kijken voor hoelang dit duurt
Misschien pak ik in Frutselizer de rss feed, en als die het niet doet, stap ik over op de html, zonder dat de gebruiker dat merkt, da's het mooiste denk ik.

[StefaanD]

Mijn zetelpatat ( CouchPotato dus )die o.a. ook NZBIndex gebruikt, naast een aantal andere bronnen, heeft toch ook weer wat gevonden 

[aanvulling]

Misschien pak ik in Frutselizer de rss feed, en als die het niet doet, stap ik over op de html, zonder dat de gebruiker dat merkt, da's het mooiste denk ik.

Hangt er vanaf hoe ingewikkeld/uitgebreid je voorkeuren venster er nu uitziet 

Lijkt me in ieder geval een goeie aanpak, bij een 403, 404, ... foutmelding gewoon via HTML ophalen en parsen.

[riwi]

En als laatste optie de link naar amazon of bol waar je de disk kan kopen

[jowi]

Als ze bij Bol of Amazon ook de nzb link gaan plaatsen doe ik dat

[StefaanD]

Nee niet doen ... endless loop