MP3 / Lossless vergelijk

[neverywhere]

Is natuurlijk best wel veel werk om al die uitslagen op te tellen en samen te vatten....

[hifiman]

Kijk mannen, in andere topics wordt er over ons gerodddeld!

In dit topic nu dus ook 

[Lex Groningen]

Is natuurlijk best wel veel werk om al die uitslagen op te tellen en samen te vatten....

Denk het ook. We wachten maar af tot hij de uitslag bekend maakt.

Al heb ik niet mee gedaan, ben ik er wel benieuwd naar.

[Koen K]

Allereerst mijn excuses voor m'n lange afwezigheid... Bij deze alle informatie die ik heb:



De score bij "MP3" is waar we eigenlijk naar moeten kijken... Die geeft aan in hoeveel procent van de gevallen het onderscheid mp3/lossless correct gemaakt werd.

[stef662]

Kun je ook de verwachte percentages geven? Ik denk aan 66% voor mp3 en 17% voor de bitrate?

Voor hen die de werkelijkheid niet aankunnen is er altijd nog Avatar! 
http://www.ad.nl/ad/nl/1023/Film/article/detail/456098/2010/01/12/Film-Avatar-zet-aan-tot-zelfmoordgedachten.dhtml

[Ralph71]

Als er in de kolom T/F "False" staat bij de bitrate 1411, betekent dat dan dat de lossless-track niet op waarde is geschat, maar aangezien is voor een mp3-track? Snel geteld staat er bij 34 keer "False" bij de 40 lossless tracks.

Conclusie is dat 85% van de keren de lossless track is aangezien voor een mp3-track?  

[Ejorne]

Conclusie is dat 85% van de keren de lossless track is aangezien voor een mp3-track?  

Juist, dat komt natuurlijk mede doordat er geen referentie was.
Zie het een beetje als een foto die op verschillende punten gephotoshopt is.
Nu moeten de testdeelnemers zeggen welke origineel is en welke in bepaalde hoeveelheid gephotoshopt.

Dit is nagenoeg onmogelijk wanneer je geen originele foto hebt.

Daarom is het eigenlijk alleen maar van belang of de testpersonen in deze mp3-test geslaagd zijn om de twee gelijk klinkende nummers te herkennen.

Graag zou ik daarom ook een overzichtje zien waarin dat zichtbaar wordt...

[Ralph71]

Juist, dat komt natuurlijk mede doordat er geen referentie was.

Zou niemand de originele cd in bezit hebben gehad? Dan was de referentie toch niet zo moeilijk?

[Ejorne]

Zou niemand de originele cd in bezit hebben gehad? Dan was de referentie toch niet zo moeilijk?

Er zijn kennelijk meerdere versies in omloop en als ik het goed heb waren er hier inderdaad testpersonen die de cd hadden maar waarvan het nummer niet gelijk was aan de versie op deze test-cd.

[stef662]

[ironie on]Het enige wat je hoefde te doen is de versie aan te wijzen die het minste last van compressie artefacts had zoals ringing en minder lucht in de opname, losser beeld en minder scherp hoog. Maar dat wat normaal een eitje was dat is nu niet langer mogelijk? Je hebt nu ook de referentie nodig? Heb je die dan altijd nodig bij mp3  [ironie off]

[Ejorne]

Maar dat wat normaal een eitje was dat is nu niet langer mogelijk?

Ik kan mij dit niet herinneren hoor?
Heb ik dat beweerd?

Het enige dat ik wel gezegd heb is dat mijn ervaringen met mp3 járen terug niet zo goed waren en ik sindsdien niet meer naar mp3 heb omgekeken.

Ik moet trouwens ook bekennen dat ik nog steeds niet met mp3 ga werken. HDD ruimte kost tegenwoordig vrijwel niets meer en de free lossless audio codec kost helemaal niets. Mijn cd's gaan dus nog steeds lekker allemaal naar flac, hoe goed de mp3 encoders tegenwoordig ook mogen zijn... 

[coned (banned)]

[ironie on]Het enige wat je hoefde te doen is de versie aan te wijzen die het minste last van compressie artefacts had zoals ringing en minder lucht in de opname, losser beeld en minder scherp hoog. Maar dat wat normaal een eitje was dat is nu niet langer mogelijk? Je hebt nu ook de referentie nodig? Heb je die dan altijd nodig bij mp3  [ironie off]

De referentie niet kennen levert soms grappige resultaten op:

Ik zag op homerecording.be jouw post:

http://www.homerecording.be/forum/t8204-3.htm#post53841

Net beide WAV's op een CDRW gebrand en dan maar gedraaid op een high-end set.

Ik hoor dus wel degelijk een verschil tussen beide, de synth in B is minder aggressief, en de bas beter afgelijnd. Maar ik kan mij perfect inbeelden dat de meeste mensen dit niet oppikken, en het voor 99.99% vd bevolking geen ruk uitmaakt.

Was wel achteraf verrast dat de betere sample niet met de Grimm clock werd behaald maar met de interne clock.

Ik vermoed net zoals Mathew Lane dat hier transmissiejitter parten speelt, want de clocken van Grimm zijn normaal wel top, heb reeds spelers vergeleken met de standaard onboard clock en daarna die van Grimm als mod naast mekaar. Maar dan spreek je over een transmissiekabeltje van enkele cm

Blijft een interessante test...

[Rednaxela]

Is je tweede quote een quote? Zo ja waarvan?

[Raphie]

Ik kan mij dit niet herinneren hoor?
Heb ik dat beweerd?

Het enige dat ik wel gezegd heb is dat mijn ervaringen met mp3 járen terug niet zo goed waren en ik sindsdien niet meer naar mp3 heb omgekeken.

Ik moet trouwens ook bekennen dat ik nog steeds niet met mp3 ga werken. HDD ruimte kost tegenwoordig vrijwel niets meer en de free lossless audio codec kost helemaal niets. Mijn cd's gaan dus nog steeds lekker allemaal naar flac, hoe goed de mp3 encoders tegenwoordig ook mogen zijn... 

Ga jij nou eerst maar eens investeren in een redelijke set voordat je je over dit soort futtiliteiten druk gaat maken.

Koen, de uitslag spreekt voor zich.... bedankt voor je inspanningen

[Rednaxela]

Ga jij nou eerst maar eens investeren in een redelijke set voordat je je over dit soort futtiliteiten druk gaat maken.

SOS, nu maak je me nieuwsgierig. Wat mankeert er wat jou betreft aan Ejorne's set? Equibit?

[blueray]

Als niet-deelnemer aan de test heb ik wel een vraagje over de interpretatie van dit alles.

De score voor 128 kbps is volgens mij redelijk hoog, als ik het goed interpreteer. Je zou dus zeggen dat 128 kbps redelijk goed als zijnde mp3 wordt bestempeld. Te veel compressie horen de meeste proefpersonen dus wel.

Hoe kom ik daarbij?

Om de totaaluitslagen te kunnen analyseren moet je aannemen dat iedereen even goed luistert en apparatuur heeft die vergelijkbaar is, anders beinvloedt variatie in het meetinstrument (oren+apparatuur) de uitslag en is het onbetrouwbaar om de uitslagen van individuele proefpersonen bij elkaar op te tellen. Dan zou je alleen per persoon kunnen kijken. Het lijkt er overigens op dat scores per persoon wel verschillen, dus of de aanname dat iedereen gelijk luistert opgaat betwijfel ik op basis van deze cijfers.

Als ik toch uitga van gelijke oren+apparaten kom ik tot het volgende:

-   de nummers 3,7, 8 en 13 zijn als ik het goed begrijp 128 kbs
-   er zijn in totaal 11*4=44 waarnemingen/metingen gedaan van deze nummers.
-   in 34 gevallen is als ik het goed heb correct aangegeven dat deze nummers mp3 zijn en niet losless = 77% correct.

Of is dit percentage ook aan toeval te wijten? Daar kom ik dus niet uit, omdat de kans om bij toeval goed te gokken niet eenvoudig is te bepalen, althans voor mij niet.  Dat komt vooral doordat elke bitrate als ik het goed begrijp 2 maal voorkomt. Je hebt dus 8 x hetzelfde nummer met 4 bitrates.

Als je maar 1 nummer zou mogen beoordelen heb je dus 25% kans dat je de bitrate goed raadt en 50% dat je goed benoemt dat iets losless is of niet. Maar wat gebeurt er nu met de kansen als je 8 keer moet beoordelen, waarbij je bij elke volgende beoordeling weet welke mogelijkheden er nog resteren (experiment zonder teruglegging heet dat toch?). Mijn statistiekles is te lang geleden om hier uit te komen . Wie kan dat wel?
Of klopt mijn hele redenering sowieso niet? 

[Rednaxela]

Ergens aan het begin van deze thread heeft Rody dekkersj gequote met een uitstekende uiteenzetting. Of het helemaal antwoord geeft op je vraag weet ik niet, maar had je die toevallig gelezen?

http://www.htforum.nl/yabbse/index.php?topic=92373.msg1531077#msg1531077

[blueray]

Ergens aan het begin van deze thread heeft Rody dekkersj gequote met een uitstekende uiteenzetting. Of het helemaal antwoord geeft op je vraag weet ik niet, maar had je die toevallig gelezen?

http://www.htforum.nl/yabbse/index.php?topic=92373.msg1531077#msg1531077

Maar is de test van Koen wel een ABX-test, waar deze uitleg over gaat? Je hebt hier met twee nummers en meerdere bitrates te maken dus wat is A, wat is B en wat is X in deze analyse. Wat telt als 1 trial?  En kan je trials van meerdere personen wel bij elkaar optellen? Ik snap dus niet goed hoe ik de gepresenteerde percentages kan interpreteren.

[Ejorne]

Ga jij nou eerst maar eens investeren in een redelijke set voordat je je over dit soort futtiliteiten druk gaat maken.

Koen, de uitslag spreekt voor zich.... bedankt voor je inspanningen

Moet ik mijn set eerst upgraden voordat ik mag bepalen of ik lossless of mp3 ga gebruiken voor het backuppen van mijn cd's?
Leg uit, ik begrijp dat niet helemaal...

Inderdaad, Koen, bedankt voor de inspanningen. Wordt door mij zeer gewaardeerd.
De uitslag spreekt voor mij inderdaad ook boekdelen, de twee gelijk klinkende tracks uit die 'onbekende bak' halen geeft voor mij voldoende onderbouwing verschillen ertussen te horen...

[Ejorne]

SOS, nu maak je me nieuwsgierig. Wat mankeert er wat jou betreft aan Ejorne's set? Equibit?

Inderdaad, de Panasonic SA-XR receivers staan vrij goed bekend om hun stereo weergave. Ze zijn echter in Nederland wat minder bekend. Maar als je het avs forum erop naleest dan zijn er toch redelijk veel erg positieve gebruikers te vinden.

Uiteraard kan het zat beter, maar dat zal dan ook behoorlijk wat duurder worden, ben ik bang...
Hoewel... Emotiva?  

Maar, oja, SOS...
Het maakt toch helemaal niet uit welke set ik heb?
Vrijwel elke versterker klinkt toch gelijk? Om over dvd-spelers als cd-bron over de analoge uitgang nog maar te zwijgen?


De speakers zouden het er dus vrijwel uitsluitend om doen. En ik denk dat de Onix speakers helemaal zo slecht niet zijn...

[spijtebijt]

Lijkt me leuk als iemand hier met SPSS wat mee kan. Je kunt dan bijvoorbeeld ook uitspraken doen over de betrouwbaarheid van de test. Dat lijkt me handiger dan alleen maar de testmethode ter discussie.
Hier hadden we 6 keer hetzelfde nummer met verschillende compressies (hoewel 2x lossless)... Om de precieze compressie te raden, heb je een kans van 1 op 6, met een lossless track is de kans echter 2 op 6... Enzovoorts.

[neverywhere]

De manier van berekenen bevalt me wel....als ik even naar mijn eigen score kijk dan zie ik dat ik van 16 tracks er slechts 2 wist te herkennen( één 128 en één lossless) en toch haal ik een score van 62,5%.

Helemaal niet verkeerd......al doet het mij wel denken aan de leraar die mij in een ver verleden een uurtarief leerde uitrekenen.........de man begon elke les met de volgende uitspraak :

Mijne heren, cijfers liegen niet maar leugenaars cijferen veel.

[Rednaxela]

Lijkt me leuk als iemand hier met SPSS wat mee kan.

Roderick biedt aan het begin van dit topic aan om de testuitslagen in SPSS te verwerken.
http://www.htforum.nl/yabbse/index.php?topic=92373.msg1530431#msg1530431
http://www.htforum.nl/yabbse/index.php?topic=92373.msg1530585#msg1530585

Maar is de test van Koen wel een ABX-test, waar deze uitleg over gaat? Je hebt hier met twee nummers en meerdere bitrates te maken dus wat is A, wat is B en wat is X in deze analyse. Wat telt als 1 trial?  En kan je trials van meerdere personen wel bij elkaar optellen? Ik snap dus niet goed hoe ik de gepresenteerde percentages kan interpreteren.

Je hebt gelijk. Deze test is behoorlijk anders van opzet dan waar het stuk van dekkersj over gaat.

[coned (banned)]

Ergens aan het begin van deze thread heeft Rody dekkersj gequote met een uitstekende uiteenzetting. Of het helemaal antwoord geeft op je vraag weet ik niet, maar had je die toevallig gelezen?

http://www.htforum.nl/yabbse/index.php?topic=92373.msg1531077#msg1531077

Er zit veel waarheid in:

Degenen die al eens aan een ABX-test hebben meegedaan, weten dat het luisteren naar de fragmenten een vermoeiende bezigheid is. Het verhogen van het aantal trials naar bijvoorbeeld 100 is dan ook geen sinecure voor wat betreft het slagen van de test. Gekozen zou kunnen worden om de trials te verdelen over een aantal weken om deze vermoeidheidsverschijnselen tegen te gaan. Vanzelfsprekend moeten dan de andere variabelen van de test hetzelfde worden gehouden: de set, de fragmenten, de luisterruimte en het luisterpanel.

om de betrouwbaarheid te verhogen moet je dus meer trials doen, maar hoe meer trials in sequentie hoe meer experimentator effecten
dus die betrouwbaarheid wordt weer teniet gedaan

maak een protocol wat geen experimentator effecten heeft en dan zijn we er
dus een test waar geen enkele psychologische druk heerst en die kan vaststellen wat sommigen spontaan wel kunnen horen (zonder beïnvloeding door het experiment)

[morca]

Inderdaad, de Panasonic SA-XR receivers staan vrij goed bekend om hun stereo weergave. Ze zijn echter in Nederland wat minder bekend. Maar als je het avs forum erop naleest dan zijn er toch redelijk veel erg positieve gebruikers te vinden.

Uiteraard kan het zat beter, maar dat zal dan ook behoorlijk wat duurder worden, ben ik bang...
Hoewel... Emotiva?  

Maar, oja, SOS...
Het maakt toch helemaal niet uit welke set ik heb?
Vrijwel elke versterker klinkt toch gelijk? Om over dvd-spelers als cd-bron over de analoge uitgang nog maar te zwijgen?


De speakers zouden het er dus vrijwel uitsluitend om doen. En ik denk dat de Onix speakers helemaal zo slecht niet zijn...

inderdaad
koop toch eens een goeie set man  .....................