MP3 / Lossless vergelijk

[Achiel]

Iets soortgelijks ook al eens gedaan op het werk, echter iets andere opzet maar misschien ook wel interessant. We hadden 5 verschillende nummers, elk nummer werd een keer omgezet naar "mp3" of ander formaat en weer terug naar een .wav en het origineel werd op de cd gezet. Aan de luisteraar de eer om te zeggen welke van de 2 gecomprimeerd is geweest dus van muziekstuk 1, de eerste of de tweede track en zo vijf maal.

Hopelijk is de methode begrijpbaar bij deze uitleg.

[Koen K]

@ Roderick: Dat aanbod grijp ik met beide handen aan. Altijd leuk om te weten natuurlijk.

[PeterPan]

Deze lijken mij interessant, aangezien het veelgebruikte bitrates zijn:

128 MP3 VBR
128 AAC VBR
256 AAC VBR (o.a. iTunes Store)
320 MP3 CBR (o.a. Amazon)
WAV/FLAC/ALAC (allemaal identiek, daar hoef je geen luistertest voor te doen).

Verder zou ik niet teveel verschillende (max 4?) opties erin doen, zodat je lekker veel trials per bitrate kunt doen en zo meer power in de resultaten krijgt.

Dit lijken me zeer zinnige bitrates, misschien met uitzondering van 128 MP3 VBR maar die is wel leuk om er in te houden omdat iedereen dat wel moet horen.

Verder zou ik voor willen stellen:
LAME V0 (~245 VBR) de standaard op sites als OiNK (R.I.P.) what.cd e.d.
LAME V2 (~190 VBR) de standaard van de 'scene' die veel te vinden zijn op Usenet en publieke torrent sites.

[Rody]

Het lijkt mij handig om samples van max 30 s te nemen in plaats van het hele nummer, anders is het aantal trials per codec / bitrate erg laag en de tijd die je er mee bezig bent erg lang.

[Koen K]

Wie daar behoefte aan heeft kan de samples zelf inkorten of van de "scan" mode van zijn CD-speler gebruikmaken. Een veelgehoorde klacht bij blinde tests is dat ze niet zoals 'echt' luisteren zijn, en het oogpunt van deze test is dat 'ie blind is, maar toch hetzelfde uitgevoerd kan worden als bij normaal luisteren het geval zou zijn.

@ Peterpan: Dank voor de input!

[Midcall]

Omdat deze test grote vormen lijkt te krijgen en er hierdoor relatief veel waarde aan gehecht kan worden lijkt het me ook geen slecht idee om de testgegevens vooraf bij een ander niet gelieerd persoon te deponeren met een strikte geheimhoudingsplicht. Dat maakt de test ook makkelijker controleerbaar. Overigens zullen algemene resultaten niet zoveel zeggen, er hoeft maar 1 van de deelnemers alles goed te hebben om aan te tonen dat er hoorbare verschillen zijn tussen uncompressed en compressed audio en daarmee zijn alle overige testresultaten irrelevant geworden.

Verder moet je gewoon hele nummers op de cd zetten denk ik, als mensen in 30 seconden de klus kunnen klaren is dat toch prima, er zit een FW button op ieder afstandsbediening van een cd-speler.

[Koen K]

Vertrouw je me niet? Maar het is goed hoor, bij wie wil je dat ik de gegevens drop?

[PeterPan]

Je kunt natuurlijk ook en de volledige nummers, en een kort fragment op de CD zetten mits daar voldoende ruimte voor is.
Wel even opletten dat je de fragmenten uit de van mp3 weer naar PCM geconverteerde bestanden knipt en niet uit de bron PCM en apart encoderen want dan krijg je een hogere gemiddelde bitrate op het fragment (in het geval van VBR).

Maar goed, ik denk dat Koen zijn zaakjes wel prima op orde heeft.

[B.J.]

Omdat deze test grote vormen lijkt te krijgen en er hierdoor relatief veel waarde aan gehecht kan worden lijkt het me ook geen slecht idee om de testgegevens vooraf bij een ander niet gelieerd persoon te deponeren met een strikte geheimhoudingsplicht. Dat maakt de test ook makkelijker controleerbaar. Overigens zullen algemene resultaten niet zoveel zeggen, er hoeft maar 1 van de deelnemers alles goed te hebben om aan te tonen dat er hoorbare verschillen zijn tussen uncompressed en compressed audio en daarmee zijn alle overige testresultaten irrelevant geworden.

Verder moet je gewoon hele nummers op de cd zetten denk ik, als mensen in 30 seconden de klus kunnen klaren is dat toch prima, er zit een FW button op ieder afstandsbediening van een cd-speler.

1ste punt niet mee eens, het is gewoon leuk voor jezelf of je het wel of niet hoort. Verder niks. Koen kan prima de gegevens ontvangen.
2de punt mee eens

[Rednaxela]

1ste punt niet mee eens, het is gewoon leuk voor jezelf of je het wel of niet hoort. Verder niks. Koen kan prima de gegevens ontvangen.

Lijkt me ook, zeker voor een eerste keer. Als de resultaten echt groundbreaking news zijn en de integriteit van Koen ter discussie gesteld moet worden, doe je het toch nog een keertje over met een notaris erbij?

[Zee]

.......Overigens zullen algemene resultaten niet zoveel zeggen, er hoeft maar 1 van de deelnemers alles goed te hebben om aan te tonen dat er hoorbare verschillen zijn tussen uncompressed en compressed audio en daarmee zijn alle overige testresultaten irrelevant geworden.
...

Dit is natuurlijk niet juist. want stel dat het verschil voor niemand te horen is (bij geen enkele bitrate) en iedereen zou maar wat gokken. De resultaten zullen dan volgens de Gauss kromme (Normaalverdeling) verdeeld zijn en er zullen dus ook mensen zijn die 'toevallig' alles goed hebben gegokt.

[Rednaxela]

Dit is natuurlijk niet juist. want stel dat het verschil voor niemand te horen is (bij geen enkele bitrate) en iedereen zou maar wat gokken. De resultaten zullen dan volgens de Gauss kromme (Normaalverdeling) verdeeld zijn en er zullen dus ook mensen zijn die 'toevallig' alles goed hebben gegokt.

Zoiets dacht ik ook, maar is de betekenis van een goede inzending niet afhankelijk van het aantal deelnemers en het aantal mogelijke uitkomsten? Alvast excuses voor deze lekenvraag, maar het antwoord lijkt me van belang voor deze test.

[chansig]

Ga het gewoon voor de leuk doen als er iets schokkends uitkomt kan je het altijd nog wetenschappelijk verantwoorder gaan aanpakken..

Gr Hans

[Rednaxela]

Ga het gewoon voor de leuk doen als er iets schokkends uitkomt kan je het altijd nog wetenschappelijk verantwoorder gaan aanpakken..

Koen spreekt in de topicstart van een vergelijkende test. Van alle identificaties de slag maken naar wat je wilde vergelijken, vraagt gewoon wat analyse die je op de juiste manier moet doen. Volgens mij is dat wel te overzien en hoeft dat het 'voor de leuk' niet in de weg te staan. Anders kun je het altijd nog uitbesteden aan een statisticus. Die zit vast wel in de zaal.

[Midcall]

Dit is natuurlijk niet juist. want stel dat het verschil voor niemand te horen is (bij geen enkele bitrate) en iedereen zou maar wat gokken. De resultaten zullen dan volgens de Gauss kromme (Normaalverdeling) verdeeld zijn en er zullen dus ook mensen zijn die 'toevallig' alles goed hebben gegokt.

Vreemde gedachtengang. Je onderzoekt of iets hoorbaar is. De test zelf moet de legitimiteit van de test bepalen, niet het resultaat van die test. Als iemand dus een 100% score haalt moet de conclusie zijn dat er dus verschil hoorbaar is, elke andere conclusie betekent dat de test niet goed genoeg was en was deze bij voorbaat zinloos was. Nouja, niet helemaal zinloos, iedere individuele testpersoon weet straks voor zichzelf of hij verschil waarneemt en dat is reden genoeg om er toch aan mee te doen. Trek alleen niet te veel conclusies aan je eigen uitslag volgens Zee, want hoe meer je mede-luisteraars in het land het foute antwoord hebben gegeven, des te onbetrouwbaarder is je eigen waarneming geweest 

Maar mag ik het ook omdraaien, wanneer acht jij bewezen dat er verschil waarneembaar is? Wil wel graag van te voren weten bij welke uitslag welke conlusie getrokken wordt.

[Midcall]

Zoiets dacht ik ook, maar is de betekenis van een goede inzending niet afhankelijk van het aantal deelnemers en het aantal mogelijke uitkomsten? Alvast excuses voor deze lekenvraag, maar het antwoord lijkt me van belang voor deze test.

De goede inzending kan toch onmogelijk van waarde veranderen door het aantal deelnemers? Het waarnemingsresultaat die ten grondslag ligt aan de inzending wijzigt toch niet door de hoeveelheid medeforumers in den landen die hetzelfde proberen te doen?

[oud_account_1]

De goede inzending kan toch onmogelijk van waarde veranderen door het aantal deelnemers? Het waarnemingsresultaat die ten grondslag ligt aan de inzending wijzigt toch niet door de hoeveelheid medeforumers in den landen die hetzelfde proberen te doen?

In de ogen van sommigen wel...
Die gaan er n.l. vanuit dat je een aap bent omdat het jou wel gelukt is de bijbel te schrijven terwijl het anderen niet gelukt is.

[Rednaxela]

De goede inzending kan toch onmogelijk van waarde veranderen door het aantal deelnemers? Het waarnemingsresultaat die ten grondslag ligt aan de inzending wijzigt toch niet door de hoeveelheid medeforumers in den landen die hetzelfde proberen te doen?

Wat volgens mij moet gebeuren nadat Koen alle inzendingen binnen heeft, is die inzendingen scoren en die scores omzetten naar een conclusie over de hoorbaarheid van het verschil. Daarbij moet Koen rekening houden met gokken. Ongeacht of jij met je gouden oren je kloppende inzending hebt opgesteld.

Stel, Koen krijgt drie kloppende inzendingen binnen. Hoe moet hij vaststellen dat dit gokwerk was of luisterwerk? Gevoelsmatig zeg ik: als er zestienmiljoen andere inzendingen zijn liggen die drie gewoon ergens in de curve van Zee op de juiste plek, meer niet. Maar als het aantal mogelijke uitkomsten 34⁶⁵ is, zou ik daarentegen weer zeggen: drie keer helemaal correct, dat kan haast geen gokken zijn.

Maar nogmaals, ik heb hier absoluut geen kaas van gegeten. Dat zal ook wel te zien zijn. Ik laat me graag bijpraten door een statisticus.

Maar mag ik het ook omdraaien, wanneer acht jij bewezen dat er verschil waarneembaar is?

Dat lijkt me hier inderdaad de hamvraag.

[frank2]

Ik denk ben er van overtuigd dat er op sommige sets niet alle verschillen hoorbaar zullen zijn gewoon omdat de set die verschillen niet kan weergeven. Dus om daar de conclusie uit te trekken dat sommigen goed gegokt hebben slaat eerlijk gezegd nergens op.
Sets met een hoog oplossend vermogen wat door de speakers weergegeven kan worden heeft niet iedereen, simpel gezegd hoe duurder hoe beter in dit geval. Ik denk dat op speakers van 20.000 euro het beter hoorbaar zal zijn dan op speakers van 800 euro.
Dat neemt niet weg dat je ook nog als mens in staat moet zijn om die verschillen te horen, maw. geen gehoorbeschadiging of ivm leeftijd een verminderd gehoor vermogen.

Er zijn gewoon zeer veel variabelen, maar als Koen kan zeggen dat 90% het niet hoort op z'n set van 500 euro en 10% het niet hoort op z'n set van 40.000 euro kijk dan kun je meer zeggen (ter vergelijk gewoon fictieve getallen, puur als illustratie)

[chansig]

Spannend ik ben benieuwd wat de uitkomst gaat zijn van de verschillende mensen. Ik ben bang dat iedereen namelijk een prut set heeft.

Gr Hans

[Rody]

Wie een prut set heeft wordt pas achteraf bepaald: de sets van degenen die geen verschil hebben gehoord

[Kwabbernoot]

Ik dacht dat we gewoon effe gezellig een testje gingen doen. Hmmm, hoe heb ik het kunnen denken. Dom natuurlijk.

Groeten...

[chansig]

Ik vind het wel jammer dat ik te laat was..dus als je je plaats wilt inruilen dan stel ik me beschikbaar. Ik heb een prut set en slechte oren dus bij mij is de uitkomst al bekend...

Gr Hans

[Rody]

Om het geheugen even op te frissen...

Beste lezer,

Dit achtergrondartikel zal gaan over een mogelijkheid om het onderscheidend vermogen van de ABX-test te verbeteren. Duidelijk zal worden dat "het aantal pogingen tot succes" of "trials" hierbij van cruciaal belang is. Een belangrijke aanname in dit verhaal is dat de test uitgevoerd wordt met het beste wat er is. Dus er is geen beperking in de set waarmee getest wordt, geen beperking mbt de lengte van de fragmenten, de deelnemers zijn optimaal getraind, etc. Kortom, als er een verschil is, wordt dit gegarandeerd gedetecteerd, mits het aantal trials voldoende is. Met andere woorden, de test wordt geïdealiseerd met uitzondering van het aantal pogingen tot succes.

Om het geheugen even op te frissen, zetten we een aantal uitgangspunten van de ABX-test nog even kort uiteen. Op basis van een aantal trials, waarin de deelnemers moeten kiezen of X in hun beleving door A of door B wordt gerepresenteerd, wordt statistisch getoetst of er wel of geen verschil is tussen A en B. Formeel schrijven we dat als volgt op:

• Nulhypothese: er is geen verschil hoorbaar
• Alternatieve hypothese: er is wel verschil hoorbaar

Van belang is dat er bij iedere statistische toets een kans is om de nulhypothese onterecht te verwerpen (type I fout) en om de nulhypothese onterecht niet te verwerpen (type II fout). Uitgaande van het feit dat de luisteraar uit slechts twee alternatieven moet kiezen, A of B, wordt de kansverdeling wiskundig beschreven door de zogenaamde binomiale verdeling. De eerste twee momenten van deze verdeling zijn (hier zijn meer achtergronden te vinden):

• het gemiddelde = n*p
• de variantie = n*p*(1 - p)

Waarbij n het aantal trials van de test is en dus het grote vraagteken in dit artikel. De p is de kans op succes in het experiment. Het gemiddelde is een zogenaamde "centrummaat" en de variantie een "spreidingsmaat". De variantie geeft daarmee aan hoe verspreid de uitkomsten rond het gemiddelde te vinden zijn. Om goed te kunnen rekenen aan dit model, is er voor gekozen om de binomiale verdeling te benaderen met de Normale- of Gaussiche verdeling. Dat mag wanneer het gemiddelde en de variantie groter zijn dan 5. Voor kleinere en grotere waarden van p is de binomiale verdeling te scheef om door de "symmetrische" Normale verdeling goed te kunnen worden benaderd.

Een belangrijk verschil is dat de binomiale verdeling een discrete verdeling is en de Normale verdeling een continue. Discreet houdt in dat het aantal pogingen bestaat uit gehele of discrete getallen. De grafiek van de binomiale verdeling zal daarom een trapvorm hebben, terwijl de normale verdeling een vloeiende lijn zal laten zien.

Om een zo hoog mogelijk onderscheidend vermogen in de toets te hebben, is het van belang dat de kansverdeling onder de nulhypothese en de kansverdeling onder de alternatieve hypothese (1) zo ver mogelijk uit elkaar liggen en (2) zo verschillend mogelijk van vorm zijn. Omdat de nulhypothese uitgaat van de situatie dat er geen verschil is, wordt deze kansverdeling gekenmerkt door een mooie symmetrische "bel" waarbij er 50% kans is dat er wel een verschil wordt gehoord en 50% kans dat er geen verschil wordt gehoord. Onder de alternatieve hypothese hopen we op de zeer gunstigste situatie dat in 90% van de trials een verschil wordt waargenomen.

In de onderstaande figuur zijn beide kansverdelingen weergegeven (voor n = 10). Eigenlijk is de kansverdeling van de alternatieve hypothese te scheef om normaal te kunnen worden benaderd, maar het maakt wel duidelijk hoe de kansverdeling zich tot elkaar verhouden.

De blauwe curve is de kansverdeling onder de nulhypothese, dat wil zeggen het geval er geen verschil te horen is. De oppervlakte onder de curve is gelijk aan 1 of 100% (logisch). In formulevorm:

De rode curve is de kansverdeling onder de alternatieve hypothese, dat wil zeggen als er wel een verschil te horen is. Ook hier is de oppervlakte onder de curve netjes 1. De variantie is 2 keer genomen om het verlies te compenseren dat er maar de helft van de hoed is gebruikt vanwege de het feit dat hier de binomiale verdeling zich slecht laat benaderen door de normale verdeling. In formulevorm is de rode curve:

Overigens kan de vorm van de rode curve naar believen gewijzigd worden, het principe blijft gelijk. Alleen de uitkomsten kunnen veranderen.

Wat nu opvalt, is de zeer grote overlap tussen de beide curves. Deze overlap sluier vertroebelt de uitkomst en is de oorzaak van het lage onderscheidend vermogen en de hoge type II fout van de toets. Met andere woorden, door de sterke overlap is de kans zeer groot dat er onterecht wordt geconcludeerd dat er geen verschillen zijn. De oppervlakte van hetgeen de beide curves gemeen hebben, is de type II fout. Het zal blijken dat het verhogen van het aantal trials dè remedie is om dit probleem adequaat aan te pakken.

Overigens kan de type I fout ook in de figuur worden opgenomen. De type I fout of "significance level" is gelijk aan de kans die wij onszelf durven te geven dat de goede uitkomst van een trial ook door gokken kan worden behaald. Deze fout wordt weergegeven in de beide uitlopende staarten van de blauwe curve en we kunnen hier bijvoorbeeld 0,05 of 5% voor nemen. Nu wordt ook duidelijk dat er een verband bestaat tussen de type I en de type II fout: hoe kleiner de kans op een type I fout, hoe groter de kans op een type II fout. Maar laten we nog wat rekenen aan de type II fout, wat overigens in Mathematica gedaan is, en waarbij we de type I fout laten voor wat die is.

Het snijpunt van de blauwe en van de rode curve is gevonden door het oplossen van een stelsel en is aangegeven in de volgende figuur:

De oppervlakte is dan de som van uitkomsten bij "Out[13]" en "Out[14]":

Deze oppervlakte (alfa in de volgende formule) is vervolgens een gewenste grootheid, bv 0,05 of 0,01. Hangt af van de wens die er is met betrekking tot de grootte van de type II fout. Het aantal trials als functie van deze alfa wordt dan

Of met een aantal standaardwaarden voor alfa:

• 0,1: 31 trials
• 0,05: 41 trials
• 0,01: 67 trials
• 0,001: 105 trials

Wat we zien is dat het aantal trials van zeer grote invloed is op de type II fout: hoe groter het aantal trials, hoe lager de kans op een type 2 fout en hoe onderscheidender de toets of ABX-test kan worden uitgevoerd. Het verdrievoudigen van het aantal trials leidt ertoe dat de kans op een type II fout met een factor 100 afneemt. Degenen die al eens aan een ABX-test hebben meegedaan, weten dat het luisteren naar de fragmenten een vermoeiende bezigheid is. Het verhogen van het aantal trials naar bijvoorbeeld 100 is dan ook geen sinecure voor wat betreft het slagen van de test. Gekozen zou kunnen worden om de trials te verdelen over een aantal weken om deze vermoeidheidsverschijnselen tegen te gaan. Vanzelfsprekend moeten dan de andere variabelen van de test hetzelfde worden gehouden: de set, de fragmenten, de luisterruimte en het luisterpanel.

Groet,

Jacco
Tirillo

[Kwabbernoot]

Jacco! Jongens, heb ik zijn schrijfsels gemist. 

@Hans, helaas pindakaas. Als ik een gratis cd-tje van Koen kan krijgen laat ik zo'n kans natuurlijk niet lopen. 

Ik wil de mijne wel kopiëren en jou ook een kopie sturen.

Groeten...