Waarom de DBT niet werkt...

[daffy]

Robert Harley -- Fri, 07/11/2008 - 15:35
I should add that I'm not a lone voice questioning the validity of blind listening tests.

Here's a footnote from my AES paper:

daffy

[s0000884]

0.0 % reactie van de diehard abx'ers, persoonlijk vond ik dat  erg vreemd omdat het LEEK alsof ze oprecht opzoek waren naar de fouten in de abx test.

Als men mij aantoont dat er echt iets aan dbt niet deugt (dmv meettechnisch sluitend redeneren) dan ben ik de eerste die daarin meegaat. Echter het verhaal op deze link (inzoomen op 1 toontje van 1.5 k en daar een heel verhaal aan ophangen) gaat (helaas) nergens over.

[s0000884]

my AES paper

Er staat nergens dat zijn verhaal geaccepteerd is in de AES. Gezien het technische niveau van wat hij zelf opschreef in die link kan ik met dat eerlijk gezegd niet voorstellen. Maar goed ik heb er nog niet actief naar gezocht of die staat op de AES site. EDIT: paper gevonden http://www.aes.org/e-lib/browse.cfm?elib=5540. Misschien dat Jacco weet of hier een sluitend/kloppend verhaal in staat (geen zin om 20 dollar voor te betalen en ik ben bang dat het zo'n zweefverhaal is waar eigenlijk niets instaat).

[daffy]

ik ben  bang ?? dat het zo'n zweefverhaal is waar eigenlijk niets instaat.

daffy

[Jimmy Conway]

Dus er zit ook geen verschil tussen Pepsi en Coca-Cola, Jacco?
Want dat merk je dus kennelijk ook niet altijd altijd bij een DBT?

Wie A zegt, moet ook B kunnen zeggen.

[dekkersj]

http://www.avguide.com/forums/blind-listening-tests-are-flawed-editorial helaas werk de link uit dit forumstukje naar de aes papers niet meer, maar ik geloof dat jacco daar toegang toe heeft.

Denk je dat ik daar nog zin in heb na het lezen van dit: "Most such tests, including this new CD vs. high-res comparison, are performed not by disinterested experimenters on a quest for the truth but by partisan hacks on a mission to discredit audiophiles."?

Groet,
Jacco

[Ejorne]

Denk je dat ik daar nog zin in heb na het lezen van dit: "Most such tests, including this new CD vs. high-res comparison, are performed not by disinterested experimenters on a quest for the truth but by partisan hacks on a mission to discredit audiophiles."?

Groet,
Jacco

Als jij je door zo'n zinnetje laat beinvloeden kan ik me voorstellen dat je er geen zin meer in hebt. Maar we kennen je langer dan vandaag, zo'n zinnetje verandert jouw zinnetje niet...   

[dekkersj]

Ik heb de paper inmiddels binnen en het valt mij op dat de auteur er bij voorbaat vanuit gaat dat er verschillen moeten zijn. De methode wordt kennelijk afgerekend op het resultaat wat niet past binnen het kader van de auteur. Daarbij wordt de test als zodanig erg zwart-wit geschetst en het is duidelijk dat de auteur nog nooit een serieuze test gedaan heeft. Of eentje waarbij de luisteraar wel alle controle heeft op hetgeen er gedraaid wordt en vooral ook op de manier waarop en in welke hoedanigheid. Maar ik zal het artikel helemaal doornemen en als mijn mening wijzigt, schrijf ik dat hier neer.

Groet,
Jacco

[Ejorne]

Ik heb de paper inmiddels binnen en het valt mij op dat de auteur er bij voorbaat vanuit gaat dat er verschillen moeten zijn. De methode wordt kennelijk afgerekend op het resultaat wat niet past binnen het kader van de auteur. Daarbij wordt de test als zodanig erg zwart-wit geschetst en het is duidelijk dat de auteur nog nooit een serieuze test gedaan heeft. Of eentje waarbij de luisteraar wel alle controle heeft op hetgeen er gedraaid wordt en vooral ook op de manier waarop en in welke hoedanigheid. Maar ik zal het artikel helemaal doornemen en als mijn mening wijzigt, schrijf ik dat hier neer.

Groet,
Jacco

[dekkersj]

Ik heb het artikel gelezen en het is duidelijk dat de auteur het er niet mee eens is  Er worden geen bewijzen geleverd, slechts suggestieve redenaties. Bovendien zijn de bezwaren niets nieuws, althans niet nieuw voor mij en ik probeer dan ook altijd de nuance bij een ABX aan te geven. Er wordt in het artikel gesteld dat de objectivisten de blind test heel gevoelig vinden, maar in mijn geval zie ik dat anders. Wat ik al eerder heb geschreven is dat het een methode is en die moet je qua invulling aanpassen aan de situatie. Wil je grote claims onderzoeken bij fysiek sterk verschillende testobjecten (bv een versterker van 10k versus 180 euro) kun je best een groepsessie houden. En het resultaat koppelen aan de prestaties van de groep. De auteur van het artikel draait het helemaal om: de verschillen tussen de versterkers is zo groot dat het verschil gehoord moet kunnen worden (want in subjectieve sessies hoort iedereen (meteen) verschil), en de blind test is waardeloos want die verschillen komen er niet uit. Hij werkt de lezer dus op zijn suggestiezenuwen door absurde voorbeelden aan te geven. Hij gaat er alleen straal aan voorbij dat er geen hoorbaar verschil is in de desbetreffende opzet.

Zijn conclusie is dat een blind test nagenoeg waardeloos is, die van mij is dat een blinde test beperkt toepasbaar is. En dat de precieze invulling van een blinde test afhankelijk is van hetgeen je wilt onderzoeken.

Groet,
Jacco

[s0000884]

Er worden geen bewijzen geleverd, slechts suggestieve redenaties. Bovendien zijn de bezwaren niets nieuws, althans niet nieuw voor mij en ik probeer dan ook altijd de nuance bij een ABX aan te geven.

Bedankt dat je deze info even doorgeeft; ik was er al bang voor dat het zoon zweefverhaal is. Verbijsterend dat de AES dit accepteert, doen ze bij mij voor af (20 dollar  grappenmakers). Zonder enig tastbaar bewijs om je stelling te onderbouwen kan iedereen alles zeggen.

Overigens vind ik dat als een DBT goed wordt opgezet (en dát is het moeilijke, niet het testen zelf) en representatief is voor de normale luistersituatie (op het blinde aspect na) deze per definitie geldt zodra statistische significantie wordt verkregen. De uitslag vertelt niet alleen óf je iets hoort, maar hoe goed je iets hoort (55% goed op een hele berg samples is ook significant). Dat kun je nu juist zo mooi in context plaatsen als je eerst claims doet al 'kopverscheurende jitter'. Vaak is echter zo'n test prohibitief lang en levert het 'inkorten' ervan (door bijv. slechts 40 seconden per trail te luisteren) discussies op voornamelijk met leken die geen meettechnische kennis hebben (terwijl de geldigheid v/d DBT zeker niet helemaal door wordt weggespoeld).

[Raphie]

Leuke poging Erjone,

Geef je even een hersenspinsel: hoe komen die reclame boodschappen in de film?!? MONTAGE?!?

dit zijn dus géén microboodschappen maar iets wat zéér gecontroleerd en waarneembaar gemonteerd wordt....

 

[celerontje]

Mij zou het heus wel opvallen als er ineens een rood frame in de film zit.

[Ejorne]

Leuke poging Erjone,

Geef je even een hersenspinsel: hoe komen die reclame boodschappen in de film?!? MONTAGE?!?

dit zijn dus géén microboodschappen maar iets wat zéér gecontroleerd en waarneembaar gemonteerd wordt....

 

Ja, natuurlijk komt dat door montage in een film terecht. Het zou gek zijn als dat door aliens gedaan wordt... Hoewel je dat ook niet kunt uitsluiten...  

Maar je wilt hiermee zeggen dat het waarneembaar is dat een enkele frame tussen de film door wordt getoond? Dat lijkt mij inderdaad zo wanneer er bijvoorbeeld maar 15 frames per seconde worden afgespeeld. Ik weet niet wat de framerate van de betreffende test was. Maar ik weet wel dat het voor de waarnemer kennelijk 'onzichtbaar' was. Wat is de snelheid van onze waarneming? ergens bij de 25beelden per seconde dacht ik toch? Als je een framerate van 30 beelden per seconde neemt dan zou het dus meettechnisch gezien niet waarneembaar zijn. Een dbt zal dit dan ook aantonen lijkt mij. Misschien ligt de snelheid van het oog wat hoger of juist lager. Maar als je daar net boven gaat zitten dan zul je het dus niet meer merken dat er zo'n beeldje tussendoor wordt getoond. Maar zoals ik de test begrijp wordt het dus wel (door onze hersenen) waargenomen...

[celerontje]

Ik doe zelf regelmatig aan 35mm projectie en ik merk het meteen als er een frame beschadigd o.i.d. is.

[Raphie]

begrijp waar je heen wilt

- de verschillen zijn niet significant genoeg om door de primaire zintuigen BEWUST te worden waargenomen, maar de hersenen registreren toch "iets"
- Maar ze zijn wel meetbaar (hoewel bij audio men vaker nullt dan dat er verschillen zijn onder identieke omstandigheden)

Maar waar je vergelijking mank gaat is dat je in een luistertest niet het signaal beinvloed, maar de drager.
Jouw idee is véél interessanter om te kijken of mensen wel gouden oortjes hebben (bijv identieke septup met 2 opnames, waarvan eentje met een boost van 1db op 500hz bijv. bij een Q van 1.5) BEHOORLIJK significant qua meting, maar zeker niet voor iedereen (onder)bewust waarneembaar.

neem dan het feit dat meetbare verschillen tussen kabels miljoenenen malen kleiner zijn dan bovenstaand voorbeeld en trek je conclusie....

[Ejorne]

begrijp waar je heen wilt

- de verschillen zijn niet significant genoeg om door de primaire zintuigen BEWUST te worden waargenomen, maar de hersenen registreren toch "iets"
- Maar ze zijn wel meetbaar (hoewel bij audio men vaker nullt dan dat er verschillen zijn onder identieke omstandigheden)

Maar waar je vergelijking mank gaat is dat je in een luistertest niet het signaal beinvloed, maar de drager.
Jouw idee is véél interessanter om te kijken of mensen wel gouden oortjes hebben (bijv identieke septup met 2 opnames, waarvan eentje met een boost van 1db op 500hz bijv. bij een Q van 1.5) BEHOORLIJK significant qua meting, maar zeker niet voor iedereen (onder)bewust waarneembaar.

neem dan het feit dat meetbare verschillen tussen kabels miljoenenen malen kleiner zijn dan bovenstaand voorbeeld en trek je conclusie....

Ja, ik wil best geloven dat ons gehoor (en ook onze hersenen) niet in staat is om een verschil van 1dB goed te onderscheiden. Maar het waarnemen van geluid is volgens mij dan ook lang niet alleen de luidheid waarmee het wordt afgespeeld. Maar het wel of niet verschil tussen interlinks wil ik verder eigenlijk niet bespreken, daar loopt een ander draadje voor. Laten we het hebben over de dbt als testmiddel...

[s0000884]

Wat is de snelheid van onze waarneming? ergens bij de 25beelden per seconde dacht ik toch? Als je een framerate van 30 beelden per seconde neemt dan zou het dus meettechnisch gezien niet waarneembaar zijn. Een dbt zal dit dan ook aantonen lijkt mij.

Meettechnisch gezien klopt hier niets van. Snelheid waarneming' is geen harde parameter; niet zoals jij hem bedoelt; het is niet zo dat we iets op 25 fps wél en 25.001 fps ineens niet meer waarnemen. Hetzelfde geldt voor 30 fps. Als je op de rand van je kunnen gaat waarnemen, moet je gewoon heel veel waarnemingen doen en resultaten middelen. Hieruit kun je dan genadeloos halen of je het hoort of niet, of dat je het een 'beetje' hoort (en dus wel waarneemt). In jouw geval zal een goede objectieve test dat laatste aantonen en dus niet dat je het niet hoort.

Bij verschillen tussen kabels enz. zijn de verschillen echter zo enorm veel kleiner dan de nauwkeurigheid van ons oor toelaat, dat we het echt *niet* kunnen waarnemen en die uitslag wordt niet altijd geaccepteerd....

[Raphie]

geluid is heel simpel hoor:

tijd * freq * amplitude

je kan van 20Hz tot 22Khz opknippen in 21.980 stapjes van 1Hz.
bij elk geluid wat jij hoort zijn er een aantal frequenties die worden aangesproken en een bepaalde amplitude hebben
over het tijdsdomein werk je met een samplefrequentie welke aangeeft hoevaak per tijdseenheid er een nieuwe sample / bemonstering gemaakt wordt.

Hoe je kan zeggen dat Db's er bij geluid niet toe doen?!? Db's zijn er in audio overal. jij doelt op Dbfs, maar dat heeft meer te maken met absoluut volume.

[s0000884]

- de verschillen zijn niet significant genoeg om door de primaire zintuigen BEWUST te worden waargenomen, maar de hersenen registreren toch "iets"

Als dit zo is, is dit met een DBT perfect aan te tonen. Ook die onbewuste meting is een METING. Die kun je dus met een DBT overdoen/recreëren. De truuk is om dan niet 1 keer maar bijv. 30 keer te meten. Zit het aantal foute waarnemingen ver van de 50% af, dan kun je daaruit dus concluderen dat je het wél kunt waarnemen.

[s0000884]

jij doelt op Dbfs, maar dat heeft meer te maken met absoluut volume.

fps = frames per second. Ik doelde helemaal niet op geluid (voor het geval je inging op mijn post). post was niet nodig.

[Raphie]

Als dit zo is, is dit met een DBT perfect aan te tonen. Ook die onbewuste meting is een METING. Die kun je dus met een DBT overdoen/recreëren. De truuk is om dan niet 1 keer maar bijv. 30 keer te meten. Zit het aantal foute waarnemingen ver van de 50% af, dan kun je daaruit dus concluderen dat je het wél kunt waarnemen.

ééns en 100% mijn punt :-)

[Raphie]

fps = frames per second. Ik doelde helemaal niet op geluid.

ik had het tegen Erjone, ik laat de gehele FPS analogie sowieso varen, straks moet ik hem nog SMPTE gaan uitleggen 

[Midcall]

DBT werkt NOOIT als verschillen relatief klein zijn. Ons geheugen is niet in staat om snel achter elkaar kleine verschillen te duiden, daar kunnen we nu eenmaal niets aan doen, foutje in de schepping zeg maar. Dat is niet alleen met audio zo, maar dat werkt met bijna alles zo denk ik. Zolang we een duidelijk referentiekader hebben gaat het goed, maar als dat referentiekader doelbewust wordt vertroebelt door constant kleine wijzigingen hierin aan te brengen gaat het mis, dan weten we het niet meer.

Als je van twee stenen moet bepalen welke het zwaarste is til je eerst de ene op, zeg 20kg, vervolgens de tweede die 30kg weegt en dan kom je er snel achter welke je makkelijker omhoog kreeg. Doen we hetzelfde expiriment maar dan met een steen van 30kg en een steen van 30,1 kilo, dan wordt het plots heel lastig. Ik kan me me echter voorstellen dat als je een jaar lang dagelijks 100 keer een steen moet tillen van 30 kg en er zit er plots eentje bij van 30,1kg je dit wel zal merken, je bent immers gewend dat iets altijd precies 30,0 kg weegt en alles wat afwijkt van wat je gewend bent merk je dan makkelijker op. Zodra die gewenning verdwenen is, kunnen wij veel minder makkelijk wijzigingen waarnemen, ons referentiekader is dan te vertroebelt geworden, dus stel dat hij een jaar lang willekeurig stenen van 30 en 30,1 kilo moet tillen dan kan hij ook niet meer exact duiden welke nu zwaarder is, allemaal ongeveer 30kg wordt het dan.

Verschillen tussen kabels zijn klein (de meetverschillen zijn ook klein), dus als je die veel wisselt vervaagt je referentiekader (geheugen) en kan je op een gegeven moment in een DBT geen verschillen meer vaststellen. Echter kan je bij de eerste wissel in 1 keer de twee meestal eenvoudiger onderscheiden (referentiekader is dan nog scherp), vandaar dat veel mensen heel snel een conclusie trekken of kabel x wel of geen verbetering is in hun set.

Dit opschrijvende kom ik bij mijzelf tot de conclusie dat een DBT wel zou moeten werken, mits je per kabel (of ander testobject) zeer lange tijd (minstens een periode van weken) zou mogen beluisteren/testen voor je een wissel (of niet, het is immers DBT) doet.

[s0000884]

DBT werkt NOOIT als verschillen relatief klein zijn.

Als je bedoelt 'klein maar wel hoorbaar in niet-blinde tests, dan klopt daar niets van. Herhaal de meting vaak genoeg en bepaal de correllatie tussen de meting (jouw luisterervaring) en de werkelijkheid (welk toestel speelt er) en deze gaat slechts naar 50% (net zoveel goed als fout, puur gokken dus) als je ook daadwerkelijk geen verschil hoort (dus een onhoorbaar klein verschil). Ieder verschil (hoe klein ook) dat écht hoorbaar is, zal in een DBT naar voren komen als hoorbaar (indien de DBT goed is opgezet). Het is dan niet feilloos hoorbaar (soms hoor je het wel en soms niet) maar dat betekent niet dat het niet meer met een DBT te evalueren is.