Waarom de DBT niet werkt...

[Ejorne]

valt géén eer te behalen hier.

Is dat het waar je op uit bent... Dat verklaard inderdaad een hoop. 

Natuurlijk zijn er verschillen die in de dbt niet naar boven komen en wij stellen dan dat die verschilen dus niet waarneembaar (hoorbaar) zijn en dus niet belangrijk. Als je een mp3 analyseert dan verschilt hij meetbaar van een lossless maar dat verschil hoor je niet als je er alleen naar luistert. Dat er dan dus toch een verschil is dat maakt dan niet meer uit. Jouw voorbeeld met de kleuren hamert ook steeds op datzelfde punt van er is verschil naast elkaar maar niet waarneembaar achter elkaar. Er is ook verschil meetbaar maar niet waarneembaar dus niet van belang. Als je in een blindtest b.v. niet het verschil tussen dvd en 720p na elkaar kunt waarnemen dan is dat verschil er wel maar dat maakt dan ook geen zak meer uit. Echter bij 720p en dvd is het ook na elkaar waarneembaar dus dan maakt het wel uit.

Je leest of begrijpt dus kennelijk echt niet wat ik schrijf...

[Raphie]

Is dat het waar je op uit bent... Dat verklaard inderdaad een hoop. 

Je leest of begrijpt dus kennelijk echt niet wat ik schrijf...

Daarmee geef ik aan dat discussie met jou volledig zinloos is, na 3 pagina's Job begrijp je het nog steeds niet.

[Ejorne]

Daarmee geef ik aan dat discussie met jou volledig zinloos is, na 3 pagina's Job begrijp je het nog steeds niet.

Ha, of jíj niet...

Lees ze anders nog eens aandachtig door.

Wellicht voor Icarus ook een goed plan?

[Ejorne]

Daarmee geef ik aan dat discussie met jou volledig zinloos is, na 3 pagina's Job begrijp je het nog steeds niet.

En ik maar denken dat ik dan kennelijk misschien niet erg goed kan verwoorden wat ik bedoel....
Jij maakt er helemaal een merkwaardige kronkel van...

[Icarus314]

Je leest of begrijpt dus kennelijk echt niet wat ik schrijf...

Probeer het dan eens specifieker te maken en niet een uitstapje naar video te doen maar het bij audio te houden. Vertel dan eens precies waarom jij wel in de praktijk van het zoeken naar een component onderscheid kunt maken tussen twee componenten waar een blindtest dat niet kan. Als je toegeeft dat dat onderscheid ook door jou niet gemaakt kan worden (ook al is het er wel in een lab) dan zijn we het toch eens?

Overigens heeft SOS het ook al een keer zeer juist geformulleerd en je om dezelfde preciese formulering gevraagd dan kom je er vanzelf achter waar de kronkel zit en ik denk dat de meesten hier denken dat die bij jouw niet terzake doende voorbeeld met video zit. Is geen schande want het was speciaal bedacht om om de tuin te leiden vrees ik. Gebruik geen woorden als 'de dbt' want die bestaat net zo min als 'de gewone man'. Gebruik geen analogieën want we hebben het niet over metafysica of religie maar over de vraag of we iets kunnen horen. Maak iedere uitspraak meetbaar of geef aan waarom dat (nog) niet kan. Dan hebben we een discussie.

Dezelfde fout wordt ook vaak gemaakt in de filosofie waar men aan dingen een werkelijkheid toekent die de woorden lijken te sugereren. Taal is erg misleidend.

[Raphie]

Denk dat we de discussie maar eens RUMBA moeten maken, dan is die snel afgelopen ipv van dat idiote gezever van Ejorne...

Ejorne, na de drogreden nog meer leesvoer: http://nl.wikipedia.org/wiki/RUMBA

[Job]

Taal is erg misleidend.

Maak je het nou niet allemaal juist nog veel ingewikkelder?

[Midcall]

Dat is onzin. Natuurlijk werken ze. Als de uitkomst je niet zint, moet je niet de test de schuld geven. Ik geloof best dat mensen in ABX testen verschillen horen. Ik geloof best dat sommige mensen in ABX-testen verschillen horen die de meeste andere mensen niet horen. Uiteindelijk is enkel interessant of je zelf het verschil hoort.

Wanneer mensen aangeven verschillen te horen, ook als er niets is gewijzigd, dan is de testmethode toch niet waterdicht en kan je toch geen enkele conclusie trekken uit verdere uitkomsten? De luisteraar, zeg maar je meettool is niet bepaald gecalibreerd om zo maar te zeggen. Okay, de conlusie is dat het menselijk gehoor onbetrouwbaar is, weinig mensen zullen dat bestrijden. Maar op school heb ik geleerd niet onbetrouwbare meetinstrumenten te gebruiken, omdat je uitkomsten dan ook niet betrouwbaar zijn, en dat is nu precies wat je aan het doen bent met een DBT.

[Job]

Wanneer mensen aangeven verschillen te horen, ook als er niets is gewijzigd, dan is de testmethode toch niet waterdicht

Jij oppert nu een ABX waarbij je eigenlijk AAX doet, en waarbij X=A. Dat onderzoek zal nimmer uitwijzen dat de respondent(en) consistent, herhaalbaar aanwijsbaar verschillen zullen kunnen noemen. Immers A=B=X. Je vraagstelling is daarmee niet: horen mensen herhaalbaar aanwijsbaar verschillen tussen A en B, maar de vraag is dan bijvoorbeeld: merken ze wel of niet dat A=B=X? In een ABX onderzoek je niet of mensen zelf menen verschillen te kunnen horen, je vraagt ze die verschillen actief aan te wijzen (Dit is A, dit is B, wat is dit (X)?).

op school heb ik geleerd niet onbetrouwbare meetinstrumenten te gebruiken, omdat je uitkomsten dan ook niet betrouwbaar zijn, en dat is nu precies wat je aan het doen bent met een DBT.

De dbt is niet onbetrouwbaar, en de meetinstrumenten ook niet. Beperkingen in de menselijke waarneming doen er niet toe, je onderzoekt immers of bepaalde verschillen wel of niet herhaalbaar aanwijsbaar zijn bij die waarneming.

De goed opgezette dbt geeft antwoord op een heldere vraag. Zijn respondenten wel of niet in staat herhaalbaar verschillen aan te wijzen tussen A en B. Die respondent kan 1 persoon zijn, dan is de vraag: kan deze persoon wel of niet herhaalbaar de verschillen aanwijzen. Die respondenten kunnen een representatie van een groep zijn (schoolmeesters, mannen, vrouwen, leeftijdsgroepen, stadsbewoners, audioliefhebbers, muzikanten, whatever), en dan zegt het iets over het percentage van die representanten dat wel of niet herhaalbaar de verschillen weet aan te wijzen.

[s0000884]

Maar op school heb ik geleerd niet onbetrouwbare meetinstrumenten te gebruiken, omdat je uitkomsten dan ook niet betrouwbaar zijn, en dat is nu precies wat je aan het doen bent met een DBT.

Ik heb op school geleerd dat de onbetrouwbaarheid van meetinstrumenten te verkleinen is, als iedere meetfout onafhankelijk is van die van een vorige meting, door de meting maar vaak genoeg te herhalen. 1 meting vertelt niets. 200 metingen met een onbetrouwbaar instrument kunnen dan echter nog steeds weldegelijk een beeld geven in hoeverre dit instrument in staat is een verschil te meten. Dan kun je uiteraard nog steeds geen krachtige uitspraken doen, maar je kunt wél zeggen dat als je uit zo'n uitgebreide sessie van metingen al moeilijk een verschil waarneemt, je dit met een enkele meting (zoals je normaal naar muziek luistert) dit zeker (dwz met zeer hoge waarschijnlijkheid) niet doet. Met een DBT bevat 2 elementen:

1. Isoleren van hetgeen je wilt meten en hetgeen waarmee je meet (zodat je weet wat je aan het doen bent).
2. De betrouwbaarheid vergroten door de meting zó vaak te herhalen dat de uitkomst 'significant' is, zoals dat zo mooi heet.

Als je bijv. zegt dat speler A 'meer lucht tussen de instrumenten' creëert dan speler B, dan moet uit een DBT sessie met bijv. 200 metingen (200 keer apart luisteren dus) er een beeld ontstaan dat je speler A relatief luchtiger vindt dan B (dat verschil mag dan heel klein zijn). Als je, bij het luisteren ziet dat het steeds meer uitmiddelt naar 50/50 (beide even luchtig) ...... enz.

[stone56]

Als je bijv. zegt dat speler A 'meer lucht tussen de instrumenten' creëert dan speler B, dan moet uit een DBT sessie met bijv. 200 metingen (200 keer apart luisteren dus) er een beeld ontstaan dat je speler A relatief luchtiger vindt dan B (dat verschil mag dan heel klein zijn). Als je, bij het luisteren ziet dat het steeds meer uitmiddelt naar 50/50 (beide even luchtig) ...... enz.

'meer lucht' lijkt me een heel moeilijke om significant aan te tonen in een abx. Alle kleine verschillen trouwens en dat maakt het verdacht en daarom zoek ik bijvoorbeeld naar oorzaken bij de luisteraar, het luisteren, de test enz.

[Ejorne]

Denk dat we de discussie maar eens RUMBA moeten maken, dan is die snel afgelopen ipv van dat idiote gezever van Ejorne...

Ejorne, na de drogreden nog meer leesvoer: http://nl.wikipedia.org/wiki/RUMBA

Ach ja, natuurlijk hoe kan het ook anders... Je blijft maar door zeveren he? Daarbij andere van gezever beschuldigen.

Maar doe wat je niet laten kunt.

Voor mij heeft dit topic als doel om (voor mij) de betrouwbaarheid van de dbt te achterhalen.
Tot zover heeft mij dit het volgende opgebracht:
1 - de dbt is betrouwbaar voor grotere verschillen -> score die aangeeft dat verschillen ook inderdaad gehoord worden
2 - de dbt is mogelijk niet betrouwbaar voor kleinere verschillen -> score die aangeeft dat verschillen niet gehoord worden
3 - de dbt is betrouwbaar voor vrijwel onmeetbare verschillen. -> score die aangeeft dat verschillen niet gehoord worden.

De onderbouwing voor de zeer waarschijnlijke aanwezigheid van punt 2 heb ik nu vaker dan eens besproken en is voor mij nog steeds niet valide 'onderuit gehaald'.
Rest mij nog 1 ding: Het achterhalen van de grootte van punt 2.

Dus, SOS, wat je ook probeert om mij (of eigenlijk misschien eerder jezelf) belachelijk te maken... het zal geen nut hebben. Pas wanneer er iemand komt met een normale en logische redenatie, zal mij mogelijk het punt doen bijstellen...

[Job]

'meer lucht' lijkt me een heel moeilijke om significant aan te tonen in een abx.

Als je dat luchtverschil in een herhaalde ABX steeds minder precies kunt aanwijzen, dan bewijst dat niet dat het verschil er niet is, maar dat je het niet voldoende kunt waarnemen om het verschil herhaalbaar aan te wijzen.

Dan is de vraag: doet het er toe? Als je besluit: ja, dat doet er voor mij toe. Prima. Vrijheid, blijheid. Maar dat degradeert de test niet tot zinloos.

Nogmaals: een ABX levert geen godsbewijs, een ABX geeft antwoord op een simpele vraag: kun je het horen en dan correct aanwijzen. De conclusie die je daaruit trekt, daar heeft de test niets mee te maken.

[Job]

1 - de dbt is betrouwbaar voor grotere verschillen -> score die aangeeft dat verschillen ook inderdaad gehoord worden
2 - de dbt is mogelijk niet betrouwbaar voor kleinere verschillen -> score die aangeeft dat verschillen niet gehoord worden
3 - de dbt is betrouwbaar voor vrijwel onmeetbare verschillen. -> score die aangeeft dat verschillen niet gehoord worden.

Apekool!

Een correct opgezette en uitgevoerde dbt is betrouwbaar en herhaalbaar met min of meer gelijke resultaten. Maar je meet nu eenmaal niet of er verschillen ZIJN (je meet niet of God bestaat) maar of er verschillen herhaalbaar aanwijsbaar worden WAARGENOMEN (of je God kunt zien).

Als je die verschillen langs de normale wegen niet kunt METEN, en uit een ABX blijkt dat je ze ook niet kunt WAARNEMEN, zouden er nog steeds verschillen kunnen ZIJN. Of die er iets toe doen, is dan de vraag. Aan ieder voor zich het antwoord.

Bij elke test geldt: WAT test je? WAT is je vraagstelling? Dan komt er een resultaat uit, en dat dien je te interpreteren. Dat laatste doet de test niet, dat doet de tester.

Bijvoorbeeld, je laat jezelf door iemand ABX testen op het verschil tussen CD-spelers. Je test een JoekieJoekie en een High End machine. Je scoort 99% en bij herhaling van de test, met doortellende percentages, scoor je 98,97,96,95%, dan kun je veilig stellen dat er een groot, duidelijk aanwijsbaar verschil voor JOU WAARNEEMBAAR is. Neem vervolgens het verschil tussen twee High End spelers. Je scoort 70,60,50%. Dat verschil kun je dan niet groot noemen, maar het is er wel. Aan jou de keuze of dat verschil bepaalt dat je kiest voor 1 van beide spelers.

[stone56]

Een voorbeeld: laatst een kabel bij mij thuis vergeleken en ik kon verschillen waarnemen, bijvoorbeeld meer gedetailleerd hoog. Onzin, autosuggestie wordt er dan gezegd en toon dat maar eens aan in een abx. Dat heeft geen zin, dat is al tig keer uitgeprobeerd. Volgens mij is nog nooit verschil in kabels significant in een abx aangetoond. Dan is het niet raar, gezien eigen luisterervaringen thuis, dat men ook tot de conclusie komt dat er iets niet klopt in de gehele abx situaties.

[Job]

Dan is het niet raar, gezien eigen luisterervaringen thuis, dat men ook tot de conclusie komt dat er iets niet klopt in de gehele abx situaties.

Huh? De ABX-test (die autosuggestie uitsluit) vind je minder betrouwbaar dan de AB-test (die autosuggestie niet uitsluit, maar verder hetzelfde), OMDAT ze een ander resultaten zouden kunnen opleveren?

Als je daadwerkelijk een AB doet en daarna een ABX op jezelf laat uitvoeren, en de resultaten verschillen, dan is de enige variabele in de vergelijking dat wat tussen je oren zit. Punt uit.

Let wel: je moet die ABX dan wel op jezelf laten doen. Of iemand anders het verschil hoort, is voor jou niet relevant.

De test diskwalificeren omdat de uitkomst je niet zint is natuurlijk volstrekt krom.

[s0000884]

'meer lucht' lijkt me een heel moeilijke om significant aan te tonen in een abx. Alle kleine verschillen trouwens

De vraag of het een klein/onhoorbaar verschil is staat volkomen los van het feit dat je het prima blind kunt testen. Je kunt gewoon vragen:

"Nu volgt 200 keer hetzelfde audiofragment. Dit wordt A keer gespeeld door speler X, en (200-A) maal gespeeld door speler Y. Geef bij ieder audiofragment een cijfer voor de luchtigheid"

Aan het einde v/d sessie ga je voor speler Y en speler X alle punten optellen. Als daar een groot verschil tussen zit (dwz significant tov de 200 genomen samples, en hoeveel dit precies is, is makkelijk met wiskunde uit te rekenen) dan ben je klaar. Als beide evenveel punten krijgen, dan ben je ook klaar; je kunt dan blijkbaar geen verschil horen tussen de spelers qua luchtigheid.

[Job]

Als beide evenveel punten krijgen, dan ben je ook klaar

Het wordt pas weer interessant als de score minder helder is. Dan wordt de vraag: hoe significant is het verschil? En uiteindelijk de vraag: hoeveel procent van mijn spaargeld heb ik voor dat verschil over? ;-)

[Midcall]

Ik heb op school geleerd dat de onbetrouwbaarheid van meetinstrumenten te verkleinen is, als iedere meetfout onafhankelijk is van die van een vorige meting, door de meting maar vaak genoeg te herhalen. 1 meting vertelt niets. 200 metingen met een onbetrouwbaar instrument kunnen dan echter nog steeds weldegelijk een beeld geven in hoeverre dit instrument in staat is een verschil te meten. Dan kun je uiteraard nog steeds geen krachtige uitspraken doen, maar je kunt wél zeggen dat als je uit zo'n uitgebreide sessie van metingen al moeilijk een verschil waarneemt, je dit met een enkele meting (zoals je normaal naar muziek luistert) dit zeker (dwz met zeer hoge waarschijnlijkheid) niet doet. Met een DBT bevat 2 elementen:

1. Isoleren van hetgeen je wilt meten en hetgeen waarmee je meet (zodat je weet wat je aan het doen bent).
2. De betrouwbaarheid vergroten door de meting zó vaak te herhalen dat de uitkomst 'significant' is, zoals dat zo mooi heet.

Als je bijv. zegt dat speler A 'meer lucht tussen de instrumenten' creëert dan speler B, dan moet uit een DBT sessie met bijv. 200 metingen (200 keer apart luisteren dus) er een beeld ontstaan dat je speler A relatief luchtiger vindt dan B (dat verschil mag dan heel klein zijn). Als je, bij het luisteren ziet dat het steeds meer uitmiddelt naar 50/50 (beide even luchtig) ...... enz.

Ik ben voor een groot deel met je eens. Maar een bijkomend probleem is dat de mate van onbetrouwbaarheid groter wordt naar mate je meer tests uitvoert, luistermoeheid, gebrek aan concentratie, vervaging van persoonlijke referentie. De toegevoegde waarde van iedere extra test is wordt steeds kleiner en is bij 200 nagenoeg nihil.

[Job]

"Nu volgt 200 keer hetzelfde audiofragment. Dit wordt A keer gespeeld door speler X, en (200-A) maal gespeeld door speler Y. Geef bij ieder audiofragment een cijfer voor de luchtigheid"

Nee dat is niet wat je doet.

1. Dit is het audiofragment afgespeeld op speler A.
2. Dit is hetzelfde audiofragment afgespeeld op speler B.
3. Dit is hetzelfde audiofragment, maar zegt u mijn nou eens of dit speler A of B is?

Da capo al fine, in wisselende volgordes, met toegestaan switchen als je wil.
De vraag is: ben je in staat om consistent aan te wijzen of in de "X"-stap sprake is van speler A of B.

[Job]

luistermoeheid, gebrek aan concentratie, vervaging van persoonlijke referentie.

Dan doe je het toch verspreid over meerdere dagen of weken, met grote tussenpozen? Vandaag een enkele run A, B, X. Morgen uitgerust weer één.
En als de verschillen ZO moeilijk aan te wijzen zijn, volgt weer de vraag: hoeveel doen ze er (voor jou) toe? Maar dat is aan ieder voor zich.

[stone56]

Het gaat om wat je thuis ervaart. Hoor ik consistent een verbetering dan is dat goed. Klinkt het beter dan is het beter. Subjectief? Jazeker en voor mij veel meer zeggend dan wat er in een discutabele testsituatie voorspelbaar naar voren komt.

[Midcall]

Dan doe je het toch verspreid over meerdere dagen of weken, met grote tussenpozen? Vandaag een enkele run A, B, X. Morgen uitgerust weer één.
En als de verschillen ZO moeilijk aan te wijzen zijn, volgt weer de vraag: hoeveel doen ze er (voor jou) toe? Maar dat is aan ieder voor zich.

Nou, dan zijn we in ieder geval zover dat we het er over eens zijn dat er niet even op een middagje een testje geregeld kan worden waarbij we wel even de antwoorden kunnen genereren voor dit dispuut waar men over de hele wereld mee worstelt.

Eindelijk een beetje progressie in dit topic 

[s0000884]

Nee dat is niet wat je doet.

Dat is niet wat jij doet. Jouw test is enkelblind (ABX) ipv dubbelblind (DBT). Als je al de moeite neemt om objectief te testen, doe dat dan dubbelblind om alle onzekerheden uit te sluiten. Het is juist niet de bedoeling dat je op geheugen gaat 'vergelijken', maar iedere sessie onafhankelijk en apart doet, zonder bevangen te zijn of vooroordelen te hebben. Dit zijn allemaal storingen die je het alleen maar moeilijker maken om ontspannen te luisteren zoals je dat thuis ook zou doen als je naar muziek luistert (dan zit je toch ook niet te denken 'lijkt dit op A of op B?') en die zorgen er alleen maar voor dat er discussie blijft bestaan over de geldigheid v/d test.

[Rednaxela]

Het gaat om wat je thuis ervaart. Hoor ik consistent een verbetering dan is dat goed. Klinkt het beter dan is het beter. Subjectief? Jazeker en voor mij veel meer zeggend dan wat er in een discutabele testsituatie voorspelbaar naar voren komt.

Je zult bedoelen:

Het gaat om wat je thuis ervaart. Hoor ik consistent een verbetering dan is dat goed. Klinkt het beter dan is het beter. Subjectief? Jazeker en voor mij veel meer zeggend dan wat er in een discutabele testsituatie voorspelbaar naar voren komt.