Waarom de DBT niet werkt...

[Ejorne]

Over het volgende: Dit is niet bedoeld om nieuwe waarheden te brengen of bestaande theorieën over boord te gooien. Het is enkel een ingeving die in mij opkwam, die ik even wil delen en waarop uiteraard geschoten mag worden... Mij lijkt het geloofwaardig:

We weten allemaal dat er verschillen bestaan tussen interlinks, versterkers, cd-spelers, voedingskabels, cd's, speakers en noem maar op...
Maar voornamelijk zal dat allemaal onder de menselijke gehoorgrens vallen, volgens de 'scep'. De 'believer' zegt dit (allemaal) wel waar te kunnen nemen.

Echter keer op keer tonen DBT's aan dat de scep toch wel gelijk lijkt te hebben. Maar hoe betrouwbaar is nu zo'n DBT?

Ogen en oren zijn erg eenvoudig te bedotten. Zo heb je voorbeelden waarbij je de illusie hebt dat lijnen krom zijn terwijl ze kaarsrecht zijn, of de welbekende doorlopende trap. Zo kun je ook een compleet orkest laten spelen onder een ander stuk muziek zonder dat iemand dat waar weet te nemen.

Die gedachte bracht me op een experiment waarover ik eens gelezen heb. Het betrof een stel personen die, zonder dat ze het te weten kregen, zeer kortstondige beelden te zien kregen van merknamen. Deze beelden werden "onzichtbaar" getoond tussen een ander stuk film. Na afloop werden vragen afgenomen. Het kwam er op neer dat mensen beïnvloed waren in hun antwoorden door die flitsbeelden. Deze techniek is volgens mij ook verboden toe te passen voor reclamedoeleinden...

Deze flitsbeelden zullen in een DBT (nou ja, een dbt over een beeldend onderwerp is natuurlijk een beetje vreemd   ) dus waarschijnlijk niet opgemerkt worden. Maar toch zijn ze waargenomen...

Zou dit ook niet ongeveer zo gelden voor ons gehoor? We kunnen verschillen niet/moeilijk in een DBT aantonen. Maar de aanwezige verschillen hebben mogelijk wel effect op hoe wij de muziek ervaren en we zullen dus misschien toch beïnvloed worden door deze "niet waarneembare" verschillen. Dit resulteert in situaties waarbij iemand zeeeer zeker weet dat er verschil zit tussen de door hem gebruikte interlinks terwijl dat niet in de DBT aangetoond kan worden. Toch heeft het verschil in zoverre invloed dat de betreffende persoon na een tijdje of in een rustige omgeving/gemoedstoestand, toch de verschillen 100% weet te bevestigen...

[Kjelt]

Gaan we weer 
Uit de kwantumfysica is allang aangetoond dat als er een waarnemer aanwezig is bij een experiment dat deze de uitkomst van het experiment beinvloed.
Als iemand kwadrabiljoen euro voor een upgrade heeft uitgegeven en daar zeer enthousiast over is (zou ik ook wezen als ik zoveel geld geinvesteerd had  ) laat hem daar lekker enthousiast over zijn ,
maar laat hem jou zelf niet overtuigen dat het voor jou ook een upgrade is, oftewel luister zelf en oordeel zelf en laat je niet beinvloeden door wat anderen zeggen. Volgens mij zijn alle discussies dan uit de lucht want niemand kan jou vertellen wat je wel of niet hoort/waarneemt 

[Ejorne]

Gaan we weer  

Nee laten we dat nou juist niet doen!
Discussies over wellus nietus hoorbaar of niet hebben we al vaak gehad inderdaad.
Maar wie zegt dat je deze discussie hier nu weer moet gaan voeren?
Ik wil het over de DBT hebben, niet over wel of geen verschillen in interlinks of voedingskabels of whatever...

[s0000884]

Een DBT werkt, en heeft altijd gewerkt in alle takken van de wetenschap waarbij men mensen moest inzetten als meetinstrumenten. Smaakbelevenis voor eten, testen van medicijnen enz. Het zou wel heel gek zijn als slechts voor audio dit niet opgaat. De argumenten tegen de DBT onstaan door onkunde over objectief meten. Dat is helemaal niet zo gek, want meettechniek is een vak dat behoorlijk wat kunde en inzicht vergt dat veel mensen nu eenmaal niet hebben. Zomaar een goede audio-DBT opzetten is dan ook een enorme opgave als mensen die de DBT niet snappen eraan meedoen. Dat levert discussies op die niet nodig zijn als iedereen inzicht in objectief meten zou hebben. Ik zal even de elementen opsommen die een objectieve test voor luisteren nodig heeft.

1. Zekerheid dat alleen het verschil dat we willen waarnemen wordt opgenomen in de test. Dit betekent alle andere zaken hetzelfde laten, bijv. als je 2 CD spelers vergelijkt, de beide uitgangen zeer exact gelijk calibreren zodat ze even hard staan. Het menselijk gehoor reageert op volumeverschillen, die de test zullen verstoren als we iets anders dan volumeverschillen willen meten met onze oren.
2. Wegnemen van de gokkans. Dit houdt in dat je niet wilt dat de kans dat je 'goed gokt' ervoor zorgt dat het lijkt alsof je iets kunt horen wat je niet hoort. Dit doe je door de proef heel vaak te herhalen. Hier is wiskunde aan gerelateerd.
3. Voor een goede test is het noodzakelijk dat de toestand waarin het meetapparaat (ons oor) zich bevindt, iedere keer dezelfde is aan het begin van een nieuwe meting (punt 2 geeft aan dat die meting vaak herhaald moet worden). Om dit te garanderen moet je flink wat tijd tussen de metingen doen, en iedere meting (luistermoment) lang laten lopen zodat je oren in 'steady-state' zijn als de meting wordt gedaan. Om het duidelijk te maken een extreem voorbeeld: stel je luistert keihard, dan ben je bij de volgende sessie half doof en hoor je een ander geluid, maar is dus weer een verschil dat we niet willen meten. Hierdoor kost goed testen dus enorm veel tijd.

Houd je je aan deze 3 punten, dan werkt de DBT in die zin dat:

1. Als je een verschil écht kunt horen, dit ALTIJD naar voren zal komen in deze DBT. Tenzij je doelbewust de test saboteert door te doen alsof je het verschil niet hoort oid. Het wordt zichtbaar  als je maar vaak genoeg luistert, dan wordt de foutenkans namelijk een percentage ANDERS dan 50%. Bij 100% fout of 0% fout hoor je het verschil feilloos, bij 70% fout hoor je het verschil 'een beetje'. Echter hoe dichter dit percentage de 50% nadert, hoe meer tests nodig zijn om die 'gokkans' weg te halen (dat is weer die wiskunde van zonet).
2. Als je een verschil niet kunt horen, dit door de DBT zichtbaar wordt gemaakt in die zin, dat hoe méér luistermomenten je doet, hoe dichter het aantal fouten dat je maakt de 50% zal naderen.

Er is nog een discussiepunt over het geheugeneffect van een de mens. Vaak wordt gezegd dat je snel moet kunnen schakelen tussen A en B zodat je direct kunt gaan vergelijken. Dit heeft 1 voordeel en dat is dat je een heel klein hoorbaar verschil op die manier heel snel kan constateren, omdat je geheugen dan ervoor zorgt dat je meer gegevens onthoudt van 1 meting. Echter dat kleine hoorbare verschil was ook op bovenstaande langzame manier hoorbaar te maken, als je maar vaak genoeg luistert (genoeg meetpunten neemt) het kost dan alleen meer tijd.

[s0000884]

Deze flitsbeelden zullen in een DBT (nou ja, een dbt over een beeldend onderwerp is natuurlijk een beetje vreemd   ) dus waarschijnlijk niet opgemerkt worden.

Als je de test goed opzet uiteraard wel. Eerste een verschil definiëren; bijv. zie je een flitsbeeld (kan ook zijn dat er geen flitsbeeld is), zo ja stond er de merknaam Canon in of Nikon (3 mogelijkheden dus)? Je kunt ook wat anders verzinnen uiteraard, misschien een vraag die niets met die merknamen te maken heeft maar waarvan het antwoord toch van invloed is op hetgeen werd getoond zoals je zelf beschreef. Herhaal de test zo vaak als nodig voor een betrouwbare uitslag, en áls men de merknamen waarneemt zoals je eerder beschreef, zullen ze dat in deze test net zo doen. Je recreëert gewoon dezelfde toestand.

[Ejorne]

We weten onderhand wel het 'hoe en wat' omtrent de uitvoering van een dbt. Dat er mensen zijn die beweren dat dit de enige juiste test is, is ook niet onbekend. Maar je zegt eigenlijk niets nieuws. Het is een opsomming over feiten bekendheden van het principe DBT. Ik probeer juist aan te tonen dat dit lang niet latijd hoeft te werken, ondanks dat de wetenschap een dbt soms wel doeltreffend kan gebruiken.

Maar goed:

Een DBT werkt, en heeft altijd gewerkt in alle takken van de wetenschap waarbij men mensen moest inzetten als meetinstrumenten. Smaakbelevenis voor eten, testen van medicijnen enz.

Juist, maar ook hier wordt tot op een bepaalde hoogte bevestigd dat een dbt niet werkt. Zo zijn er mensen die het verschil niet proeven tussen bijvoorbeeld pepsi en coca. Toch zit er wel degelijk verschil tussen welke niet alleen meetbaar is...

1. Als je een verschil écht kunt horen, dit ALTIJD naar voren zal komen in deze DBT.

Dat denk ik dus niet. Je merkt toch ook niet dat je heel kortstondig een beeld te zien krijgt terwijl je er wel door beinvloed wordt?
/edit:
Ook niet in een goed opgezette dbt. het principe met de flitsbeelden is dan ook (volgens mij) verboden omdat men op die manier onmerkbaar wordt beinvloed. Je ziet de beelden niet, maar stiekum toch wel...

[dekkersj]

...omdat een DBT bijna altijd ingezet wordt met een verkeerde grondslag. De claims zijn vaak dermate groot dat ze er in een DBT uit zouden moeten komen, terwijl het gaat om onhoorbare verschillen (aangegeven door deskundigen, maar wat terzijde wordt geschoven). Je zou een DBT moeten inzetten daar waar het waarschijnlijk is dat het gaat werken. Dus niet bij interlinks, versterkers, cd-spelers, jitter en flits toverdozen etc. etc.

Groet,
Jacco

[s0000884]

We weten onderhand wel het 'hoe en wat' omtrent de uitvoering van een dbt. Dat er mensen zijn die beweren dat dit de enige juiste test is, is ook niet onbekend.

Dat laatste heb ik niet gezegd.

Maar je zegt eigenlijk niets nieuws. Het is een opsomming over feiten bekendheden van het principe DBT. Ik probeer juist aan te tonen dat dit lang niet latijd hoeft te werken, ondanks dat de wetenschap een dbt soms wel doeltreffend kan gebruiken.

Als je doel is om te verifiëren of je met *enkel* je gehoor een verschil kunt waarnemen, dan werkt de DBT altijd in die zin dat áls je iets kunt horen, dat er in een DBT altijd wel uitkomt. Dit begrijp je niet goed gezien je volgende post:

Juist, maar ook hier wordt tot op een bepaalde hoogte bevestigd dat een dbt niet werkt. Zo zijn er mensen die het verschil niet proeven tussen bijvoorbeeld pepsi en coca. Toch zit er wel degelijk verschil tussen welke niet alleen meetbaar is...

De test werkte prima, die toonde aan dat er *blijkbaar* mensen zijn die geen verschil proeven tussen pepsi en coca. De uitslag heeft niets met de geldigheid van de test te maken. De test sluit niet uit dat anderen het verschil wel proeven en het is heel goed denkbaar dat er mensen zijn die het verschil niet proeven

Dat denk ik dus niet. Je merkt toch ook niet dat je heel kortstondig een beeld te zien krijgt terwijl je er wel door beinvloed wordt?
Ook niet in een goed opgezette dbt. het principe met de flitsbeelden is dan ook (volgens mij) verboden omdat men op die manier onmerkbaar wordt beinvloed. Je ziet de beelden niet, maar stiekum toch wel...

Dit zijn menselijke beredeneringen die niet op feitenkennis, ervaring of inzicht berusten, maar op een ingeving, een gedachtegang. Bovendien ging ik hier boven er al op in.

[Ejorne]

Dat laatste heb ik niet gezegd.

Ik beweer dan ook niet dat specifiek jij dat gezegd zou hebben... 

De test werkte prima, die toonde aan dat er *blijkbaar* mensen zijn die geen verschil proeven tussen pepsi en coca. De uitslag heeft niets met de geldigheid van de test te maken. De test sluit niet uit dat anderen het verschil wel proeven en het is heel goed denkbaar dat er mensen zijn die het verschil niet proeven.

Zo ook geldig bij een dbt die verschillen in bijvoorbeeld interlinks kenbaar zou moeten maken, toch?

Ik proefde het verschil ook niet tussen pepsi en coca in een testje. Ik beweerde destijds dat ik zeker wél zou proeven. (Nu drink ik die zure zooi gelukkig al een hele poos niet meer, maar da's offtopic...) Maar ik proefde het verschil dus NIET tijdens de test. Maar vaker dan eens heb ik tijdens een gewoon glaasje cola drinken het bij het juiste eind gehad wanneer ik aangaf dat het pepsi was, of juist geen pepsi. Dat waren eigenlijk ook gewoon blinde tests, want ik schenk dat glaasje dan niet zelf en dat schenken gebeurde dan ook in een andere ruimte waar het heel goed mogelijk was dat je pepsi of een ander merk kreeg voorgeschoteld... zoals bij je vrienden op bezoek...

Dit zijn menselijke beredeneringen die niet op feitenkennis, ervaring of inzicht berusten, maar op een ingeving, een gedachtegang.

Juist, dat is ook precies wat ik in mijn startpost meedeel. Kennelijk klopt het toch wel tot op zekere hoogte, althans... dat is uiteraard mijn mening...

[Ejorne]

...omdat een DBT bijna altijd ingezet wordt met een verkeerde grondslag. De claims zijn vaak dermate groot dat ze er in een DBT uit zouden moeten komen, terwijl het gaat om onhoorbare verschillen (aangegeven door deskundigen, maar wat terzijde wordt geschoven). Je zou een DBT moeten inzetten daar waar het waarschijnlijk is dat het gaat werken. Dus niet bij interlinks, versterkers, cd-spelers, jitter en flits toverdozen etc. etc.

Groet,
Jacco

Juist, de verschillen zijn er tussen al die componenten maar een dbt zou die niet aan het licht brengen. Maar dat wil niet zeggen dat ze dan ook niet, al dan niet wat meer in het onbewuste, opgemerkt worden. De dbt volstaat dus gewoonweg niet.

[dekkersj]

Juist, de verschillen zijn er tussen al die componenten [...]

Nee: ze zijn onhoorbaar. Dus zijn ze er voor het gehoor niet. Daarom werkt die dbt ook niet voor hen die geloven dat de verschillen wel hoorbaar zijn.

Groet,
Jacco

[Ejorne]

Nee: ze zijn onhoorbaar. Dus zijn ze er voor het gehoor niet. Daarom werkt die dbt ook niet voor hen die geloven dat de verschillen wel hoorbaar zijn.
Groet,
Jacco

In de dbt zijn ze kennelijk inderdaad onhoorbaar. Maar zijn ze werkelijk onmerkbaar? Die flitsbeelden zijn onmerkbaar, maar kennelijk niet onzichtbaar. Je weet echter niet dat je ze eventueel gezien hebt. Toch 'weten en/of meten' je hersenen dit wel...

[dekkersj]

In de dbt zijn ze kennelijk inderdaad onhoorbaar. Maar zijn ze werkelijk onmerkbaar?[...]

Ja.

Groet,
Jacco

[celerontje]

Dus er zit ook geen verschil tussen Pepsi en Coca-Cola, Jacco?
Want dat merk je dus kennelijk ook niet altijd altijd bij een DBT?

Wie A zegt, moet ook B kunnen zeggen.

[reMC]

http://www.meta-gizmo.net/Tri/adv/DoubleBlind.html

[dekkersj]

Dus er zit ook geen verschil tussen Pepsi en Coca-Cola, Jacco?
Want dat merk je dus kennelijk ook niet altijd altijd bij een DBT?

Wie A zegt, moet ook B kunnen zeggen.

Dat weet ik niet, heb ik geen verstand van. Ik ben elektronicus.

Groet,
Jacco

[Ejorne]

Dat weet ik niet, heb ik geen verstand van. Ik ben elektronicus.

Groet,
Jacco

Klopt het volgens jou wel dat we van die flitsbeelden waar kunnen nemen zonder er bewust van te zijn?
Dus dat je iets niet ziet maar wel waarneemt? Iets dat er dus ook werkelijk is, niet iets dat we verzinnen omdat bijvoorbeeld onze aankoop gerechtvaardigd zou moeten worden?

[dekkersj]

Ook dat zou ik niet weten. Daar heb ik me nooit in verdiept en ik kan me voorstellen dat het ook daar bol staat van de broodje aap verhalen. Ik zou het bij interlinks houden in deze draad.

Groet,
Jacco

[Ejorne]

Ik zou het bij interlinks houden in deze draad.

Groet,
Jacco

Nou, het was eigenlijk meer mijn bedoeling om het juist niet over de eventuele verschillen in welk component dan ook te hebben.
Er kan natuurlijk wel aan gerefereerd worden, maar inhoudelijk er op ingaan is niet mijn intentie...

Grtz, Jeroen

[dekkersj]

Het zou het wel gelinkt aan het onderwerp houden. Straks ga je het glibberige pad op waarbij de kans groot is dat de vergelijkingen niet meer opgaan voor bv interlinks. Een dbt is een methode om ergens achter te komen en net als bij meetapparatuur of meetmethoden moet je wel heel goed weten waar je die methode precies gebruikt. Je kunt er niet zomaar code op gebied A naartoe afvuren en verwachten dat al je vragen op gebied B beantwoord worden.

Groet,
Jacco

[s0000884]

Even ingaand op het Pepsi verhaal: de blinde test die je gedaan had, heb je daar minstens 10 keer geproefd? of maar 1 keer pepsi en een keer coca? In dat geval was de test zinloos en de uitslag totaal zonder informatie (als je wél verschil kunt proeven moet je gewoon genoeg keer de test doen, dan volgt daar vanzelf uit dat je het verschil wel kunt proeven). Toen je bij dat feeste die pepsi / coca test deed, heb je toen 10 keer geproefd?

[s0000884]

Ik proefde het verschil ook niet tussen pepsi en coca in een testje. Ik beweerde destijds dat ik zeker wél zou proeven. (Nu drink ik die zure zooi gelukkig al een hele poos niet meer, maar da's offtopic...) Maar ik proefde het verschil dus NIET tijdens de test. Maar vaker dan eens heb ik tijdens een gewoon glaasje cola drinken het bij het juiste eind gehad wanneer ik aangaf dat het pepsi was, of juist geen pepsi. Dat waren eigenlijk ook gewoon blinde tests, want ik schenk dat glaasje dan niet zelf en dat schenken gebeurde dan ook in een andere ruimte waar het heel goed mogelijk was dat je pepsi of een ander merk kreeg voorgeschoteld... zoals bij je vrienden op bezoek...

Hier doel ik dus op. Als de test niet goed was uitgevoerd, dan kun je niet daaruit concluderen dat DBT niet werkt.

[s0000884]

Klopt het volgens jou wel dat we van die flitsbeelden waar kunnen nemen zonder er bewust van te zijn?
Dus dat je iets niet ziet maar wel waarneemt? Iets dat er dus ook werkelijk is, niet iets dat we verzinnen omdat bijvoorbeeld onze aankoop gerechtvaardigd zou moeten worden?

Zodra je iets echt ziet/waarneemt bewust of onbewust of meent dat je dat waarneemt/ziet, dan kun je die situatie waarin dat gebeurt of lijkt te gebeuren recreëren bij een test. Als je dat goed doet, en vaak genoeg test, kom je op een betrouwbaar resultaat. Correct meten betekent gegarandeerd een resultaat met geldige informatie.

[daffy]

http://www.avguide.com/forums/blind-listening-tests-are-flawed-editorial helaas werk de link uit dit forumstukje naar de aes papers niet meer, maar ik geloof dat jacco daar toegang toe heeft.

destijds is dezelfde link ook (2x)  in een topic  gepost op Hififorum http://www.hififorum.nl/index.php?topic=11403.msg221860#msg221860 en 0.0 % reactie van de diehard abx'ers, persoonlijk vond ik dat  erg vreemd omdat het LEEK alsof ze oprecht opzoek waren naar de fouten in de abx test.

Hier word i.i.g. voor mij redelijk helder, logisch,plausibel uit de doeken gedaan waarom een abx bij audio NIET werkt of NIET zou kunnen werken.

Heel toevallig komt het artikel overeen met mijn persoonlijke "suggestieve"  ervaring en luister ik  nu naar een bryston  versterker die totaal niet bevalt (b-60 sst en een b-100 sst i.pv. marantz pm-14 mkII ki, blijkbaar mis ik vervorming) en een Bryston bcd-1 cd speler die de sterren van de hemel speelt (i.pv. een marantz cd-14 waar ik toch wel heel tevreden mee was)
Toch zitten bijna alle verschillen in de suggestieve sfeer en klinkt alle goed ontworpen apparatuur hetzelfde...  

gelukkig is het maar mijn verbeelding die er voor zorgt dat het anders klinkt.  

Daffy

p.s. helemaal vergeten maar het uitgangsniveau moet natuurlijk wel gelijk zijn he ik maak binnenkort GEHAKT van die bryston versterkers

[s0000884]

http://www.avguide.com/forums/blind-listening-tests-are-flawed-editorial helaas werk de link uit dit forumstukje naar de aes papers niet meer, maar ik geloof dat jacco daar toegang toe heeft.

Is er een AES paper die de geldigheid van een DBT aantoonbaar ontkracht (of iets over betwist)? Ik zie het al het gaat over het DSD verhaal.  Overigens wat in die link is opgeschreven staat bol van onjuistheden (een idle tone is geen distortion bijvoorbeeld), en er wordt niet verduidelijkt of de omstandigheden bij de DBT dezelfde waren als bij de niet-DBT. Bovendien staat er weer de verfoeide pseudo-techniek in van tenenkrommend niveau:

How is it possible that a single listener, using non-blind observational listening techniques, was able to discover—in less than ten minutes—a distortion that escaped the scrutiny of 60 expert listeners, 20,000 trials conducted over a two-year period, and elaborate "double-blind, triple-stimulus, hidden-reference" methodology, and sophisticated statistical analysis? The answer is that blind listening tests fundamentally distort the listening process and are worthless in determining the audibility of a certain phenomenon.

Deze conclusie wordt totaal niet onderbouwd en valt volkomen uit de lucht. Er zijn 100 redenen denkbaar waarom een toon bij de eerdere tests niet hoorbaar was (deze wordt gemaskeerd door het menselijk oor als er muziek sterk genoeg overheen zit; en als er bij de DBT's alleen naar een fragment geluisterd wordt met harde muziek (om veel trails te doen) is dat niet ondenkbaar, een andere oorzaak kan zijn dat de data niet iedentiek was enz.). Maar meteen wordt de reden gekozen die we het liefst gebruiken; 'de DBT werkt niet'.