Waarom de DBT niet werkt...

[solidstate]

Ik hoef de rest van je post niet te lezen want het antwoord is volmodig ja. Een technicus moet kunnen meten, moet testopstellingen kunnen maken en moet kunnen zeggen, op wetenschappelijk correcte manier, hoe geldig en nauwkeurig de meting en aanverwante conclusies zijn. Daarvoor heeft ie (iedere technische studie op een universiteit heeft dit) meerdere vakken gevolgd op dit gebied. In mijn Elektrotechniek opleiding zijn dit (in ieder geval, het is alweer een tijd geleden voor mij dus ik kan er eentje vergeten zijn) statistische wiskunde, kansrekening, zekere en onzekere informatie, meettechniek, transductie techniek, testbaar ontwerpen en testen. 6 vakken, waarbij ieder vak ongeveer 120-160 uur studielast is. Jullie denken toch zeker niet dat je, als je deze training allemaal niet gehad hebt, dat je dan op dezelfde toon erover kunt meepraten? En nee dit is dus geen belediging of arrogant bedoeld, het is om aan te geven dat dit een *vak* is.

EDIT: het moeilijke om te accepteren is misschien dat onze oren gewoon als meetinstrumenten zijn in te zetten. Je moet alleen goed in de smiezen houden welke (toevallige) meetfout deze instrumenten maken om je criteria goed op te stellen. Wat de onderliggende (wellicht psychologische) oorzaak van deze onnauwkeurigheid is, doet dan niet meer ter zake. Je maakt je test robuust in die zin dat deze geldig is terwijl je hem uitvoert met die onbetrouwbare oren.

Je geeft een antwoord over de uitvoering, niet op de vraag of het een goede dbt is.

[blueray]

Ik hoef de rest van je post niet te lezen want het antwoord is volmodig ja.

EDIT: het moeilijke om te accepteren is misschien dat onze oren gewoon als meetinstrumenten zijn in te zetten. Je moet alleen goed in de smiezen houden welke (toevallige) meetfout deze instrumenten maken om je criteria goed op te stellen. Wat de onderliggende (wellicht psychologische) oorzaak van deze onnauwkeurigheid is, doet dan niet meer ter zake. Je maakt je test robuust in die zin dat deze geldig is terwijl je hem uitvoert met die onbetrouwbare oren.

Mijn punt is nu juist dat wat een dbt robuust kan maken geen electrotechnische kennis veronderstelt, maar inzicht in de meetfouten die ontstaan door mensen achter elkaar of naast elkaar trials te laten doen. Als je dat niet goed weet kan je ook niet bepalen op welke wijze je (groepen) mensen het beste blind kan laten luisteren. Misschien ben je daar ook expert in, maar dan toch niet vanuit je opleiding?

[s0000884]

Mijn punt is nu juist dat wat een dbt robuust kan maken geen electrotechnische kennis veronderstelt, maar inzicht in de meetfouten die ontstaan door mensen achter elkaar of naast elkaar trials te laten doen. Als je dat niet goed weet kan je ook niet bepalen op welke wijze je (groepen) mensen het beste blind kan laten luisteren. Misschien ben je daar ook expert in, maar dan toch niet vanuit je opleiding?

Mijn meettechniek kennis komt uit mijn elektrotechniek opleiding (vakken had ik in een eerdere post genoemd).

Je moet zo vaak meten (of luisteren) dat je met een wiskundesommetje kunt aantonen dat je de gemeten uitslag, uitgemiddeld over al die metingen, betrouwbaar als in "de kans dat dit resultaat uit toeval is ontstaan is extreem klein bijv. 0.001". Dit inzicht krijg je gewoon in een technische opleiding (het kan wel zijn dat de ene persoon die afgestudeerd is er meer van onthoudt dan de ander).Als je bijvoorbeeld 12 keer goed hebt gescoord en 1 keer fout, dan is de kans dat dit uit toeval is ontstaan zo klein (die kans is uit te rekenen en die kun je de 'gokkans' noemen) dat ik meteen geloof dat je een echt verschil gemeten (gehoord) hebt.

Verder zit er een stukje inzicht in het gelijk maken van test en werkelijkheid. Zoals ik eerder zei, je moet precies zo testen als je normaal luistert. Daarbij vergelijk je ook niet met je korte termijn geheugen, dus dit geheugen moet niet nodig zijn om verschillen te constateren. Dus zou je er nooit over moeten klagen dat je 'de vorige' vergeten bent en daarom geen verschil kunt horen. Deze inzichten komen met de vakken (en een dosis gezond verstand). Ik kan me wel voorstellen dat de verleiding niet te weerstaan is om zo'n argument te gebruiken als je in een DBT geen verschil hoort tussen 2 versterkers, maar het argument is echt fout. Dit staat overigens los van het feit dat je 2 CD spelers ofzo uberhaupt niet uit elkaar kan houden, hoe kort je ze na elkaar ook beluistert en hoe goed je geheugen ook is. Daarom vind ik het niet erg als er kort achter elkaar geschakeld wordt.

[s0000884]

Je geeft een antwoord over de uitvoering, niet op de vraag of het een goede dbt is.

Als een DBT goed wordt uitgevoerd en er is nagegaan dat we hetzelfde ermee meten als dat we willen weten, dan is het een goede DBT.

[dekkersj]

Ene Jacco Dekkers......

That's me  

Het is in dit verband aardig om de achtergrond van de test toe te lichten. Er was op zeker moment een forumlid die de uitspraak deed dat je geen goedkope versterker aansluit op die dure B&W speakers. Dat was gewoon not done. Waarna ik de vraag stelde waarom niet en al snel kwam het erop neer dat die speaker de fouten zou laten horen op een prul van een versterker. Nu had ik mijn huiswerk gedaan en vantevoren gechecked of die speakers monsters waren qua impedantie. Dat bleken ze niet te zijn en kan er dus volstaan worden met een eenvoudig ontwerp versterker die men logischerwijs in het goedkope segment kan vinden. Het ding kostte toen iets van 180 euro en is uiteindelijk forumbreed aangeschaft (HuubF hulde voor het initiatief). Importeurs zijn bereid gevonden om er aan mee te werken (hulde daarvoor!) en de meest absurde test uit de audiogeschiedenis van de Lage Landen kon gaan plaatsvinden. Ik denk dat er precies 2 mensen in Nederland vertrouwen hadden en verder vond men het reuzespannend (het was ook goed druk op de meeting). Zo'n absurd groot verschil (Sony instapper versus ASR alles-erop-en-eraan) moest men toch zo kunnen aantonen.

Dat ging dus heel anders dan men zich voorgesteld had. Voor mij persoonlijk het hoogtepunt uit mijn forumgeschiedenis en ik zal er ook nog lang met plezier aan terugdenken. De test is niet zozeer een ABX als zodanig, maar meer de knoop in je zakdoek: dat grote absurde verschil in prijs resulteert niet automatisch in makkelijk aantoonbaar verschil onder niet-ziende omstandigheden. Het is ook een benadrukking dat de match versterker-luidspreker een cruciale rol speelt.

Groet,
Jacco

[s0000884]

het volstaat een test te doen waarbij mensen repetitief 2 random tonen blind uit mekaar kunnen halen indien ze vlak na mekaar gespeeld worden
EN
om dit experiment daarna te herhalen maar dan met één minuut tussenpauze (dezelfde tonen in random sequentie) in plaats van vlak na mekaar
EN
ze er niet langer in slagen beide tonen blind uit mekaar te halen
op dat moment is bewezen dat DBT niet voldoet ten gevolge van experimentator effecten

Ik begrijp je redenering volledig. En ik weet dat jij pas begrijpt dat ie niet klopt, als je meettechnische inzichten opdoet. Daarom zal het niet lukken om er samen uit te komen.

[s0000884]

Het is ook een benadrukking dat de match versterker-luidspreker een cruciale rol speelt.

Dan zou ik je nog een test willen adviseren: bedenk met z'n allen de allerslechtste versterker-speaker match (buizenversterker deze vervormen teveel, dan bijv. die 180 euro sony met infinity epsilon ofzo), en ga die blind testen tegen de allerbeste match. Met 1 voorwaarde: de versterker moet niet superveel vervormen op normale niveau's en hij moet niet zo hard staan dat ie gaat clippen. Ik verwacht dat ook hier leuke uitslagen van te verwachten zijn.

[dekkersj]

Dan zou ik je nog een test willen adviseren: bedenk met z'n allen de allerslechtste versterker-speaker match (buizenversterker deze vervormen teveel, dan bijv. die 180 euro sony met infinity epsilon ofzo), en ga die blind testen tegen de allerbeste match. Met 1 voorwaarde: de versterker moet niet superveel vervormen op normale niveau's en hij moet niet zo hard staan dat ie gaat clippen. Ik verwacht dat ook hier leuke uitslagen van te verwachten zijn.

Dat is inderdaad stap 2. Ik zou die Sony slettebak wel eens willen horen presteren op moeilijk aanstuurbare speakers. Volgens mij gaat ook dat nog redelijk goed.

Groet,
Jacco

[s0000884]

Dat is inderdaad stap 2. Ik zou die Sony slettebak wel eens willen horen presteren op moeilijk aanstuurbare speakers. Volgens mij gaat ook dat nog redelijk goed.

Het te verwachten verschil in dynamisch gedrag is m.i. een verandering van de frequentiecurve (onbedoelde Q factoren van de speakers die slecht onderdrukt worden ofzo) die zeer beperkt is in formaat vergeleken met wat de akoestiek doet. En dan kan ik dat nog eigenlijk alleen op flinke schaal voorstellen in de lage frequenties (waar de akoestiek zowiezo het meest verprutst). Mijn verwachting is dat alles boven een paar 100 Hz zowiezo niets te vrezen heeft als de versterker acceptabele THD heeft.

[scrutinizer]

Dit is dus weer zo'n opmerking die je niet meer zou maken als je zelf een academische technische studie zou hebben gedaan. Als je doelt op de criteria die een DBT geldig maken nodig ik je uit om mij te vertellen welke punten je bedoelt, ik zal (en weer ben ik arrogant maar ja het moet nu maar even) iedere keer van repliek kunnen dienen.

Al weer!!

Ik heb in verloop van tijd genoeg argumenten voorgelegd.
Als daar, zij het door blinders, arrogantie of wat voor ongegronde reden dan ook geen aandacht aan besteed wordt ....... 

Ik begrijp je redenering volledig. En ik weet dat jij pas begrijpt dat ie niet klopt, als je meettechnische inzichten opdoet. Daarom zal het niet lukken om er samen uit te komen.

S bijna 900 ... Als dit een manier is een topic toegankelijk te maken voor de hoeveelheid leden die dit forum telt heb je jezelf m.i. tijdens je opleiding, op de belangrijkere zaken in het leven te kort gedaan.

The topic is yours, enjoy.


Anton.

[solidstate]

That's me  

Het is in dit verband aardig om de achtergrond van de test toe te lichten. Er was op zeker moment een forumlid die de uitspraak deed dat je geen goedkope versterker aansluit op die dure B&W speakers. Dat was gewoon not done. Waarna ik de vraag stelde waarom niet en al snel kwam het erop neer dat die speaker de fouten zou laten horen op een prul van een versterker. Nu had ik mijn huiswerk gedaan en vantevoren gechecked of die speakers monsters waren qua impedantie. Dat bleken ze niet te zijn en kan er dus volstaan worden met een eenvoudig ontwerp versterker die men logischerwijs in het goedkope segment kan vinden. Het ding kostte toen iets van 180 euro en is uiteindelijk forumbreed aangeschaft (HuubF hulde voor het initiatief). Importeurs zijn bereid gevonden om er aan mee te werken (hulde daarvoor!) en de meest absurde test uit de audiogeschiedenis van de Lage Landen kon gaan plaatsvinden. Ik denk dat er precies 2 mensen in Nederland vertrouwen hadden en verder vond men het reuzespannend (het was ook goed druk op de meeting). Zo'n absurd groot verschil (Sony instapper versus ASR alles-erop-en-eraan) moest men toch zo kunnen aantonen.

Dat ging dus heel anders dan men zich voorgesteld had. Voor mij persoonlijk het hoogtepunt uit mijn forumgeschiedenis en ik zal er ook nog lang met plezier aan terugdenken. De test is niet zozeer een ABX als zodanig, maar meer de knoop in je zakdoek: dat grote absurde verschil in prijs resulteert niet automatisch in makkelijk aantoonbaar verschil onder niet-ziende omstandigheden. Het is ook een benadrukking dat de match versterker-luidspreker een cruciale rol speelt.

Groet,
Jacco

Jacco, hoe leuk je dag ook was een hoe aardig ook de achtergrond te weten maar dit was gewoon kort door de bocht gezegd ook een abx test.
Gezien eerder berichten van je op dat zelfde forum (hififorum.nl) heb je randvoorwaarden geschept voor het aantal trials waar aan een goede abx moet voldoen.

Heeft deze test aan die randvoorwaarden voldaan? Hebben andere abx testen van JOU aan de randvoorwaarden voldaan?
Ik vind dat duidelijk moet worden gemaakt wat er nu eigenlijk precies aan waarheden naar buiten kan worden gebracht.
Tot nu toe hoor ik alleen .... (nog nader in te vullen).....  zowel de voorstanders als de tegenstanders van de abx test.

[Snowmaster]

Mannen, sorry dat ik een dwarsstraat insla, maar ik heb jullie technische hulp nodig en veel techneuten zitten hier bij elkaar.
Als het antwoord te uitvoerig wordt, moeten wij voor mijn probleem even verhuizen naar een andere topic.

Hoe voorkom ik magnetische ladingen in mijn electriciteitkabels?  Waardoor ontstaat dit en waarom beïnvloed zoiets de weergave vrij fors?

[Midcall]

Inderdaad. Ik lees in dit soort topics altijd honderden ontwijkingen en smoesjes. Toch gek. Zowel metingen als objectieve tests zijn blijkbaar niet betrouwbaar voor de heren audiofielen, maar de eigen waarneming is een betrouwbare rots in de branding.

Right...

Het grappige is dat meetbare verschillen bij objectieve tests altijd door de heren meettechnici wordt afgedaan als zijnde niet-hoorbaar. Dus enige hand in eigen boezem kan geen kwaad in deze.

[coned (banned)]

Ik begrijp je redenering volledig. En ik weet dat jij pas begrijpt dat ie niet klopt, als je meettechnische inzichten opdoet. Daarom zal het niet lukken om er samen uit te komen.

In de tonometric pitch test kan ik 0,45 Hz onderscheiden, op voorwaarde dat de fragmenten ONMIDDELIJK na mekaar worden gespeeld.
De keuze van hogere of lagere pitch gebeurt volledig random door de computer, ik moet enkel hoger of lager aanclicken.
Ik scoor daarmee beter dan 94% van de bevolking, iets beter dan jan modaal

Als ik tussen twee tonen één minuut zou moeten wachten, dan zal het resultaat random zijn.

Een verschil van 0,45 Hz is zo ellendig klein dat het mij enkel lukt als ik beide onmiddelijk na mekaar hoor en de eerste toon in mijn gedachte kan laten nazinderen.
Ik kan de toon tijdens die 1 minuut stilte niet in mijn brein vasthouden om daarna het vanuit geheugen te vergelijken met de 2e toon die na 1 minuut speelt, en ik dan moet kiezen 'hoger' of 'lager'. Dit is veel te lang en vergt te veel concentratie.

Er is hier sprake van falen omdat ons geheugen ons hier dik in de steek laat. Dit zal bij de meeste mensen het geval zijn.

Dus leg me eens uit waarom jij gelooft dat ik het niet begrijp ?

Peer review deze test en je zal zien dat ik volledig gelijk heb, en dat dit bewijst dat DBT een achterhaalde methode is voor audio.

PS: om safe te spelen zoek een panel van mensen die instant verschillen van 3 Hz blind kunnen waarnemen (niet zo moeilijk) op de frequenties (ook niet moeilijk voor een techneut, capture de output van je geluidskaart en doe er een frequentieanalyse op, bvb via audacity) zoals in de test, en herhaal de test met 1 minuut pauzes tussen de twee toontjes. Er zal een significant verschil zijn in effectgrootte.

[Snowmaster]

De eerste twee hebben mijn technische vraag maar overgeslagen....

[Midcall]

Het te verwachten verschil in dynamisch gedrag is m.i. een verandering van de frequentiecurve (onbedoelde Q factoren van de speakers die slecht onderdrukt worden ofzo) die zeer beperkt is in formaat vergeleken met wat de akoestiek doet. En dan kan ik dat nog eigenlijk alleen op flinke schaal voorstellen in de lage frequenties (waar de akoestiek zowiezo het meest verprutst). Mijn verwachting is dat alles boven een paar 100 Hz zowiezo niets te vrezen heeft als de versterker acceptabele THD heeft.

Is 5% THD voldoende? (geen buizenversterker die deze waardes haalt overigens) Want je komt op ieder forum weer aangesjouwd met je vervorming, maar uit een (blind) testje uitgevoerd door nota bene Jacco is gebleken dat er geen verschillen worden waargenomen tussen een signaal met 0.000x % vervorming en 5% vervorming. Bij iedere blinde test wordt nimmer verschil waargenomen, zo ook hier niet, maar omdat jij zo fanatiek supporter van deze testmethode bent en het door je eigen vriendje is uitgevoerd moet je hier toch veel waarde aan hechten. Er zullen nauwelijks versterkers te vinden zijn die 5% vervormen, of hij moet wezenlijk defect zijn, dus ook nagenoeg iedere buizenversterker zal voldoen in deze.

[coned (banned)]

Mannen, sorry dat ik een dwarsstraat insla, maar ik heb jullie technische hulp nodig en veel techneuten zitten hier bij elkaar.
Als het antwoord te uitvoerig wordt, moeten wij voor mijn probleem even verhuizen naar een andere topic.

Hoe voorkom ik magnetische ladingen in mijn electriciteitkabels?  Waardoor ontstaat dit en waarom beïnvloed zoiets de weergave vrij fors?

http://nl.wikipedia.org/wiki/Metaal#Ferro_en_non-ferro

sommige extreme high-end fabrikanten gebruiken non-ferro metalen

[Snowmaster]

http://nl.wikipedia.org/wiki/Metaal#Ferro_en_non-ferro

sommige extreme high-end fabrikanten gebruiken non-ferro metalen

Yep, I know, maar waardoor gaan magnetische ladingen in kabels of apparatuur zitten?  Hoe ontstaan ze en hoe krijg je ze eruit?   Ze beïnvloeden de weergave flink volgens mijn waarnemingen. Ik kan ze kortstondig flink verminderen, maar ik wil er eigenlijk vanaf.

Wie van de technische geleerden helpt mij vooruit?

[dekkersj]

Mannen, sorry dat ik een dwarsstraat insla, maar ik heb jullie technische hulp nodig en veel techneuten zitten hier bij elkaar.
Als het antwoord te uitvoerig wordt, moeten wij voor mijn probleem even verhuizen naar een andere topic.

Hoe voorkom ik magnetische ladingen in mijn electriciteitkabels?  Waardoor ontstaat dit en waarom beïnvloed zoiets de weergave vrij fors?

Je bedoelt een rest-magnetisme? Die is verder irrelevant voor je weergave en je hebt het dan over materialen als ijzer, nikkel en kobalt die deze eigenschap bezitten (zo even uit mijn hoofd). Ze worden veroorzaakt door een DC component in het signaal (drift, even orde vervorming in het systeem, offset,...). Je kunt het weg krijgen door verhitting of kloppen met bv een hamer. Of een sterk extern wisselend magnetisch veld. Maar ik ben bang dat het symptoombestrijding is, het zit namelijk in je waarneming en daar verandert bij mijn weten dergelijke externe handelingen niets aan.

Het andere magnetisme is gekoppeld aan het elektrische veld en is altijd aanwezig bij wisselende velden, het is onderdeel van de EM-golf. Is verder ook niks om je druk over te maken.

Groet,
Jacco

[Koen K]

Het grappige is dat meetbare verschillen bij objectieve tests altijd door de heren meettechnici wordt afgedaan als zijnde niet-hoorbaar. Dus enige hand in eigen boezem kan geen kwaad in deze.

Aha, ben jij dan ook het type dat beweert verschil te kunnen zien tussen een boutje van 30.0000000 mm en een van 30.0000001 mm? Of snap je wel dat dat meetbare verschil niet zichtbaar is? 

[Midcall]

Aha, ben jij dan ook het type dat beweert verschil te kunnen zien tussen een boutje van 30.0000000 mm en een van 30.0000001 mm? Of snap je wel dat dat meetbare verschil niet zichtbaar is? 

Nee, ik beweer dat onze meetfanaten prima uitspraken kunnen doen over de gemeten verschillen, maar de resultaten gebruiken voor vakgebieden waar ze totaal geen kaas van hebben gegeten. Als het allemaal zo eenvoudig was als onze vrienden van de meetafdeling doen voorstellen zou je toch minstens verwachten dat iedere poll over waargenomen verschillen op zijn minst 100% omgekeerd zou zijn (dus ipv 80-20 -> 20-80).

[Koen K]

Dat zou je verwachten als je van de "audiofiele" kant naar de discrepantie kijkt, ja.

[Midcall]

Dat zou je verwachten als je van de "audiofiele" kant naar de discrepantie kijkt, ja.

Nee, dit is een objectieve constatering, kijk alle polls op de fora over de wereld er maar op na.

[Koen K]

Als je de polls op fora waar mensen met een grote voorliefde voor geile apparaten en weinig inhoudelijke kennis bedoelt heb je zeker gelijk dat daar meestal dergelijke resultaten uit komen. Er zijn trouwens ook genoeg fora waar de audiophoolery-niveaus wat lager zijn. Kijk maar eens op hydrogenaudio.com, hddaudio.co.uk en dergelijke.

Wat niet objectief is - en daar doelde ik op - is je volgende implicatie dat de uitkomsten van die polls iets zouden zeggen over de werkelijkheid.

[blueray]

Je moet zo vaak meten (of luisteren) dat je met een wiskundesommetje kunt aantonen dat je de gemeten uitslag, uitgemiddeld over al die metingen, betrouwbaar als in "de kans dat dit resultaat uit toeval is ontstaan is extreem klein bijv. 0.001"

Mijn vragen worden niet beantwoord met kansrekening zolang je niet verdisconteert hoe mensen als meetinstrumenten zich 'gedragen', welke variatie hierin zit als je met een groep luisteraars werkt of hoe dit varieert in de tijd. Sterker nog, je gebruikt statistiek imho dan op een verkeerde manier om meetproblemen schijnbaar mee op te lossen.

Bijv:

Hoe kan je in een dbt waaraan een groep meedoet rekening houden met verschillen in luistervermogen van de deelnemers? (zie eerdere opmerking over verschillen tussen musici en audiofielen, niet mijn vergelijking, maar toch). Stel dat er van de 10 deelnemers 8 continu gokken (ze horen geen verschil) en 2 deelnemers horen wel verschil. Dan zou de conclusie kunnen zijn: er is wel verschil, maar niet iedereen hoort dat. Die conclusie zal je echter niet trekken als je alle metingen blind bij elkaar optelt, omdat het totale percentage gevonden correcte waarnemingen niet significant zal afwijken van de toevalspercentage van 50%. En de aantallen per persoon zijn waarschijnlijk te laag om op individueel niveau uitspraken te kunnen doen, dat is nl. de reden om een groep te laten luisteren (meer trials krijgen). Als je wil toetsen of individuele verschillen er toe kunnen doen zal je daar de opzet van je dbt dus op moeten aanpassen (hoe weet ik ook niet, misschien alleen individuele dbts doen)

Ander punt: In hoeverre wordt de kwaliteit van luisteroordelen (gokken vs. verschil horen) beinvloed door het aantal trials dat elke persoon moet doen en de tijd daartussen? Is uit onderzoek bekend dat deze invloed minimaal is, of moet je daar in de organisatie van de trials rekening meehouden? Stel dat ik van 10 trials de eerste 5 goed beoordeel en de laatste 5 keer gok wegens luistermoeheid. Ook dan is het mogelijk onterechte oordeel dat ik geen verschillen heb gehoord, omdat mijn percentage juiste waarnemingen te laag zal zijn.