blindtest audio

[AbZ]

Hier nog ontwikkelingen?

Zoals ik het lees is er nog wat ruimte voor 'inschrijvingen' over
en neemt Sander tzt (najaar?) het voortouw voor datum prikken.

[Bas Akkerman]

Leek mij ook, maar misschien waren jullie al per PM benaderd. Lijkt me wel een leuk initiatief en heb goede hoop dat het er nu echt van komt!

[Willy de Woofer]

Is er nog behoefte aan apparatuur?

[Peerless Monster]

Is er nog behoefte aan apparatuur?

Ik lever de electrostaten (en daar hoor je echt alles op!).
Daarnaast moet er duidelijk gaan worden wat er getest gaat worden.
Kabels vind ik minder interessant.
We moeten groots beginnen, dus verschillen in een goedkope discman en dure CD-speler?
Ik zei al ik heb nogal wat tweaks die we kunnen testen (lijkt me wel grappig), zoals een Gryphon toongenerator...

[Martijn M]

Zoals ik elders al aan Sander had gemeld lijkt het me leuk aanwezig te zijn. Ik wil wel meedoen aan de test, maar alleen als ik niet-blind verschil hoor.

Wat, wanneer en waar?

[Bas Akkerman]

Wat maakt voor jou kabels minder interessant Peerless? Ik wil overigens niet de zoveelste kabeldiscussie uitlokken, het is een oprechte vraag.

[AbZ]

Idee van testen vind ik sowieso leuk maar wat ik het meest interessant zou vinden zijn verschillen tussen DACs.  Behringer (AKM) versus alleged high end, etc.

Is er nog behoefte aan apparatuur?

Ben wel benieuwd naar je speakers na al die verhalen 

[FvP]

Zoals ik elders al aan Sander had gemeld lijkt het me leuk aanwezig te zijn. Ik wil wel meedoen aan de test, maar alleen als ik niet-blind verschil hoor.

Wat, wanneer en waar?

goed is, eerst niet-blind te trainen, desnoods achter een gordijn, maar wel benoemen dit is a of dit is b

een paar keer herhalen tot de kandidaten trained zijn
ze moeten de verschillen eerst in kaart brengen in hun mindmap

en dan volledig blind, iets laten spelen en laten benoemen door kandidaten of het A of B is

zonder training vooraf is een test belachelijk, we hebben dit in onze 432 Hz vs 440 Hz workshops duidelijk gemerkt
ze moeten eerst de verschillen leren ervaren, alvorens ze het correct ook blind kunnen benoemen


veel success met de test

[Bas Akkerman]

Mij maakt het niet uit naar welke verschillen ik ga luisteren. Ik ben gewoon benieuwd of ik blind überhaupt verschillen kan horen!

[Peerless Monster]

Wat maakt voor jou kabels minder interessant Peerless? Ik wil overigens niet de zoveelste kabeldiscussie uitlokken, het is een oprechte vraag.

Verschillen zijn kleiner dan tussen apparaten.
Ik zou eerst zo'n blindtest willen uitvoeren met apparatuur waarvan we "geloven" dat het de meeste verschillen gaat opleveren. Daarnaast wil ik wel eens tweaks echt aan de tand voelen die beweren wat te doen... Zoals ik destijds de verschillen van een Nespa ondervond... Kan ook met kabels hoor...

Wat Hans zegt is natuurlijk een randvoorwaarde. Er moet eerst getest worden of er verschil is te horen, anders heeft het weinig zin... Daarnaast iedere "ongelovige" die mee doet aan de test is natuurlijk not done. Heeft totaal geen zin als je met zo'n instelling gaat zitten met 1 persoon die verschil waarneemt en 19 anderen geen verschil... Dus luister echt met mensen die denken een verschil waar te nemen. De rest zal uit de ruimte moeten zijn, om geen storende factor te vormen voor de test...

[AbZ]

Verschillen zijn kleiner dan tussen apparaten.
Ik zou eerst zo'n blindtest willen uitvoeren met apparatuur waarvan we "geloven" dat het de meeste verschillen gaat opleveren. Daarnaast wil ik wel eens tweaks echt aan de tand voelen die beweren wat te doen... Zoals ik destijds de verschillen van een Nespa ondervond... Kan ook met kabels hoor...

Dan stel ik nogmaals voor om ook DACs te vergelijken (of bv CD vs externe DAC).  Heeft ook nog enige praktische relevantie voor de kritische consument.  Ik meen daar ook wel eens verschillen te ervaren, zij het met oprechte twijfel hoe belangrijk ik die nu eigenlijk vind. 

Wat Hans zegt is natuurlijk een randvoorwaarde. Er moet eerst getest worden of er verschil is te horen, anders heeft het weinig zin...

Heb nog geen enkele reden gezien waarom dit eerst niet-blind zou moeten gebeuren.
Waarom zou dat makkelijker luisteren zijn? 

Daarnaast iedere "ongelovige" die mee doet aan de test is natuurlijk not done. Heeft totaal geen zin als je met zo'n instelling gaat zitten met 1 persoon die verschil waarneemt en 19 anderen geen verschil... Dus luister echt met mensen die denken een verschil waar te nemen. De rest zal uit de ruimte moeten zijn, om geen storende factor te vormen voor de test...

Een scepticus is geen ongelovige.

[weust]

Mij maakt het niet uit naar welke verschillen ik ga luisteren. Ik ben gewoon benieuwd of ik blind überhaupt verschillen kan horen!

Dat dus.

[Bas Akkerman]

Verschillen zijn kleiner dan tussen apparaten.
Ik zou eerst zo'n blindtest willen uitvoeren met apparatuur waarvan we "geloven" dat het de meeste verschillen gaat opleveren. Daarnaast wil ik wel eens tweaks echt aan de tand voelen die beweren wat te doen... Zoals ik destijds de verschillen van een Nespa ondervond... Kan ook met kabels hoor...

Wat Hans zegt is natuurlijk een randvoorwaarde. Er moet eerst getest worden of er verschil is te horen, anders heeft het weinig zin... Daarnaast iedere "ongelovige" die mee doet aan de test is natuurlijk not done. Heeft totaal geen zin als je met zo'n instelling gaat zitten met 1 persoon die verschil waarneemt en 19 anderen geen verschil... Dus luister echt met mensen die denken een verschil waar te nemen. De rest zal uit de ruimte moeten zijn, om geen storende factor te vormen voor de test...

Vat het niet persoonlijk op, maar nu vind ik toch echt een beetje dat de pot de ketel verwijt dat die zwart is. Ik zie geen verschil tussen een ongelovige die niets gelooft en op die manier geen verschillen verwacht en een gelovige die alles gelooft en juist wel verschillen verwacht. Beiden beginnen met duidelijke verwachtingen en dat alleen al vertroebelt de waarnemingen. Ik denk dat je daarom juist met een zo open mogelijke blik aan een blinde test moet beginnen. Dit zeg ik puur als een van de randvoorwaardes voor een (naar mijn idee) juiste test, niet om een non-believers/believers discussie te krijgen.

Een en ander zal overigens wel los lopen als er echt blind wordt getest, dus zonder dat er vertelt wordt wat en wanneer er getest of geswitcht wordt. Maar gewoon puur op je gehoor afgaan en luisteren of je verschillen hoort zonder enige voorkennis in de gemaakte veranderingen.

Edit: als dit in de ogen van de topicstarter te off-topic is, dan verwijder ik deze reactie hoor.

[Martijn M]

Volgens mij is het simpel:

Iemand die niet-blind geen verschillen hoort, zal dat blind niet ineens wél gaan doen. De resultaten van deze persoon zullen daarom bij een groot aantal trials naar 50% gaan. Dit probleem kan ondervangen worden door ervoor te zorgen dat dat de luisteraar van tevoren totaal geen idee heeft waar hij naar gaat luisteren. In dat geval is de luisteraar onbevooroordeeld en zal hij geen specifieke verwachting hebben.

Als de luisteraar voorkennis heeft m.b.t. wat precies vergeleken gaat worden, is het belangrijk dat de luisteraar de verschillen in een niet-blind vergelijk wel hoort.

[Willy de Woofer]

Mij maakt het niet uit naar welke verschillen ik ga luisteren. Ik ben gewoon benieuwd of ik blind überhaupt verschillen kan horen!

Ik wil zelfs wel doof luisteren 

[AbZ]

@Bas, ik denk dat er twee versies zijn van het idee dat ongelovigen cq sceptici geen deelnemers kunnen zijn.  Het ene is wantrouwen mbt intenties (zie 'bijdragen' van KB; die was daar heel expliciet over) en het andere is de verwachting dat ongeloof de waarneming kan beperken (dit is waar PM op doelde, denk ik).  Volgens mij valt dat bij oprechte interesse idd allemaal reuze mee.  Het zal wel moeilijker liggen bij dingen die je echt niet serieus kan nemen.  Daarom is het ook niet per se constructief om eerst niet-blind te testen.  (Hangt af vd info die je krijgt.)

Overigens heel moeilijk om voor een DBT een significant aantal believers te vinden 

[AbZ]

Iemand die niet-blind geen verschillen hoort, zal dat blind niet ineens wél gaan doen.

Ben daar niet zo zeker van, omdat die persoon bij het niet-blinde deel meer en andere informatie te verwerken krijgt.  Het is genoegzaam bekend dat die extra cognitieve belasting een beperkend effect kan hebben op de info die je daarnaast nog kan waarnemen/verwerken.

[Bas Akkerman]

Volgens mij is het simpel:

Iemand die niet-blind geen verschillen hoort, zal dat blind niet ineens wél gaan doen. De resultaten van deze persoon zullen daarom bij een groot aantal trials naar 50% gaan. Dit probleem kan ondervangen worden door ervoor te zorgen dat dat de luisteraar van tevoren totaal geen idee heeft waar hij naar gaat luisteren. In dat geval is de luisteraar onbevooroordeeld en zal hij geen specifieke verwachting hebben.

Als de luisteraar voorkennis heeft m.b.t. wat precies vergeleken gaat worden, is het belangrijk dat de luisteraar de verschillen in een niet-blind vergelijk wel hoort.

Wat bedoel je met het vet gedrukte gedeelte? Waarom is dat belangrijk?

@Bas, ik denk dat er twee versies zijn van het idee dat ongelovigen cq sceptici geen deelnemers kunnen zijn.  Het ene is wantrouwen mbt intenties (zie 'bijdragen' van KB; die was daar heel expliciet over) en het andere is de verwachting dat ongeloof de waarneming kan beperken (dit is waar PM op doelde, denk ik).  Volgens mij valt dat bij oprechte interesse idd allemaal reuze mee.  Het zal wel moeilijker liggen bij dingen die je echt niet serieus kan nemen.  Daarom is het ook niet per se constructief om eerst niet-blind te testen.  (Hangt af vd info die je krijgt.)

Overigens heel moeilijk om voor een DBT een significant aantal believers te vinden 

Zeer met je eens. Evengoed zouden believers dan ook geen deelnemers kunnen zijn, want geloof (dat er verschil zal zijn) zal de waarneming ook beperken. Ik denk dat er ook een bepaalde onzekerheid mee speelt en dat mensen daarom huiverig tegenover een DBT staan. Wellicht toch het gevoel af te gaan als men in een DBT geen verschillen hoort, terwijl men daarvoor regelmatig heeft gezegd wel verschillen te horen.

En zoals gezegd: ik ben voor een geheel blinde test, dus ook niet weten wát er getest zal worden. "Ik geloof wel/niet in verschillen in kabels (of welk onderdeel dan ook) en hoor daarom wel/geen verschillen. Anders gezegd, er bestaan geen believers en non-believers als ze niet weten waar ze in moeten geloven.

Ten overvloede, maar deze discussie is wat mij betreft alleen waardevol om juiste randvoorwaarden te bepalen en te creëren voor de feitelijke test.

[Martijn M]

Bas,

Het dikgedrukte moet je zien in directe relatie met de alinea erboven. Als je het verschil tussen A en B niet kunt waarnemen in een niet-blinde test, kun je die verschillen ook niet waarnemen in een blinde test waarbij je weet dat je A en B vergelijkt. Dat kan twee oorzaken hebben: 1) de verschillen zijn dermate klein dat je ze niet kunt waarnemen, en 2) de overtuiging dat je geen verschillen kunt waarnemen beïnvloedt de perceptie in negatieve zin.

Als je het verschil tussen A en B wel kunt waarnemen/ervaren in een niet-blinde test, is het aannemelijk dat je een blinde test met vertrouwen tegemoet ziet. Je verwacht dus verschil waar te zullen nemen. Als je verwacht verschillen waar te zullen nemen, ben je in staat je beter te concentreren op het waarnemen van verschillen dan wanneer je van tevoren denkt met voor een fysiek onmogelijke opgave te staan. Op basis van dit psychologische gegeven is een bekend trucje bedacht om jezelf gevoeliger te maken voor zeer kleine verschillen - een trucje waar ik zelf goede ervaringen mee heb:

Een tijd geleden heb ik me een tijd beziggehouden met blinde luistertests op het gebied van harmonische vervorming. Ik was lange tijd in de veronderstelling dat harmonische vervorming een belangrijk aspect van high-fidelity was. Bij het ontwerpen van een luidspreker ging ik derhalve vaak specifiek op zoek naar luidsprekereenheden met extreem lage vervormingscijfers. Totdat iemand mij wees op onderzoek waarin naar voren kwam dat harmonische vervorming juist helemaal niet zo goed hoorbaar is. Toen ben ik het zelf gaan testen met geluidsbestanden waaraan verschillende hoeveelheden harmonische vervorming was toegevoegd. Door de test te beginnen met extreem hoge vervormingscijfers heb ik mezelf getraind om de klankmatige effecten van harmonische vervorming te herkennen. Vervolgens heb ik de test gedaan met steeds lagere vervormingspercentages. Op een zeker moment kon ik de verschillen tussen A (zonder toegevoegde vervorming) en B (met toegevoegde vervorming) niet meer waarnemen. Als ik op dat moment naar X ging, kon ik zonder mogelijkheid horen of het A of B was. De truc die je vervolgens kunt toepassen, is jezelf een beetje voor de gek houden: ik luisterde naar A en concentreerde me op het horen van de afwezigheid van vervormingscomponenten; vervolgens luisterde ik naar B en probeerde mezelf ervan te overtuigen dat ik de vervormingscomponenten zoals ik die in eerdere tests kon horen ook nu kon horen. Na een tijdje ga je dat ook werkelijk geloven en daadwerkelijk horen!

Hoe het ook zij, de conclusie van die tests was dat vervormingswaarden zoals je die bij deugdelijk ontworpen luidsprekereenheden vindt (ordegrootte van om en nabij 1% over het grootste deel van de banddoorlaat) uitsluitend hoorbaar zijn met testtonen, maar niet met muziek of spraak. Het is daarom zaak om waarden voor harmonische vervorming bij normale geluidsniveaus (zeg 90 dB) niet al te hoog op het lijstje met eisen aan luidsprekereenheden te zetten. Er zijn belangrijkere aspecten.

[AbZ]

Keyser,
1 ik twijfel niet aan potentieel nut en effectiviteit van training.  (Elders ook al gezegd.)  Vraag is of zoiets in kort tijdsbestek ook soortgelijke resultaten heeft (zie ook reply #91).  Wat dat betreft heeft een DBT wel beperkingen, al zijn er ook mensen zich daarop blindstaren (no pun intended). 

2 Zoals je zelf al impliceert kan het ook nog voorkomen dat je iets kunt onderscheiden op grond van een minder relevant kenmerk.  Zo kan men zich afvragen of de training überhaupt het gewenste soort van oordeel zou aanscherpen maar dat voert wellicht te ver hier.

nb Ik ben er overigens niet fel op tegen om eerst niet-blind te luisteren
maar wijs alleen op de beperkingen vd argumentatie.

[Martijn M]

Keyser,
1 ik twijfel niet aan potentieel nut en effectiviteit van training.  (Elders ook al gezegd.)  Vraag is of zoiets in kort tijdsbestek ook soortgelijke resultaten heeft (zie ook reply #91).  Wat dat betreft heeft een DBT wel beperkingen, al zijn er ook mensen zich daarop blindstaren (no pun intended). 

Dit snap ik volgens mij niet helemaal. Als je zegt dat mensen in een niet-blinde situatie mogelijk te veel externe prikkels krijgen waardoor ze minder goed kunnen horen dan in een blinde situatie, dan zou dat toch juist vóór een blinde testsituatie pleiten?

2 Zoals je zelf al impliceert kan het ook nog voorkomen dat je iets kunt onderscheiden op grond van een minder relevant kenmerk.  Zo kan men zich afvragen of de training überhaupt het gewenste soort van oordeel zou aanscherpen maar dat voert wellicht te ver hier.

nb Ik ben er overigens niet fel op tegen om eerst niet-blind te luisteren
maar wijs alleen op de beperkingen vd argumentatie.

Sorry, doorgaans snap ik goed wat je bedoelt, maar ook hier kan ik je niet helemaal volgen. Wat bedoel je met minder relevante kenmerken?

[AbZ]

Dit snap ik volgens mij niet helemaal. Als je zegt dat mensen in een niet-blinde situatie mogelijk te veel externe prikkels krijgen waardoor ze minder goed kunnen horen dan in een blinde situatie, dan zou dat toch juist vóór een blinde testsituatie pleiten?

Ik doelde hier op een DBT met een niet-blinde trainingsfase voorafgaand aan de blinde testsituatie.  Dacht dit duidelijk was uit context maar heb dit idd niet duidelijk geformuleerd.

Sorry, doorgaans snap ik goed wat je bedoelt, maar ook hier kan ik je niet helemaal volgen. Wat bedoel je met minder relevante kenmerken?

Kwestie van vraagstelling icm test- en meetmethode.  Er is een sterke positieve correlatie tussen schoenmaat en rekenvaardigheid.  Daaruit volgt niet dat je met de schoenmaat ook idd rekenvaardigheid meet.  (Misschien geen ideaal voorbeeld.)

[Martijn M]

Ik doelde hier op een DBT met een niet-blinde trainingsfase voorafgaand aan de blinde testsituatie.  Dacht dit duidelijk was uit context maar heb dit idd niet duidelijk geformuleerd.

Sorry, voor mij is dit nog steeds niet duidelijk. Volgens mij staat wat je nu wilt vertellen verspreid over drie posts. Wil je nog één keer bij het begin beginnen? 

Kwestie van vraagstelling icm test- en meetmethode.  Er is een sterke positieve correlatie tussen schoenmaat en rekenvaardigheid.  Daaruit volgt niet dat je met de schoenmaat ook idd rekenvaardigheid meet.  (Misschien geen ideaal voorbeeld.)

Ik merk dat je het vanuit de kant van de statistiek/epidemiologie bekijkt . Een bekend voorbeeld is dat van het aantal aanstekers in een huishouden en de correlatie met de incidentie van longkanker bij de leden van dat huishouden. Het sterke van een blinde luistertest is dat het een experiment is met slechts één variabele. In principe heb je daar dus niet mee van doen.

Toch heb je ook bij blinde luistertests zo'n bekende situatie. Vaak wordt gewerkt met een schakelkastje met relais. Het ene relais schakelt A in, het andere B. Verschillende relais van hetzelfde type maken soms een net iets verschillend schakelgeluidje .

[AbZ]

Sorry, voor mij is dit nog steeds niet duidelijk. Volgens mij staat wat je nu wilt vertellen verspreid over drie posts. Wil je nog één keer bij het begin beginnen? 

Het gaat mij echt alleen om wat in reply #91 staat (incl. quote)
èn -dit staat er los van- de mogelijkheid dat je per abuis iets anders traint.

Ik merk dat je het vanuit de kant van de statistiek/epidemiologie bekijkt . Een bekend voorbeeld is dat van het aantal aanstekers in een huishouden en de correlatie met de incidentie van longkanker bij de leden van dat huishouden. Het sterke van een blinde luistertest is dat het een experiment is met slechts één variabele. In principe heb je daar dus niet mee van doen.

Toch heb je ook bij blinde luistertests zo'n bekende situatie. Vaak wordt gewerkt met een schakelkastje met relais. Het ene relais schakelt A in, het andere B. Verschillende relais van hetzelfde type maken soms een net iets verschillend schakelgeluidje .

Yep aanstekerverhaal is ook zo'n spurious relation.  Probleem betreft juist niet de statistiek; daar is in deze voorbeelden niets mis mee.  Het gaat om de causale keten; die kan anders liggen dan je dacht.  Het klikken van het relais ligt dan wat lastiger omdat het wel een betrouwbare auditieve indicatie kan zijn voor het juiste antwoord.

[Martijn M]

Je suggereert dat ik beweer dat het een probleem van de statistiek is, maar dat is niet zo. Naja, jij bent van de statistiek, dus ik laat 't verder maar aan jou. Mijn vriendinnetje in epidemioloog en zij noemt dat soort zaken volgens mij confounders. Ze gebruikt de statistiek juist om de invloed van confounders te beperken.

Wat betreft het relais heb je gelijk, maar de discussie dwaalt naar mijn mening wel af naar mierenneukniveau .