Correct opzetten van een DBT ?

[morca]

In theorie heb je gelijk, maar als ik de terminologie zie waarmee mensen hun luisterervaringen beschrijven en apparaten beoordelen (en de meningsverschillen daarover), ('meer zwart', 'muzikaler', 'meer transparantie'), is dit best een hele dobber. Als je het tot eenvoudige aspecten beperkt zoals hoog/laagweergave kan je het net zo goed of beter gewoon meten.

Dat moet je aan iemand anders vragen,ik ligt zijn mening toe 
Lijkt me relevant voor de TS Abz 
Want vroeg of laat begint er iemand over meten,in dit geval,zie bovenstaande reactie.

[AbZ]

Ja daar begon hij idd over, maar dat was niet de vraag van de TS.
Als je iets meet dan weet je nog steeds niet (of niet altijd) of het beter klinkt, dat ben ik met jou eens.

[morca]

Tja dan was de meting niet geschikt of niet precies genoeg.  Kan gebeuren.

Voordeel van testen met mensen is natuurlijk dat het op gehoor gebeurt.

Ok duidelijk waren we het toch eens.
Zat je hier een beetje te zuigen?,je mag wel een lolly van me 

[AbZ]

Nee hoor    ik zeg alleen dat meten niet altijd aan je verwachtingen voldoet.
Ik begrijp niet waarom dat zo erg is.

[morca]

Nee hoor    ik zeg alleen dat meten niet altijd aan je verwachtingen voldoet.
Ik begrijp niet waarom dat zo erg is.

Grapje Abel,doet het ook niet.
Het is een leidedraad naar de goeie weg in sommige gevallen.
Waar ik het voor gebruik wel,in dit geval.....
Ik heb geen ervaring met meten van dergelijke apparatuur.

[AbZ]

Ik denk dat jij ook wel weet dat de freq respons of waterval niet het hele verhaal is.
Voor sommige dingen is meten gewoon moeilijker dan luisteren.

[morca]

Ik denk dat jij ook wel weet dat de freq respons of waterval niet het hele verhaal is.
Voor sommige dingen is meten gewoon moeilijker dan luisteren.

Alleen een geleide bij hoe ik het inzet.
Inregeling van speakers sub,s of beide,maar genoeg oftopic daarover
Voor andere dingen heb ik geen mening,nooit gemeten of erbij gezeten hoe.


Freq response en zeker de waterfall heeft niks met het ontwerp van gemeten hardware te maken idd.
Dan spelen vervorming en S/R en dynamisch bereik weer een grotere rol.

[VlisChris]

Zat je hier een beetje te zuigen?,je mag wel een lolly van me 

Als hij hem afslaat . . .

[Martijn M]

Wat 'beter' klinkt, is subjectief. Van welke mensen wil je het oordeel weten? Van doorsnee consumenten, of juist van mensen met een meer getraind gehoor?

Ik zou willen voorstellen eerst een kleine pilot te doen, om te bepalen of het onder blinde condities überhaupt mogelijk is om verschil tussen twee fatsoenlijke streamers te horen. Zo niet, dan kun je je een hoop moeite besparen. AbZ merkt terecht op dat als je wilt dat mensen aangeven wat ze beter vinden, je eenzijdig moet toetsen. Het kan zo zijn dat de smaak van mensen flink verschilt, waardoor sommigen de ene streamer en anderen de andere streamer beter vinden. Weg power van je test. Denk je dat de verschillen tussen de twee streamers dusdanig zijn dat de luisteraars een eenduidige voorkeur zullen hebben?

Ik zou overigens graag meedoen als luisteraar in je panel  .

[AbZ]

Zo niet, dan kun je je een hoop moeite besparen.

Helaas niet waar... 
Het zijn conceptueel twee verschillende vragen die tot verschillende operationalisaties kunnen leiden.

Het is best mogelijk dat mensen twee dingen niet (bewust) kunnen onderscheiden in bv een ABX opzet
maar wel een van beide dingen een cijfer geven dat gemiddeld net iets hoger ligt.

(In dat geval volgt daaruit natuurlijk wel dat ze verschil horen maar de testopzet is wezenlijk anders.)

[Martijn M]

Hmm... dit vind ik wat lastig om voor te stellen. Zeg je nu dat je mogelijk een grotere kans hebt dat je subjecten een verschil horen als je hen vraagt welke van de twee ze beter vinden, dan als je vraagt of X gelijk is aan A, dan wel B? Heb je wellicht een bepaald onderzoek in gedachten dat dit punt kan illustreren?

[AbZ]

Hmm... dit vind ik wat lastig om voor te stellen. Zeg je nu dat je mogelijk een grotere kans hebt dat je subjecten een verschil horen als je hen vraagt welke van de twee ze beter vinden, dan als je vraagt of X gelijk is aan A, dan wel B? Heb je wellicht een bepaald onderzoek in gedachten dat dit punt kan illustreren?

Het is niet afhankelijk van je voorstellingsvermogen.  Het gaat erom dat het een andere testopzet is, waarmee iets anders getest wordt.  Ik heb niet direct een illustratie in gedachten maar die er zullen er wel zijn in de psychologie.  (btw Het verschil zit niet per se in de beoordelingsschaal of in het bewust beoordelen; het kan bv ook om reactietijd gaan.) 

p.s. re "Zeg je nu dat je mogelijk een grotere kans hebt dat je subjecten een verschil horen als je hen vraagt ..."

Nee dat zeg ik niet, hoewel een vraag leidend kan zijn.  (p.p.s. Nog een beetje toelichting:  Het is wel mogelijk maar ik verbind er geen kansen aan, of iig niet in het algemeen.  Dit hangt namelijk ook af vd power van je test en vh soort van verschil.)  De eerste vraag is gewoon wat jij wil weten van wat zij horen; niet waar je meer kans op hebt.

[htlucky]

Wat 'beter' klinkt, is subjectief. Van welke mensen wil je het oordeel weten? Van doorsnee consumenten, of juist van mensen met een meer getraind gehoor?

Ik zou willen voorstellen eerst een kleine pilot te doen, om te bepalen of het onder blinde condities überhaupt mogelijk is om verschil tussen twee fatsoenlijke streamers te horen. Zo niet, dan kun je je een hoop moeite besparen. AbZ merkt terecht op dat als je wilt dat mensen aangeven wat ze beter vinden, je eenzijdig moet toetsen. Het kan zo zijn dat de smaak van mensen flink verschilt, waardoor sommigen de ene streamer en anderen de andere streamer beter vinden. Weg power van je test. Denk je dat de verschillen tussen de twee streamers dusdanig zijn dat de luisteraars een eenduidige voorkeur zullen hebben?

Ik zou overigens graag meedoen als luisteraar in je panel  .

Gezien dit eigenlijk een soort coca cola VS pepsi test is, is het doel niet op zich A vs B in een random selectie te onderscheiden, maar wel dat men kan aangeven of ze A of B beter beter vinden ... uiteraard blind.

Dus een test waarbij men niet weet wat A en B zijn, maar waarbij gezegd wordt: nu speelt A, nu speelt B, vink maar aan wat het beste is.
En dat zou je voor een aantal nummers kunnen herhalen, en dan per nummer tellen hoeveel preferenties bij A en hoeveel bij B.

Per intake zou je dan als definitie of A of B beter is, laten afhangen welke het meeste vinkjes heeft gekregen als beste.

Om te concluderen of de concurrent echt beter is, zou bvb in minstens 80% van de intakes het aantal bolletjes bij de concurrent hoger moeten zijn dan bij het eigen toestel.

Wat denken jullie van deze werkwijze ?

[AbZ]

Niet zeggen "nu speelt A, nu speelt B" want dan maak je opeenvolgende trials mede afhankelijk van wat eraan voorafging.

Elke keer beide laten horen en dan vragen welke beter klinkt, "X of Y", waarbij niet duidelijk mag zijn of A altijd X is.

Dit moet gerandomiseerd gebeuren (dus willekeurig afgewisseld, soms A=X en soms A=Y).

[AbZ]

Gezien dit eigenlijk een soort coca cola VS pepsi test is, is het doel niet op zich A vs B in een random selectie te onderscheiden, maar wel dat men kan aangeven of ze A of B beter beter vinden ... uiteraard blind.

Dus een test waarbij men niet weet wat A en B zijn, maar waarbij gezegd wordt: nu speelt A, nu speelt B, vink maar aan wat het beste is.
En dat zou je voor een aantal nummers kunnen herhalen, en dan per nummer tellen hoeveel preferenties bij A en hoeveel bij B.

Per intake zou je dan als definitie of A of B beter is, laten afhangen welke het meeste vinkjes heeft gekregen als beste.

Om te concluderen of de concurrent echt beter is, zou bvb in minstens 80% van de intakes het aantal bolletjes bij de concurrent hoger moeten zijn dan bij het eigen toestel.

Wat denken jullie van deze werkwijze ?

Die 80% betekent heel iets anders bij 4 uit 5 dan bij 800 uit 1000. 
Zo werkt dat dus niet voor statistiek. 

Het gaat hierom:  http://nl.wikipedia.org/wiki/Onderscheidend_vermogen
Zie ook de Engelse Wiki, http://en.wikipedia.org/wiki/Statistical_power (geeft wat meer uitleg).

[htlucky]

Die 80% betekent heel iets anders bij 4 uit 5 dan bij 800 uit 1000. 
Zo werkt dat dus niet voor statistiek. 

Het gaat hierom:  http://nl.wikipedia.org/wiki/Onderscheidend_vermogen
Zie ook de Engelse Wiki, http://en.wikipedia.org/wiki/Statistical_power (geeft wat meer uitleg).

dat begrijp ik wel, maar hoe groot moet je groep zijn alvorens het betrouwbaar wordt ....

[AbZ]

dat begrijp ik wel, maar hoe groot moet je groep zijn alvorens het betrouwbaar wordt ....

Dat zal van je test afhangen.

statistical power calculator 

Zie ook  http://effectsizefaq.com/2010/05/31/how-do-i-calculate-statistical-power/

maar je moet eerst je vraagstelling helder krijgen:  dat is nog niet zo 
Ik zie bijvoorbeeld geen keuze tussen:
- vindt 'men' het beter klinken?
- vinden sommigen het beter klinken? (individuele verschillen)

[morca]

dat begrijp ik wel, maar hoe groot moet je groep zijn alvorens het betrouwbaar wordt ....

Gaat niet om de groep imo,maar hoe getraind ze zijn /doorgewinterde audiofiel .
Maar luisterd,zoals Martijn ook al aanhaald.
Dus leden die niet per direct metingen of spec,s geloven,maar ook erg op hun oren vertrouwen.

Dan is er altijd nog de kwestie smaak geeft de ene kaart iets meer saus ergens zal dat bij sommige beter worden beoordeeld./
Maar bij sommige ook niet,.....welke kaart dan het beste is......

[htlucky]

Dat zal van je test afhangen.

statistical power calculator 

Zie ook  http://effectsizefaq.com/2010/05/31/how-do-i-calculate-statistical-power/

maar je moet eerst je vraagstelling helder krijgen:  dat is nog niet zo 
Ik zie bijvoorbeeld geen keuze tussen:
- vindt 'men' het beter klinken?
- vinden sommigen het beter klinken? (individuele verschillen)

Een flinke meerderheid moet het beter vinden hé .... dus bvb targets kunnen zijn 60%, 75%, 80% ... en je moet uiteraard voldoende kandidaten zo'n test laten doen anders kan 1 persoon meer of minder direct voor 5% gaan tellen (stel dat je met 20 man zou testen) ....

[AbZ]

Een flinke meerderheid moet het beter vinden hé .... dus bvb targets kunnen zijn 60%, 75%, 80% ... en je moet uiteraard voldoende kandidaten zo'n test laten doen anders kan 1 persoon meer of minder direct voor 5% gaan tellen (stel dat je met 20 man zou testen) ....

Ach ja 

Weet je, testen is helemaal niet zo ingewikkeld.  Het probleem is dat mensen vaak denken dat ze het al snappen...  terwijl dat nog lang niet zo is.  Dan stoppen ze (of beginnen ze niet eens) met nadenken.  Dat is ongeveer waar je nu bent.  Als je een belang hebt bij een zinnige test dan is mijn beste advies om eerst maar eens goed te gaan lezen.  Succes!

[morca]

Je moet ook geen denkers nemen,die menen dingen te horen.
Als je op het forum rondkijkt zal je zien dat er best een clubje subjectieve luisteraars zijn.

Ik zou Martijn zeker uitnodigen,ligt aan de lokatie of ik ook wel mee wil doen.

[AbZ]

Je moet ook geen denkers nemen,die menen dingen te horen.

  Kan kloppen voor luisteren...

maar als je een goede testopzet wil moet je wel eerst ff nadenken 

[morca]

  Kan kloppen voor luisteren...

maar als je een goede testopzet wil moet je wel eerst ff nadenken 

Idd 

[htlucky]

Dat zal van je test afhangen.

statistical power calculator 

Zie ook  http://effectsizefaq.com/2010/05/31/how-do-i-calculate-statistical-power/

maar je moet eerst je vraagstelling helder krijgen:  dat is nog niet zo 
Ik zie bijvoorbeeld geen keuze tussen:
- vindt 'men' het beter klinken?
- vinden sommigen het beter klinken? (individuele verschillen)

Damn .... die link is echt chinees ...

bedoel dan


    the effect size
    the sample size (N)
    the alpha significance criterion (α)
    statistical power, or the chosen or implied beta (β)

zeker de laatste twee parameters ... is er geen guide for dummies

Anderzijds, marketing bureau's die bvb testen organiseren, die moeten toch ook criteria hebben waarmee ze werken ? Heb ooit zo eens een chips test gedaan, werd op straat aangesproken, en dan moesten we blind chips vergelijken die anders gekruid waren ....

Er waren dan ook intake forms en op die data werd nadien wellicht hard gerekend of onderzocht.