Signifikanztests bei Mehrfachantworten in SPSS

SPSS Logo

Kann man bei Mehrfachantworten Signifikanztests ausführen? Mehrfachantworten setzen sich typischerweise aus mehreren Variablen zusammen. Z. B. könnte in drei Variablen erfasst werden, welche Zeitungsarten jemand liest: Tageszeitung, Wochenzeitung, Fachzeitschrift. Nun wollen wir wissen, ob es bei den Lesegewohnheiten Geschlechtsunterschiede gibt bzw. anders formuliert, ob Lesegewohnheiten und Geschlecht von einander unabhängig sind.

Chi-Quadrat-Test für Kreuztabellen

Dazu bietet sich der Chi-Quadrat-Test an. Wir könnten für jede Zeitungsart einzeln testen, ob es Geschlechtsunterschiede gibt. Schöner wäre es jedoch, dafür ein Mehrfachantworten-Set zu nutzen, also eine gemeinsame Kreuztabelle mit den Zeitungsarten und dem Geschlecht zu erstellen. In SPSS können wir unter Analysieren – Mehrfachantworten – Kreuztabellen zwar eine solche Tabelle erstellen, jedoch steht hier kein Signifikanztest zur Verfügung.

Chi-Quadrat-Test bei Mehrfachantworten: Benutzerdefinierte Tabellen

Bei den benutzerdefinierten Tabellen (custom tables, ctables) ist dies möglich. Dieses Modul ist nicht im Basisumfang von SPSS enthalten. Wer darüber verfügt, kann unter Analysieren – Tabellen zunächst das Mehrfachantworten-Set definieren, also die Variablen angeben, die gemeinsam als Mehrfachantworten auszuwerten sind. Dann wird eine Kreuztabelle zusammengestellt, und hier steht nun auch der Chi-Quadrat-Test zur Verfügung. Hier ein Syntaxbeispiel:

SPSS-Syntaxbeispiel für Mehrfachantworten mit benutzerdefinierten Tabellen

Oben wird das Set definiert, hier als Dichotomien, d. h. mit 0/1-codierten Variablen.

Unten wird die Kreuztabelle angefordert, wobei das Mehrfachantworten-Set mit dem Dollarzeichen gekennzeichnet ist: „$Zeitungen“. Die Zeile „/sigtest type=chisquare“ fordert den Chi-Quadrat-Test an.

Das Ergebnis kann z. B. so aussehen:

Chi-Quadrat-Test bei Mehrfachantworten: Ergebnisbeispiel

40% der Frauen lesen Tageszeitung, aber 100% der Männer. Alle Frauen (100%) lesen Wochenzeitungen, aber nur 20% der Männer. Die Geschlechtsunterschiede sind deutlich und laut Chi-Quadrat-Test auch signifikant (p=0,006). Allerdings sind in diesem konstruierten Beispiel die Fallzahlen sehr gering. Zu viele Zellen sind zu schwach besetzt, sodass die Ergebnisse sehr vorsichtig zu interpretieren sind.

Hier ein Beitrag zur Interpretation von Mehrfachantworten; vgl. auch den Blogartikel dazu.

In folgendem Videobeitrag zeige ich, wie benutzerdefinierte Kreuztabellen in SPSS gestaltet werden können:

Zur Auswahl des passenden statistischen Tests siehe den Beitrag Methodenberatung: Welcher statistische Test passt zu meiner Fragestellung und meinen Daten?

41 Gedanken zu „Signifikanztests bei Mehrfachantworten in SPSS“

  1. Hallo Wolf,

    wie kann ich vorgehen, wenn ich mehr Zellen einer Häufigkeit >5 habe. Ich teste das Interesse an Arbeit auf Reisen (Ja + Nein) zusammen mit Interesse an sportlicher Bewegung (Mehrfachantworten). Die Nein-Antworten haben hier nur gering etwas ausgewählt. Die meisten Antworten basieren auf Ja (Interesse an Arbeit auf Reisen und Ja Interesse an Bewegung zum Beispiel)
    Ich hoffe, du kannst mir helfen.

    Lieben Gruß
    Yvonne

    1. Meinst Du <5? Sonst wäre es unproblematisch. Sorry, ich arbeite gar nicht mehr mit SPSS. Alternative zu „normalen“ Chi-Quadrat-Tests bei kleinen Fallzahlen ist Fisher’s Exact Test. Ich weiß nicht, wie SPSS das aktuell bei Mehrfachantworten handhabt.

      1. ja entschuldige, ich meinte <5. Weißt du, wie ich die Stärke des Zusammenhangs mit Fisher's Exact hinbekomme? (beim Chi-Quadrat ist es ja die Post Hoc Analyse mit Bonferroni Korrektur). Leider kommen bei mir sonst kaum Zusammenhänge raus. (auch nicht mit Fishers Exact. SPSS führt den Fischers Exact (nach Halton-Freeman) manchmal auch gar nicht durch, wenn es zu viele Zellen sind (angeblich wegen des Speichers). Wenn ich all meine Zellen nutzen könnte (ohne sie vorher nochmal zu kategorisieren) mit Fischers-Freeman-Halton Exact Test (Weil Chi wegen <5 nicht funktioniert) und dann Zusammenhänge analysieren könnte wäre es perfekt. Ich habe eigentlich auch genug Speicher…Es ist ganz komisch

        1. Tut mir leid, da stecke ich ohne SPSS-Zugang nicht mehr so drin. Es kann tatsächlich sein, dass der Fisher-Test sehr viel Speicher benötigt. Bei vielen Zellen mit Häufigkeiten <5 sind Signifikanztests sehr begrenzt aussagekräftig, auch mit Fisher. Ich würde Zellen zusammenfassen oder nur deskriptiv beschreiben, je nachdem, was inhaltlich sinnvoller erscheint.

  2. Hallo Wolf.

    Ist es möglich für ein Mehrfachantwortenset auch den Chi quadrat test für eine ordinale und eine nominale Variable herauszufinden? Im meinem Fall will ich den Chi-Quadrat Test machen mit der Kaufbereitschaft eines Eletrkofahrzeuges (4rer Skalierung 1: Ja auf jeden Fall, 2: Eher ja usw.) und dem Fahrzeugtyp nach dem die Rezipienten suchen (Neuwagen/Gebrauchtwagen etc.) in denen eine Mehrfachauswahl möglich war. Kaufbereitschaft ordinal -> Fahrzeugtyp nominal (Mehrfachauswahl möglich). Kann ich für diese beide Variablen mit der benutzerdefinierten Tabelle mit dem Chi Quadrat test auf Unabhänigkeit der beiden Variablen testen wie im Video beschrieben?

    Viele Grüße, Stefan

    1. Hallo Stefan,
      der Chi-Quadrat-Test berücksichtigt nicht die Rangfolge der Kategorien. Mir fällt spontan kein Test ein, der genau das abdeckt. Wenn man Fahrzeugtyp dichotomisiert (zwei Ausprägungen, z. B. Neuwagen vs. Gebrauchtwagen, mit eindeutiger Festlegung), kann man mit korrelationsbasierten Zusammenhangsmaßen arbeiten.

      1. Hallo Wolf. Vielen Dank für die schnelle Antwort. Der chi-quadrat test ergibt das kein Zusammenhang zwischen den Variablen besteht (p-wert >0.05). Selbst wenn die Rangfolge nicht berücksichtigt wird, ist das ja bereits eine Aussage das die Variablen unabhängig voneinander sind. Oder ist das statistisch falsch?

        Bei einer Einfachauswahl(Alter der Rezipienten) vergleich mit der Kaufbereitschaft (ordinal wie oben beschrieben 4rer Skala) kann das aber ganz normal über Kreuztabellen-> Chi-Quadrat test analysiert werden ? Auch mit einer Rangfolge Variable wie in meinem Fall die Kaufbereitschaft?

        Viele Grüße,

        Stefan

        1. Hallo Stefan,
          Es gibt keine Garantie, dass nicht ein anderer Test doch signifikant wird … Bei Ordinalskalen würde ich Tests bevorzugen, die das Skalenniveau berücksichtigen: Rangkorrelationen.

  3. Hallo Wolf!

    Vielen Dank erstmal für die Erklärungen!
    In Quantitative Methoden 2 (Rasch et al., 2006) wird als eine Voraussetzungen für einen Chi²-Test „jede untersuchte Person kann eindeutig einer Kategorie bzw. Merkmalskombination zugeordnet werden“.
    Ist dann ein Chi²-Test bei Mehrfachantworten überhaupt zulässig?
    …..
    Jetzt hab ich gerade noch Deinen Kommentar oben gesehen : „dass Signifikanztests bei Mehrfachantworten gar nicht möglich bzw. nicht sinnvoll sind“

    Wie bist Du dann darauf gekommen? Gibt es Literatur dazu? Und ist dann nicht der ganze Artikel hinfällig?

    Vielen Dank!
    Christoph

    1. Hallo Christoph,
      bin schon eine Weile weg von SPSS … Zu manchen Verfahren gibt es durchaus unterschiedliche Meinungen in der Literatur. Jedenfalls ist dieser Test hier von SPSS für diesen Anwendungsfall vorgesehen, es werden ja auch Freiheitsgrade berechnet (andere als beim Chi-Quadrat-Test ohne Mehrfachantworten).

  4. Hallo Wolf,

    vielen Dank für das plakative Beispiel. Zwei Fragen drängen sich mir noch auf.
    Möchte ich z.B. wissen bei welcher Zeitungsart sich die Geschlechter unterscheiden, würde ich einzeln vorgehen und für jede Zeitungsart den 2×2 Chi² Test rechnen.

    Fiktives Ergebnis: Signifikante Unterschiede gibt es bei der Tages und Wochenzeitung, bei den Fachmagazinen nicht.

    Mein Frage wäre, muss ich diese Einzeltests auch Bonferroni korrigieren?
    Meine Vermutung wäre nein, da ich mit jedem Test eine andere Hypothese prüfe, sicher bin ich mir dabei allerdings nicht.

    Und bei Ihrem Gesamtergebnis 0,06 –> ist dieses bereits gegen die Alpha-Fehler Kumulierung abgesichert?

    Vielen Dank und beste Grüße

    1. Hallo Jaden,
      der Chi-Quadrat-Test ist ein globaler Test, da wird nur ein empirischer Kennwert (Chi-Quadrat) gegen eine theoretische Verteilung getestet. Nach meinem Verständnis gibt es da keine Alpha-Fehler-Kumulierung.
      Falls mehrere Einzeltests: Ja, ich denke hier ist eine Korrektur angebracht.
      Ich arbeite inzwischen mit R. Da gibt es die einfach nutzbare Funktion p.adjust(). Oder, etwas eleganter, logistische Regression und anschließend lsmeans (Zusatzpaket).

      1. Herr Wolf,

        ich bedanke mich recht herzlich für Ihre Hilfe und den Tipp!
        Ihre Reaktionszeit ist wirklich außergewöhnlich !!

        Vielen herzlichen Dank!

  5. Hallo Wolf,
    vielen Dank für die guten Erklärungen. Ich habe folgende Frage:
    Ist es möglich mit dem Mehrfachantworten-Set einen MW bzw. Median zu berechnen?
    Meine Variable ist ordinal bzw. intervallskaliert.
    Vielen Dank im Voraus für Hinweise!
    Beste Grüße
    Mira

    1. Hallo Mira,
      ich weiß nicht, ob das sinnvoll ist. Mehrfachantworten werden nach meiner Erfahrung kategorial interpretiert. Typisch für Mehrfachantworten ist, dass der Befragte unterschiedlich viele Antworten geben kann. Wie soll man einen Median oder Mittelwert interpretieren?
      Wie lautet denn die Mehrfachantworten-Frage, und was soll damit herausgefunden werden?
      Wolf

  6. Hallo Wolf,
    vielen Dank für die tolle Erklärung.
    Ich habe folgendes Problem: die abhängige Variable ist metrisch skaliert.. Kann ich die Mehrfachantworten der unabhängigen Variable dann überhaupt verwenden um zu testen, ob es einen signifikanten Zusammenhang zwischen beiden Variablen gibt?
    Über eine Antwort freue ich mich sehr!
    Liebe Grüße,
    Rebecca

    1. Hallo Rebecca,
      das ist ein anderer Anwendungsfall als im Blogbeitrag. Ich würde mit Dummyvariablen für die Antwortoptionen arbeiten (z. B. Tageszeitung ja/nein, Wochenzeitung ja/nein usw.). Dann kann man für jede Variable prüfen, ob es signifikante Mittelwertsunterschiede zwischen „Option gewählt“ und „Option nicht gewählt“ bei der metrischen Variablen gibt. Es geht auch in einem gemeinsamen Modell, z. B. Anova / Regression.

  7. Hallo Wolf,

    ich stoße auf der Suche nach Analysemöglichkeiten von Mehrfachantworten immer wieder auf das Beispiel der Untersuchung zwischen Mann und Frau.
    In meinem Fall interessiert mich aber eigentlich der Unterschied zwischen den verschiedenen Antwortmöglichkeiten.
    Um es auf dein Beispiel anzupassen: Die Leute haben die Wahl zwischen Tageszeitung, Wochenzeitung und Weder noch. Ich möchte nun schauen, ob es Unterschiede zwischen den einzelnen möglichen Antworten gibt und daraus ableiten, welche Zeitung man am besten produzieren sollte (weil sie mehr Abnehmer findet).

    Liebe Grüße
    Marius

    1. Hallo Marius,
      wenn ich Dich recht verstehe, geht es Dir gar nicht um eine Kreuztabelle, sondern nur um das Merkmal mit den Mehrfachantworten. Und Du willst wissen, ob eine Option signifikant häufiger genannt wurde als andere. Da gibt es verschiedene Möglichkeiten und es kommt auf die Hypothese an, die Du testen möchtest. Z. B. wurde Option A signifikant häufiger genannt als alle anderen? Oder häufiger als eine bestimmte andere Option? Für den Test würde ich nicht mit dem Mehrfachantworten-Set arbeiten (das für eine deskriptive Tabelle sinnvoll ist), sondern mit den einzelnen Variablen für jede Option. Schau Dir mal den McNemar-Test an. Voraussetzung ist, dass Du die Antworten zu Option A in einer Variable hast. (Gegenbeispiel: Variablen wie Antwort1, Antwort2, Antwort3, und in jeder könnte Option A genannt werden. Dann müsstest Du umcodieren.)

      1. Hey Wolf,

        danke für die schnelle Antwort. Genau, es geht mir darum zu wissen, ob eine Option signifikant häufiger geannt wurde als eine andere. Ehrlich gesagt, arbeite ich auch nicht mit SPSS und daher auch nicht mit den Sets, ich fand trotzdem, dass mir die Erklärung weiter näher gebracht hat, dass meine Frage nicht durch einen Chi²-Test beantwortet werden kann.

        Mein Datensatz ist so aufgebaut, dass ich für jede Antwortmöglichkeit eine Variable habe, die durch 0 und 1 (nein, ja) dummy-kodiert ist.

        Von dem Test hatte ich bisher noch gar nichts gehört. Aber das, was ich jetzt so gelesen habe, lässt mich darauf schließen, dass das ja eigentlich ein chi²-test für Messwiederholungen ist, oder sehe ich das falsch? In dem Fall würde das denke ich auch nicht so ganz auf mein Problem passen, da es ja kein AB Test sein soll.

        1. Dummycodierung ist gut. Ja, Messwiederholung klingt erst mal ungewöhnlich, aber ich denke das trifft es. Du hast ja keinen Gruppenvergleich. Wenn ich es richtig verstehe, konnte jeder Befragte sich zu jeder Option äußern. Also sozusagen abhängige Stichproben.

          1. Ja, da hast du recht. Ich werde es mal so behandeln und den McNemar Test nutzen. Vielen Dank für den Input!

          2. Hallo Wolf,

            ich habe genau das selbe Problem wie Marius beschrieben.Ich habe eine Frage mit Mehrfachantworten, aus denen im SPSS Datensatz für jede Antwortmöglichkeit eine Variable erstellt wurde.Ich möchte nun auch statistisch prüfen, ob eine Antwortmöglichkeit statistisch signifikant häufiger ausgewählt wurde und nicht nur Häufigkeiten vergleichen. Kannst du mir weiterhelfen und sagen wie ich das (mit welchem Test) in SPSS testen kann? McNemar-Test war bei mir nicht erfolgreich, da mir das nur in den Kreuztabellen angeboten wird und ich eben kein Vergleich von 2 verschiedenen Fragen vornehmen möchte.

            Vielen Dank vor ab,

            Viele Grüße,

            Stefan

          3. Hallo Stefan,
            für mich klingt es ähnlich wie bei Marius nach McNemar-Test. Die Herausforderung ist dann meines Erachtens, die Daten so aufzubereiten (durch Umcodieren von Variablen), dass der McNemar-Test anwendbar wird und genau die beabsichtigte Frage beantwortet. Vielleicht so: Var1 = die häufigste Antwortmöglichkeit; Var2 = zweithäufigste Antwortmöglichkeit –> McNemar. Beantwortet die Frage, ob Var1 sig. häufiger ausgewählt wurde als Var2.

          4. Hallo Wolf,

            vielen Dank für deine Nachricht. Meinst du mit umkodieren eine neue Variable zu erstellen?

            Var1= Antwortmöglichkeit A ; Variable2 = Antwortmöglichkeit B etc. -> Zusammen als eine neue Variable?

            Diese Variablen (Var1; Var2 etc.) sind bei mir dummy kodiert mit 1= wurde ausgewählt und 0= wurde nicht ausgewählt.

            Den Test hab ich verstanden, leider nur noch nicht wie genau im meinem Fall dieser in SPSS umsetzbar ist.

            Wäre dir sehr dankbar, wenn du mir das nochmal präziser beschreiben könntest.

            Viele Grüße,

            Stefan

          5. Wenn sie schon dummy-codiert sind, müsste doch McNemar mit zwei Variablen bereits funktionieren?

          6. Analysieren-> nicht parametische Tests -> Verbundene Stichproben-> Testvariable , Auswahl von zwei Variablen (Zwei Antwortmöglichkeiten) -> Ergebnis nur eine Kreuztabelle, wie oft diese beiden Antwortmöglichkeiten gemeinsam ausgewählt wurden und in der Tabelle des McNemar test steht in allen drei Spalten Wert, df. usw. nur jeweils in „.“

          7. Sorry, da ist eine Ferndiagnose schwierig. Vielleicht ist „nicht ausgewählt“ als Fehlwert definiert? Beide Möglichkeiten, ausgewählt und nicht, sollten gültige Werte sein (auch keine benutzerdefinierten Fehlwerte).

          8. Hallo Wolf, vielen Dank für den Hinweis. Nun kann ich auch den McNemar Test von zwei Variablen in der Kreuztabelle berechnen. Eine letzte Frage hätte ich noch diesbezüglich. Ist es auch möglich nicht nur Anwortmöglichkeit A (VariableA) mit Antwortmöglichkeit B (Variable B) zu vergleichen, sondern gleich für alle zu testen ? Signifikanter Unterschied von Antwortmöglichkeit A(VariableA) zu allen Antwortmöglichkeiten/Varbiablen im meinem Fall fünf stück.

            Viele Grüße

          9. Hallo Stefan,
            ich arbeite nicht mehr mit SPSS … Weiß nicht, ob man das automatisieren kann. Eine Möglichkeit: die am häufigsten oder seltensten gewählte Antwort für den Sig.test rauspicken. Oder: mehrere Einzeltests. In dem Fall würde ich das alpha-Niveau allerdings anpassen (geht wahrscheinlich nur manuell, also nachträglich). Test nicht mit der 0,05-Schwelle, sondern strengerer Schwelle. Stichwort Alpha-Fehler-Kumulierung. Mögliche Anpassung: Bonferroni. Dafür teilt man das gewünschte p-Niveau durch die Anzahl der Einzelvergleiche. Beispiel: Bei 3 Einzelvergleichen muss p < 0,017 sein (0,05 / 3), um als signifikant angesehen zu werden.

        2. Hallo Wolf,

          vielen Dank für den Tipp. Sie haben mir allgemein sehr weitergeholfen bei der Auswertung meiner Daten!!!

          Besten Dank,

          Stefan

  8. Lieber Wolf,

    ich hab noch mal eine Frage. Kann es sein, dass beim Chi-Quadrat-Test mit den benutzerdefinierten Tabellen die falsche Anzahl an Freiheitsgraden anzeigt wird? Die berechnen sich doch durch (Anzahl der Zeilen -1 ) x (Anzahl der Spalten -1). Das wäre ja dann in deinem Beispiel oben (Geschlecht/Wochenzeitung) ein df = 2. In der Tabelle wird aber df = 3 angezeigt. In meinen Tabellen kommt auch immer ein höheres df raus als mit der Formel. Weißt du woran das liegt? Wäre sehr dankbar über eine Antwort!

    Viele Grüße,
    Leonie

    1. Liebe Leonie,
      gut aufgepasst – spannender Hinweis! Ich denke es hängt mit der Besonderheit der Mehrfachantworten zusammen. Hier würde ich die Freiheitsgrade berechnen als (Anzahl Geschlechter minus 1) mal (Anzahl Mehrfachantwort-Optionen), also (2-1) * 3 = 1 * 3 = 3.

      Die Idee der Freiheitsgrade verstehe ich so:
      Wenn sich ein Leser für eine von den drei Zeitungen aus dem Beispiel oben entscheiden muss (Einfachantwort, single choice) und ich weiß, dass er sich nicht für die Tageszeitung und nicht für die Wochenzeitung entschieden hat, dann ist klar, dass es das Fachmagazin sein muss. Das heißt kenne ich die Antwort auf die ersten beiden Optionen, dann steht schon fest, ob die dritte Option gewählt wurde oder nicht. So verliere ich einen Freiheitsgrad – der dritte Wert kann nicht frei variieren.

      Bei Mehrfachantworten ist das anders: Jede Option kann gewählt werden, unabhängig davon, ob andere Optionen gewählt wurden oder nicht. Wenn ich weiß, ob jemand sich für Tages- und Wochenzeitung entschieden hat, weiß ich noch nicht, ob er auch (ggf. zusätzlich) das Fachmagazin liest. Ich verliere keinen Freiheitsgrad, jeder Wert kann frei variieren.

      Nlachvollziehbar?

      Viele Grüße!

      1. Das klingt sehr einleuchtend! Mit dieser Formel komme ich nun auch immer auf den angezeigten Wert. Tausend Dank, das war eine sehr große Hilfe! Liebe Grüße

  9. Danke!

    Das mag eine dumme Frage sein, aber welchen N-Wert gebe ich dann beim korrekten Berichten des Chi²-Wertes an?
    Ich habe z. B. 257 Personen, die auf meine MC-Frage geantwortet haben. Zählt man alle Antworten einzeln, komme ich auf 715 Reaktionen.
    Ist es dann χ²(7, N = 257) = 37.03, p < .001 oder χ²(7, N = 715) = 37.03, p < .001?

    1. Hallo Air,
      sehr gute, berechtigte Frage! In einem Statistik-Forum hab ich die Erklärung gefunden, dass Signifikanztests bei Mehrfachantworten gar nicht möglich bzw. nicht sinnvoll sind … Ich würde es ausführlich machen und beide Fallzahlen berichten: N (Personen)=257, N (Antworten)=715.

      1. Hallo Wolf,

        ich habe bereits einige Chi-Tests mit Mehrfachangaben und benutzerdefinierten Tabellen durchgeführt und benötige nun noch jeweils das Cramérs V als Effektstärke. Das muss ich ja dann von Hand ausrechnen. Weißt du welches N ich dafür nehme? Die Anzahl der Fälle oder der Nennungen?

        Und gibt es denn eine zitierbare Quelle dafür, dass Signifikanztests bei Mehrfachangaben eigentlich gar nicht möglich bzw. nicht sinnvoll sind?

        Viele Grüße,
        Leonie

        1. Hallo Leonie,
          sorry, hab grad keine Quelle zur Hand und komme leider nicht dazu, das zu recherchieren. Ich würde die kleinere Fallzahl berichten (also Fälle, nicht Nennungen), denn sonst könnte man ja bei einer kleinen Stichprobe höhere Ns erreichen, indem man ganz viele Mehrfach-Optionen anbietet … Das käme mir nicht sauber vor.

          1. Ok, danke dir! Ich war mir eben nicht sicher, ob die Berechnung des V mit der Anzahl der Fälle nicht verfälscht wird. Da ja der Chi-Wert ja auch auf der Anzahl der Nennungen basiert.

Freue mich über Kommentare!

Wir benutzen Cookies um die Nutzerfreundlichkeit der Webseite zu verbessen. Durch Deinen Besuch stimmst Du dem zu.