# Google vs. *ChatGPT*

Ein Online-Experiment mit 212 Teilnehmenden dazu, wie klassische und KI-basierte Informationssuche wahrgenommen werden. Die kurze Antwort: Es kommt darauf an, wie viel auf dem Spiel steht.

> Projektseite: https://clemenshoeller.at/projekte/google-vs-chatgpt
> Gattung: research/experiment

## Eckdaten

- **Arbeit** · Bachelorarbeit
- **Ort** · WU Wien
- **Datum** · Juni 2025
- **Umfang** · Einzelarbeit
- **Ergebnis** · 4 von 5 Hypothesen bestätigt

- Vollständige Arbeit als PDF ↗: https://clemenshoeller.at/projects/bachelorarbeit-suchverhalten-google-chatgpt.pdf

## /01 Die Frage

Die Informationssuche steht am Anfang fast jeder Kaufentscheidung. Zwei Jahrzehnte lang hieß sie Google: Suchbegriff eingeben, Trefferliste überfliegen, Quelle auswählen. Dialogbasierte Systeme wie ChatGPT ändern diese Form grundlegend, weil sie eine Antwort liefern statt einer Auswahl.

Die interessante Frage ist deshalb nicht, welches System besser ist, sondern wofür. Aus der Konsumentenforschung kommt dafür ein brauchbarer Hebel: **Involvement**, also wie viel persönliche Relevanz und wahrgenommenes Risiko in einer Entscheidung stecken. Bei hohem Involvement verarbeiten Menschen Informationen systematisch und prüfen Quellen; bei niedrigem zählt vor allem, dass es schnell und unkompliziert geht.

Daraus wurde die Leitfrage der Arbeit: Verschiebt sich die Präferenz zwischen Google und ChatGPT, je nachdem wie viel auf dem Spiel steht? Fünf Hypothesen wurden aus der Literatur abgeleitet:

1. **H1** Bei High-Involvement-Suchen wird Google bevorzugt, weil ihm höhere Vertrauenswürdigkeit, Aktualität und Nachvollziehbarkeit zugeschrieben wird.
2. **H2** Bei Low-Involvement-Suchen wird ChatGPT bevorzugt, weil die Suche als effizienter und angenehmer empfunden wird.
3. **H3** Unabhängig vom Involvement wird ChatGPT als hilfreicher bei der Entscheidung erlebt und häufiger wiederverwendet oder weiterempfohlen.
4. **H4** ChatGPT erzeugt eine höhere subjektive Entscheidungssicherheit, weil die Empfehlungen strukturiert und zugeschnitten sind.
5. **H5** ChatGPT wird unabhängig vom Involvement als stärker personalisiert wahrgenommen.

## /02 Vorgehen

Kontrolliertes Online-Experiment im **2×2-Design**. Faktor eins war die Suchmethode (Google oder ChatGPT), Faktor zwei das Involvement der Aufgabe. Jede Person bekam per Zufall genau eine der vier Kombinationen und löste die Aufgabe tatsächlich, bevor sie bewertete.

### Die zwei Aufgaben

- **Low-Involvement:** ein Café finden, das sich zum Arbeiten eignet (WLAN, Steckdosen, guter Kaffee). Alltäglich, wenig Risiko, keine tiefe Recherche nötig.
- **High-Involvement:** eine passende Allgemeinmedizinerin oder einen passenden Allgemeinmediziner finden (Bewertungen, Öffnungszeiten, Erreichbarkeit, persönliche Betreuung). Hohe persönliche Relevanz, hohes Informationsbedürfnis.

### Stichprobe & Auswertung

Die Zuteilung lief automatisiert über SoSci Survey als rotierendes Verfahren (Ziehung ohne Zurücklegen). 212 Interviews wurden vollständig abgeschlossen, ungleich verteilt wegen vorzeitiger Abbrüche nach der Zuteilung: Die beiden ChatGPT-Aufgaben wurden etwas seltener zu Ende gebracht.

- ChatGPT · Low: 49 Teilnahmen
- Google · Low: 56 Teilnahmen
- ChatGPT · High: 44 Teilnahmen
- Google · High: 63 Teilnahmen

Bewertet wurde über standardisierte Sieben-Punkt-Skalen. Je Hypothese wurden drei bis vier inhaltlich passende Items zu einem Mittelwert aggregiert und mit einem **unabhängigen t-Test** verglichen. Ergänzend lief je Hypothese eine **Two-Way-ANOVA**, um zu prüfen, ob der Unterschied wirklich an der Plattform hängt und nicht an einzelnen Items oder deren Wechselwirkung. Gerechnet wurde in GraphPad Prism 10.

## /03 Ergebnisse

Vier der fünf Hypothesen wurden bestätigt. Das Muster ist konsistent: Google gewinnt beim Vertrauen, ChatGPT bei Erlebnis und Personalisierung, und bei der Frage, welches System man wieder verwenden würde, trennt sie nichts.

*ChatGPT · Google*

- Vertrauen & Informationsqualität *H1 · High-Involvement*: 4,26 · p < 0,0001 η² 0,18
- Effizienz & Nutzungserlebnis *H2 · Low-Involvement*: 6,19 · p < 0,0001 η² 0,099
- Wiederverwendung & Empfehlung *H3*: 5,33 · p = 0,488 nicht signifikant
- Entscheidungssicherheit *H4*: 5,14 · p = 0,0083 schwacher Effekt
- Wahrgenommene Personalisierung *H5*: 6,14 · p < 0,0001 η² 0,263

*Aggregierte Mittelwerte je Hypothese auf einer Sieben-Punkt-Skala (1 = trifft gar nicht zu, 7 = trifft voll zu). Die Achse beginnt bei 1, weil das der Skalenboden ist. p-Werte aus dem unabhängigen t-Test, η² als Effektgröße.*

### Was in den Zahlen steckt

**H1, bestätigt.** Bei der Arztsuche liegt Google 1,37 Punkte vor ChatGPT, mit einer starken Effektgröße (η² = 0,18). Die ANOVA führt 18,3 % der Gesamtvarianz allein auf die Plattformwahl zurück, und alle vier Einzelitems (Vertrauen, Zweifelsfreiheit, Aktualität, Nachvollziehbarkeit der Quelle) unterscheiden sich signifikant. Das Ergebnis hängt also nicht an einem einzelnen Kriterium.

**H2, bestätigt.** Bei der Cafésuche dreht sich das Bild: ChatGPT liegt 0,90 Punkte vorn, mittlere Effektgröße. Drei der vier Items sind signifikant, nur „einfach zu verwenden“ nicht, was plausibel ist, denn eine Google-Suche ist niemandem zu kompliziert.

**H3, nicht bestätigt.** 5,33 gegen 5,41, p = 0,488, Effektgröße praktisch null. Trotz der klaren Erlebnisvorteile würden die Teilnehmenden ChatGPT nicht häufiger wieder verwenden oder weiterempfehlen als Google. Das ist das interessanteste Ergebnis der Arbeit, weil es zeigt, wie stark Gewohnheit wiegt: Ein besseres Erlebnis in einer einzelnen Aufgabe verschiebt die Standardwahl noch nicht.

**H4, bestätigt, aber schwach.** 0,30 Punkte Unterschied zugunsten von ChatGPT, signifikant im Gesamttest (p = 0,0083), aber kein einziges Einzelitem erreicht für sich Signifikanz. Der Effekt ist real, entsteht aber erst aus der Summe.

**H5, klar bestätigt.** Der deutlichste Befund der Arbeit: 2,07 Punkte Vorsprung für ChatGPT, η² = 0,263, und alle sechs Einzelvergleiche (drei Items in beiden Involvement-Stufen) sind hochsignifikant. Personalisierung ist der eine Punkt, an dem der Dialog dem Trefferlisten-Modell durchgehend überlegen wirkt.

## /04 Einordnung

Die Wahrnehmung digitaler Suchsysteme hängt stark vom Entscheidungskontext ab. Es gibt kein besseres System, es gibt eine bessere Passung.

Für die Praxis im digitalen Marketing folgt daraus vor allem eines: Inhalte künftig nicht nur für Suchmaschinen zu optimieren, sondern auch für dialogbasierte Systeme, weil ein wachsender Teil der Recherche dort stattfindet und dort andere Regeln gelten. Gleichzeitig zeigt H3, dass Vertrauen und Gewohnheit langsamer wandern als das Nutzungserlebnis. Wer daraus ableitet, dass die klassische Suche kurzfristig verschwindet, überliest das Ergebnis.

> **Einschränkungen** — Die Stichprobe wurde nicht zufällig rekrutiert, sondern über soziale Medien, und besteht überwiegend aus digital affinen Personen. Untersucht wurden nur zwei Szenarien, Café und Arztsuche, was die Übertragbarkeit auf andere Produkte begrenzt. Jede Person führte außerdem nur eine einzige Suchinteraktion durch, während reale Recherchen meist mehrstufig verlaufen. Und bei ChatGPT hängt die Antwortqualität stark von der Formulierung des Prompts ab, Unterschiede im sprachlichen Ausdruck der Teilnehmenden können die Bewertung also mit beeinflusst haben.

### Was ich daraus mitgenommen habe

Das Handwerkliche: ein Experiment sauber aufsetzen, Hypothesen aus Literatur ableiten statt aus dem Bauch, Skalen aggregieren, t-Test und ANOVA richtig einsetzen und die Ergebnisse auch dann berichten, wenn eine Hypothese nicht hält. H3 nicht zu bestätigen war im Schreibprozess unangenehm und im Ergebnis der wertvollste Teil.

**Skills daraus:** Experimentaldesign · Datenanalyse & Statistik · t-Tests & ANOVA · Literature Reviews · Wissenschaftliches Arbeiten · GraphPad Prism

## /05 Verwandte Projekte

Die Projekte hängen stärker zusammen, als die Kacheln auf der Startseite vermuten lassen. Hier stehen alle anderen, sortiert nach Nähe zu diesem Projekt:

- [LLMs & Kreativität](https://clemenshoeller.at/projekte/llms-kreativitaet)
- [Prompt Injection](https://clemenshoeller.at/projekte/prompt-injection)
- [Healthcare Fraud Detection](https://clemenshoeller.at/projekte/fraud-detection)
- [KI-Automatisierungen](https://clemenshoeller.at/projekte/ki-automatisierungen)
- [AI Talent Gap](https://clemenshoeller.at/projekte/ai-talent-gap)
- [Consulting-Cases](https://clemenshoeller.at/projekte/consulting-cases)
- [AURORA](https://clemenshoeller.at/projekte/aurora)
- [Zotter-Marketingplan](https://clemenshoeller.at/projekte/zotter-marketingplan)
- [Diese Website](https://clemenshoeller.at/projekte/diese-website)
- [VWA: Entstehung des Internets](https://clemenshoeller.at/projekte/vwa)

---
*Englische Fassung: https://clemenshoeller.at/en/projects/google-vs-chatgpt.md*
*Bachelorarbeit (WU Wien, 2025): Online-Experiment mit 212 Teilnehmenden zum Vergleich klassischer und KI-basierter Informationssuche. Vorgehen, Ergebnisse und Einordnung.*