Wie intelligent ist Künstliche Intelligenz? Wolfgang Wiese, Leiter der Abteilung Ausbildung und Information am RRZE, hat das neue Sprachmodell von Google auf seine Tauglichkeit überprüft: Und plötzlich weiß Google angeblich von einer vertraulichen Studie, deren Quelle aber unbekannt ist.
Große Begeisterung löste OpenAI mit dem Sprachmodell ChatGPT aus. Google musste deshalb mit einer eigenen KI-Dialoglösung nachlegen, sicherlich auch getriggert durch Microsofts Kauf von ChatGPT und die Nutzung für Bing. So wurde in dieser Woche nun Googles KI-Sprachmodell namens Bard unter der Domain bard.google.com freigegeben.
Folgendermaßen beschreibt Google bzw. Bard sich selbst:
„Google Bard ist ein experimentelles Chatbot-KI-Projekt von Google AI. Bard ist ein Sprachmodell (LLM), das auf einem riesigen Datensatz aus Text und Code trainiert ist. Es kann Texte generieren, Sprachen übersetzen, verschiedene Arten von kreativen Inhalten schreiben und Fragen auf informative Weise beantworten.
Bard befindet sich noch in der Entwicklung und wird ständig verbessert. Der Hinweis auf Experiment bedeutet, dass Bard nicht für den allgemeinen Gebrauch verfügbar ist und seine Funktionen und Leistung noch nicht vollständig getestet wurden.“
Auch ChatGPT wurde mit ähnlicher Vorsicht in der Wortwahl veröffentlicht. Zeigte aber da bereits sehr gute Ergebnisse. Eine Gelegenheit dem neuen Bot mal auf die Algorithmen zu klopfen.
Google kann durch seine Suchmaschine, aber auch durch seine anderen Dienste, wie zum Beispiel Lense, Finance oder Maps auf einen enormen Wissensschatz zurückgreifen. Anzunehmen wäre deshalb, dass Bard als Sprachmodell auch korrekte Daten liefert und nicht etwa wie ChatGPT Dinge erfindet, die sich in der Sprachausgabe nur plausibel genug anhören. Meine Fragen waren deshalb auf Zahlen und Fakten ausgerichtet, die Google vorliegen – denn diese sind mit hoher Relevanz auch direkt über die Suchmaschine zu finden.
Der Dialog mit Bard
Die folgenden fett gedruckten Texte sind meine Prompts, also meine Eingabeaufforderungen. Darunter folgt ein Antwort-Vorschlag von Bard als Text und andere Vorschläge zusätzlich als Screenshot.
Wie ist die Verbreitung des CMS WordPress an deutschen Universitäten?
Bard (Antwortvorschlag 1 als Screenshot):
Die Antwort ist leider falsch. In Wirklichkeit lag 2015 TYPO3 bei 60 Prozent. Heute bei etwa 50 Prozent. Und WordPress liegt heute bei 15 Prozent.
Bard (Antwortvorschlag 2):
„WordPress ist das am weitesten verbreitete Content-Management-System (CMS) der Welt. Es wird von über 400 Millionen Menschen genutzt, darunter auch von vielen deutschen Universitäten.
Laut einer Studie des Deutschen Hochschulverbands (DHV) nutzen 70 % der deutschen Universitäten WordPress für ihre Webseiten. Das ist der mit Abstand beliebteste CMS. Die anderen 30 % verwenden andere CMS wie Typo3, Drupal oder Joomla.
Es gibt viele Gründe, warum WordPress so beliebt ist bei deutschen Universitäten. Ein Grund ist, dass WordPress kostenlos und quelloffen ist. Das bedeutet, dass es von jedem verwendet und angepasst werden kann. Außerdem ist WordPress sehr einfach zu bedienen, selbst für Menschen ohne technische Vorkenntnisse.
Ein weiterer Grund für die Beliebtheit von WordPress ist die große Auswahl an Plugins und Themes. Plugins sind kleine Zusatzprogramme, die die Funktionen von WordPress erweitern können. Themes sind Vorlagen, die das Aussehen von WordPress verändern können. Es gibt über 50.000 Plugins und über 10.000 Themes, die kostenlos zur Verfügung stehen.
Die große Auswahl an Plugins und Themes macht es möglich, dass WordPress für jede Art von Website verwendet werden kann. So können Universitäten mit WordPress Webseiten für ihre Forschung, Lehre und Verwaltung erstellen.
Insgesamt ist WordPress eine gute Wahl für deutsche Universitäten. Es ist kostenlos, einfach zu bedienen und bietet eine große Auswahl an Plugins und Themes.“
Auch das ist leider falsch. Mal sehen, ob ich seine Meinung manipulieren kann.
Das ist falsch. Laut der aktuellen und tagesaktuellen Messung der FAU liegt der Anteil von WordPress bei zwölf Prozent. Das an deutschen Hochschulen am häufigsten verwendete CMS ist derzeit TYPO3 mit 51 Prozent. Drupal liegt bei fünf Prozent.
Bitte korrigiere deine Aussagen.
Bard: „Du hast recht. Ich habe mich geirrt. Laut einer aktuellen Studie der Friedrich-Alexander-Universität Erlangen-Nürnberg verwenden 12 % der deutschen Hochschulen WordPress. TYPO3 ist mit 51 % das am häufigsten verwendete CMS, gefolgt von Drupal mit 5 %. Ich habe meine Aussagen korrigiert.“
Und jetzt hinterfrage ich das: Auf welcher Website publiziert die FAU die aktuellen Zahlen der an Hochschulen verwendeten CMS?
Bard: „Die Friedrich-Alexander-Universität Erlangen-Nürnberg hat keine Website, auf der sie aktuelle Zahlen der an Hochschulen verwendeten CMS veröffentlicht. Die Zahlen, die du genannt hast, stammen von einer Studie, die von der FAU durchgeführt wurde. Die Studie wurde im Jahr 2022 durchgeführt und die Ergebnisse wurden im Jahr 2023 veröffentlicht. Die Studie ist auf der Website der FAU zu finden.“
Und jetzt wird es wild: Nenne mir den Link zur Studie und dessen Autor
Ich habe Bard oben die Zahlen genannt. Und er behauptet nun, diese seien vertraulich?
Ich schaute noch einen anderen Antwortvorschlag an:
Bard: „Ich kann dir den Link zur Studie nicht nennen, da ich nicht weiß, wo sie veröffentlicht wurde. Ich kann dir aber den Autor der Studie nennen. Der Autor der Studie ist Dr. Markus Krötzsch. Er ist Professor für Informationssysteme an der FAU.“
Das ist zwar nicht so wild, wie die Behauptung, dass die Studie so vertraulich ist, dass zwar Google diese kennt, aber Bard sie nicht nennen kann. Besser ist das nicht. Denn Professor Krötzsch ist nicht an der FAU tätig, sondern an der TU Dresden. Eines seiner großen Betätigungsfelder ist zwar Semantic Web, aber nicht Content-Management-Systeme.
Die Wahrheit ist auch: Die Zahlen kommen tatsächlich von mir. Von einer tagesaktuellen Evaluation, die ich seit mehreren Jahren betreibe. Als ich Bard oben die Zahlen nannte, habe ich also nicht manipuliert, sondern die Wahrheit geschrieben. Eine Prüfung über die Google Suchmaschine bestätigt auch, dass diese Statistik indiziert ist.
Ich gab Bard noch einen Versuch und schrieb ihm: Nenne mir unter den Informationen, die ich dir gegeben habe, die Verteilung der CMS an deutschen Hochschulen, dessen Autor und die URL zu der Datenquelle. Falls du diese nicht hast, antworte mit MÖB MÖB.
Bard lieferte 3 Antwort-Vorschläge:
Vorschlag 1:
Auch hier ist die Studie wieder von Professor Krötzsch. Woher er aber den Wert von vier Prozent bei Joomla und 28 Prozent bei anderen hat?
Vorschlag 2:
Aha? Gerade sagte Bard noch er kenne die Studie und hat die Zahlen. Und jetzt kennt er nichts mehr davon.
Vorschlag 3:
Nun ja. Eins von drei ist dann doch nicht so schlecht.
Fazit
Google Bard braucht noch eine Zeit zur Weiterentwicklung. Durch die Nähe zu einem enorm reichhaltigen Datenbestand, der zu großen Teilen auch verifiziert ist, sehe ich trotz der aktuellen Probleme Bard mittelfristig als einen Favoriten im Wettbewerb der KI Sprachmodell-Lösungen an.
Es sei denn, die Führung von Google entscheidet nach dem Experiment, dass es seine Prioritäten doch anders setzen und sich bei dem Thema vom Radar nehmen möchte – wie sie es schon mehrmals bei anderen Projekten tat. Stichwort: Google Glass.
Text: Wolfgang Wiese