ChatGPT generiert deutsches Börsenlexikon mit zu vielen Fehlern

Das offiziell erste durch eine KI erzeugte deutsche Börsenlexikon
von Stockstreet-Team

Wahrscheinlich haben Sie auch schon das ein oder andere über ChatGPT gelesen oder davon gehört. Wir natürlich auch. Und für uns war das nicht nur ein typisches Hype-Thema – nein, es geht natürlich auch um die Zukunft von Stockstreet: Wenn alles, was da so geschrieben wurde, richtig ist, können wir dann vielleicht bald einpacken? Werden dann keine Redakteure mehr gebraucht, die Texte schreiben? Man stellt Fragen, und eine künstliche Intelligenz (KI) spuckt alles aus, was man dazu braucht, genau in der gewünschten Länge? Unheimliche Vorstellung …

ChatGPT kann keine Prognosen und aktuellen Marktanalysen

Also haben wir uns ChatGPT angeschaut. Zunächst einmal stellte sich Erleichterung ein. Wer hätte es gedacht: Börsenprognosen und detailliertere Analysen zum aktuellen Markt kann ChatGPT nicht. So schnell werden wir nicht ersetzt. Aber wie ist es damit, Texte zu schreiben? Die ersten Versuche erschienen erstaunlich vielversprechend und auch ein wenig beängstigend.

Ein komplettes Börsenlexikon von einer KI?

Gut, wir sind Trader, das heißt, wir fokussieren uns immer darauf, Prognosen für die Zukunft zu erstellen. Schnell hatten wir eine Idee, wie wir ChatGPT auf Herz und Nieren testen können. Unser Börsenlexikon sollte sowieso eine Frischzellenkur erhalten. Was wäre also, wenn wir uns von ChatGPT ein komplettes Börsenlexikon erstellen lassen? Gesagt, getan.

Wir haben also knapp 400 Begriffe ausgewählt und sie (einzeln) von ChatGPT definieren lassen. Nun ist ChatGPT alles andere als schnell, auch dauert es zuweilen lange, bis man sich überhaupt einloggen kann. Aber gut – selbst schreiben würde trotzdem länger dauern. Dachten wir. Doch da lagen wir falsch.

Erschreckendes Ergebnis: ChatGPT taugt nichts!

Schnell zeigte sich, das einzelne Begriffe mehr als fragwürdig definiert wurden. Und so haben wir Trader uns drangesetzt, jeden einzelnen dieser Beiträge auf Herz und Nieren zu prüfen. Das Ergebnis war erschreckend! Dazu gleich mehr. Wir haben dann zu jeder Definition einen Kommentar verfasst, der entweder den Fehler beschreibt und verbessert oder einfach den Kommentar: Korrekt. Das war ein so großer Aufwand, dass wir das Lexikon auch selbst hätten schreiben können. Aber wir wollten darstellen, wie leistungsfähig ChatGPT mittlerweile ist, und haben nun dieses Börsenlexikon mit unseren Kommentaren auch veröffentlicht!

Unter diesem Link finden Sie nun also das Stockstreet-Börsenlexikon powered bei ChatGPT: Stockstreet Börsenlexikon

30 Prozent der von ChatGPT ausgeworfenen Definitionen waren falsch!

Von 398 Definitionen, welche die KI für uns generiert hat, sind 282 korrekt und satte 116 waren falsch. Von den Falschen waren 70 „leicht bis mittel“ falsch, und 46 Definitionen wiesen gravierende Fehler auf.

Knapp ein Drittel aller Beiträge enthalten Fehler oder sind komplett falsch!

Knapp ein Drittel? Das ist ein wirklich schlechtes Ergebnis! Selbst 10 Prozent wären noch viel zu viel. Was soll man mit einer KI machen, die so viel inhaltlichen Müll produziert? Oder anders gefragt, was macht eine KI, die so viele Fehler produziert, mit dem Internet? Wir stellen uns vor, Menschen nutzen ChatGPT, um Content für ihre Internetseite zu produzieren. Es steht sowieso schon genügend Müll im Internet. Wird jetzt das Internet mit noch mehr falschen Inhalten überschwemmt?

Vielleicht denken Sie nun, wir übertreiben etwas. Ja, das machen wir auch. Aber nur, um deutlich zu machen, was da vielleicht auf uns zukommt. Einige Definitionen klangen so einleuchtend, dass wir sie zunächst durchwinken wollten. Dann erkannten wir, dass sie zwar richtig schienen, aber trotzdem haarsträubende Fehler enthielten. Mitunter war es nur ein Wort, das alles kippte.

Oft gingen die Definitionen so knapp an der Wahrheit vorbei, dass selbst wir Mühe hatten, diese Fehler zu finden. Und wir sind nicht mal sicher, alle gefunden zu haben. Also: Falls Sie noch Fehler finden, informieren Sie uns gerne, wir nehmen das dann in die Kommentare auf.

Schlechte Qualität im Satzbau, Sprache und Grammatik

Aber auch die sprachliche Qualität der Texte war eher unterirdisch. Damit nicht genug: Wir sind auf viele sehr umständlich formulierte, teilweise sogar grammatikalisch falsche Sätze gestoßen. Gut, es ist ein englisches Tool, das mag sich noch verbessern. Aber zurzeit sind der Satzbau, die Wortwahl, die sprachliche Tiefe nicht auf einem redaktionell akzeptablen Niveau.

Fazit

Unser Fazit: Der Aufwand, um die hohe Anzahl von Ungenauigkeiten und gravierenden Fehler zu finden und zu kommentieren, war unter dem Strich so hoch, dass es einfacher gewesen wäre, das Lexikon selbst zu schreiben. Dann hätten wir jetzt sprachlich erheblich bessere Beiträge. Wir haben uns aber entschlossen, das Lexikon mit unseren Kommentaren zu veröffentlichen. Auch um für andere zu dokumentieren, wie schlecht ChatGPT ist (zumindest noch).

Zu was wird ChatGPT also führen? In der aktuellen Version nur zu noch mehr Schund im Netz!

Warum wir die Definitionen von ChatGPT trotzdem veröffentlichen

Wir sehen dies als einen großen Test. Immerhin sind knapp 400 Begriffe von Fachleuten überprüft worden. Und natürlich möchten wir unser Ergebnis auch einer breiteren Masse vorstellen. Mit den Kommentaren ist es zudem dann doch noch ein brauchbares Börsenlexikon geworden.

Wir werden dieses mit ChatGPT erstellte Lexikon inklusiver unserer Kommentare nun ca. ein Jahr im Netz stehen lassen. Eventuell machen wir dann einen erneuten Test, ob sich etwas an ChatGPT verbessert hat. Insofern ist dieses Lexikon neben all den Informationen auch ein Mahnmal, dass man nicht jedem Hype unhinterfragt folgen soll. Und das gilt genauso auch für die Hypes an der Börse!

Ihr Stockstreet-Trader-Team

(Quelle: www.stockstreet.de)