202. So funktioniert ChatGPT - die erste "echte" künstliche Intelligenz (Transformer und neuronale Netze) - Prof Rieck

What this episode covers

Wie funktioniert die Technik hinter ChatGPT? Die genauen Hintergründe der Funktionsweise mit einer Live-Demo zu neuronalen Netzen. Mehr ansehen für zusätzliche Information. Hier gibt es das Buch "Schummeln mit ChatGPT": https://www.amazon.de/exec/obidos/ASI... Und natürlich in guten Buchhandlungen. The Morpheus - IT-Themen und ihre gesellschaftliche Einordnung:    / themorpheusvlogs   Tutorials - Tutorials für Informatiker und all die, die es werden wollen:    / themorpheus407   Hier können Sie mit der Tensorflow-Demo herumspielen: https://playground.tensorflow.org/ Hier ganz viele weitere Links von Cedrik alias Morpheus: https://bio.link/themorpheus Weitere Informationen vom Team Rieck: Derzeit erleben wir einen regelrechten Boom im Bereich künstlicher Intelligenz, denn allein 600 neue Start-ups werden zurzeit finanziert. Laut einem NFX-Pressebericht belaufen sich diese Finanzierungen auf mehr als 20 Milliarden US-Dollar und dort ist noch nicht einmal der OpenAI-Deal mit Microsoft berücksichtigt. Dies verdeutlicht das enorme Potenzial, das der Markt für künstliche Intelligenz bietet. Textgenerierung ist dabei nur eine Sparte, denn auch in den Bereichen Audio-, Bild- und Videobearbeitung bietet die künstliche Intelligenz zahlreiche neue Lösungen. Die Finanzierung von Start-ups in diesem Bereich zeigt, dass die Branche weiter wächst und die Nachfrage nach innovativen AI-Lösungen steigt. 11'00 TensorFlow Playground ist eine Webanwendung, mit der Benutzer den künstlichen Intelligenz (KI)-Algorithmus mit der TensorFlow-Maschinenlernbibliothek testen können. TensorFlow Playground ist für Benutzer geeignet, die keine Erfahrung mit höherer Mathematik oder der Programmierung von neuronalen Netzen für Deep Learning und andere maschinelle Lernanwendungen haben. 24'30 Im Gegensatz zu traditionellen sequentiellen Modellen, die eine feste Anzahl von Schritten haben und die Informationen Schritt für Schritt verarbeiten, verwendet der Transformer einen parallelen Ansatz, der es ihm ermöglicht, Informationen aus der gesamten Eingabe gleichzeitig zu verarbeiten. Dies wird durch den Einsatz von Multi-Head-Attention-Schichten erreicht, die es dem Modell ermöglichen, Beziehungen zwischen verschiedenen Teilen der Eingabe herzustellen und somit die Bedeutung des gesamten Kontexts zu erfassen. 24'50 Das wissenschaftliche Paper, das die Transformer-Technologie vorstellt, heißt "Attention is All You Need" und wurde 2017 von Ashish Vaswani und anderen Autoren bei Google veröffentlicht. Das Paper ist öffentlich zugänglich und kann unter folgendem Link gefunden werden: https://arxiv.org/abs/1706.03762 Dort finden Sie die vollständige Beschreibung der Transformer-Technologie und wie sie angewendet werden kann, um maschinelles Lernen in verschiedenen Anwendungen zu verbessern. 33'30 Es ist ein offenes Geheimnis, dass das Forschungsunternehmen OpenAI bereits an GPT-4 arbeitet, dem Nachfolger von GPT-3. Gerüchten zufolge wird GPT-4 wesentlich leistungsfähiger sein als sein Vorgänger und möglicherweise sogar bis zu 100 Billionen Parameter enthalten. Es wird vermutet, dass GPT-4 bereits in Microsofts Bing-Suchmaschine als Chat-Funktion eingesetzt wird, da Microsoft der größte Einzelaktionär von OpenAI ist. GPT-4 wird voraussichtlich 2023 veröffentlicht, aber es ist unklar, ob es auf deutlich mehr Daten als GPT-3 trainiert wird. GPT-4 wird voraussichtlich besser darin sein, Computercode zu generieren, da OpenAI derzeit Programmierer einstellt, die in der Lage sind, menschliche Sprache zu verwenden, um Code zu beschreiben. Allerdings wird GPT-4 keine Fähigkeit zur Erstellung von Grafiken und anderen visuellen Darstellungen haben. Es wird erwartet, dass einige Menschen von GPT-4 enttäuscht sein werden, da die Erwartungen aufgrund des Hypes um GPT-3 sehr hoch sind. 40'10 Im ChatGPT-Kontext wird Prompt verwendet, um eine Unterhaltung mit ChatGPT zu starten und um eine bestimmte Art von Antwort ...