Tolle Sprachen da GPT-3 für die Verwendung trainiert wurde weitere Notizen, viel von dem, was im Internet aufgegriffen wurde, wie sie das Gute und das Schlechte erleben, das Menschen in Worten schreiben. Es hat das Problem moderner Chatbots sowie Aufnahmegeräte. Diese Beispiele enthüllen giftige Sprache – von rassistischen und abfälligen Bemerkungen oder von offenkundiger Stigmatisierung – und Lügen.

OpenAI hat IntructGPT zu einem beispiellosen Modell für die Programmierung von Benutzeroberflächen (API) gemacht – ein Dienst, der Zugriff auf Unternehmenssprachen und Bußgelder bietet. GPT-3 wird bleiben, aber OpenAI empfiehlt nicht, es zu verwenden. „Dies ist das erste Mal, dass diese Kommunikationsmethoden auf eine reale Sache angewendet werden“, sagt Jan Leike, der OpenAI leitet.

Frühere Experimente zu diesem Problem beinhalteten das Filtern von Schimpfwörtern aus der Studiengruppe. Dies kann die Modelle jedoch weniger effizient machen, insbesondere wenn die Studiendaten begrenzt sind, z. B. Texte aus kleinen Gruppen.

OpenAI-Forscher haben dieses Problem vermieden, indem sie mit einem gut trainierten GPT-3 begonnen haben. Dann fügte er weitere Lektionen hinzu und nutzte die Motivation, um dem Modell beizubringen, was es wann sagen sollte, je nach den Vorlieben der Benutzer.

Um InstructGPT zu schulen, stellte OpenAI 40 Personen ein, die aus verschiedenen vorhersehbaren Gründen für GPT-3-Antworten stimmen sollten, z. ”Antworten, die er als sehr passend zum unmittelbaren Ziel des Autors empfand, wurden bewertet. Antworten, die sexuell explizite oder gewalttätige Sprache, abfällige Bemerkungen, Meinungsäußerungen usw. enthielten, wurden aufgezeichnet. Dieser Kommentar wurde als Auszeichnung im motivierenden Lernprozess verwendet, der InstructGPT lehrte, sich an den Antworten und Präferenzen der Juroren auszurichten.

OpenAI stellte fest, dass seine API-Benutzer in über 70 % der Fälle InstructGPT gegenüber GPT-3 bevorzugen. „Wir sehen keine Grammatikfehler mehr in der Sprachproduktion“, sagt Ben Roe, Chief Marketing Officer bei Yabble, einem Marktforschungsunternehmen, das OpenAI-Modelle verwendet, um eine Zusammenfassung der natürlichen Sprachen für die Unternehmen der Kunden zu erstellen. “Es gibt auch erhebliche Fortschritte bei der Entwicklung neuer Modelle, um Richtlinien zu verstehen und zu befolgen.”

„Es ist interessant, dass die Verbraucher diese Arten so mögen“, sagt Ilya Sutskever, Senior Scientist bei OpenAI. “Es bedeutet, dass es viele Anreize gibt, sie zu bauen.”

Die Forscher verglichen auch verschiedene InstructGPT-Typen und stellten fest, dass Benutzer das InstructGPT-Modell mit 1,3 Milliarden Parametern dem GPT-3-Modell mit 175 Milliarden Parametern vorziehen, obwohl die Stichprobe 100-mal kleiner war.