John Schulman schätzt, dass ein kleines Team bereits 2018-2019 ein ChatGPT-3.5-ähnliches Modell hätte mit wenigen GPUs entwickeln können. Er beschreibt OpenAI anfangs als Mischung aus kleinen Forschungsprojekten und größeren Engineering-Initiativen. Er erwartet ein Comeback für Value Functions und Offline-Reinforcement Learning und warnt, dass Aufholjagden die Explorationskultur in der Forschung erschweren.