OpenAI trainierte Sprachmodelle mit stark vereinfachten Gewichten (viele auf Null gesetzt), wodurch neuronale „Schaltkreise“ identifizierbar sind, die bestimmte Funktionen abbilden. Diese Schaltkreise sind sowohl notwendig als auch hinreichend für Aufgaben wie das Abgleichen von Python-Anführungszeichen.