Bekannte Internetplattformen wie Reddit, Quora und Yahoo haben das „Robots.txt-Standard Licensing“ (RSL) eingeführt, das KI-Crawler zum Bezahlen verpflichtet, wenn sie Webseiteninhalte zum Trainieren von KI-Modellen nutzen wollen. RSL ermöglicht Verlagen, KI-Crawlern den Zugriff zu erlauben, zu berechnen oder komplett zu verweigern. Das System wird über den Dienstleister Fastly gesteuert, der sicherstellt, dass nur KI-Anbieter die Regeln akzeptieren. Hintergrund ist das Problem, dass KI-Firmen oft enorme Datenmengen scrapen, Webseitenbetreiber jedoch kaum Traffic oder Einnahmen generieren.