Salta al contenuto
0
  • Categorie
  • Recenti
  • Tag
  • Popolare
  • Mondo
  • Utenti
  • Gruppi
  • Categorie
  • Recenti
  • Tag
  • Popolare
  • Mondo
  • Utenti
  • Gruppi
Collassa

Forum Federato

Di Piero Bosio
  1. Home
  2. Categorie
  3. Senza categoria
  4. Always fun to argue with AI bots about why they're ignoring robots.txt.

Always fun to argue with AI bots about why they're ignoring robots.txt.

Pianificato Fissato Bloccato Spostato Senza categoria
1 Post 1 Autori 0 Visualizzazioni
  • Da Vecchi a Nuovi
  • Da Nuovi a Vecchi
  • Più Voti
Rispondi
  • Topic risposta
Effettua l'accesso per rispondere
Questa discussione è stata eliminata. Solo gli utenti con diritti di gestione possono vederla.
  • Jan Schaumannundefined Questo utente è esterno a questo forum
    Jan Schaumannundefined Questo utente è esterno a questo forum
    Jan Schaumann
    scritto su ultima modifica di
    #1

    Always fun to argue with AI bots about why they're ignoring robots.txt.

    $ grep -A1 ChatGPT robots.txt
    User-agent: ChatGPT-User
    Disallow: /
    $ grep -c ChatGPT-User access_log
    54

    Me: "Yo, wtf?"
    AI: "I did not crawl or access the site directly."
    Me: "Uhm, yeah you did, I *just now* saw you fetch that URL."
    AI: "Wasn't me - was my, uhm, 'web tool'. That's it."

    1 Risposta Ultima Risposta
    1
    • Maronno Winchester :antifa:undefined Maronno Winchester :antifa: ha condiviso questa discussione
    Rispondi
    • Topic risposta
    Effettua l'accesso per rispondere
    • Da Vecchi a Nuovi
    • Da Nuovi a Vecchi
    • Più Voti


    • Accedi

    • Accedi o registrati per effettuare la ricerca.
    • Primo post
      Ultimo post