Teconologia

OpenAI, Google e Microsoft propongono un nuovo segnale di opt-out per proteggere i contenuti web dall’uso in AI

OpenAI, Google, Microsoft e Anthropic hanno lanciato un'iniziativa per consentire ai siti web di proteggere i propri contenuti dall'uso nei modelli di intelligenza artificiale.
di •
Logo di OpenAI, Google e Microsoft

In Breve

Che cos'è il segnale di opt-out nel robots.txt?
È un'indicazione per i crawler su se e come possono utilizzare i contenuti di un sito per addestrare modelli di intelligenza artificiale.
Quali aziende supportano questa iniziativa?
OpenAI, Google, Microsoft e Anthropic.
Quali sono alcune misure di protezione suggerite?
Accesso riservato, rate limiting, blocco IP e CAPTCHA.

OpenAI, Google, Microsoft e Anthropic hanno recentemente annunciato il loro sostegno a un segnale condiviso da inserire nel file robots.txt dei siti web. Questo segnale ha lo scopo di indicare ai crawler se il contenuto di un sito può essere utilizzato per addestrare modelli di intelligenza artificiale. L’iniziativa si colloca in un contesto in cui il prelievo automatico di contenuti dal web da parte di aziende che raccolgono dati per il training dei modelli ha sollevato preoccupazioni tra proprietari di siti e utenti.

La proposta principale consiste in un’estensione delle regole di robots.txt, con l’aggiunta di una sezione dedicata, ad esempio con l’header # AI crawlers. Le regole suggerite includono l’uso di Disallow: / per bloccare tutti i crawler AI, oppure la specificazione di un singolo user-agent, come User-agent: ChatGPT-User, seguito da Disallow: /. Inoltre, è possibile limitare l’accesso a percorsi specifici, come Disallow: /author/benedict-collins, e aggiornare il file nella root del sito.

Tuttavia, questa soluzione funziona solo con i crawler che rispettano le direttive del robots.txt. Pertanto, gli esperti consigliano di applicare difese in profondità, combinando più misure. Tra le contromisure suggerite ci sono:

  • Accesso riservato a utenti registrati: Questa misura filtra i bot, ma può aumentare il tasso di abbandono degli utenti.
  • Rate limiting e blocco IP: Queste tecniche sono efficaci contro il traffico concentrato, ma possono essere aggirate con IP rotanti, spesso a pagamento.
  • CAPTCHA: Utili contro bot meno evoluti, ma potenzialmente invasivi per gli utenti e sempre più vulnerabili a modelli AI avanzati.

Ogni metodo presenta compromessi tra la protezione contro lo scraping e la qualità dell’esperienza utente. Pertanto, è fondamentale valutare attentamente l’impatto e i costi prima di adottare queste misure.

Categorie: Teconologia
Tag: , , , ,