Introduzione: L’IA come Compagno e il Rischio dei Contenuti Sensibili
Character.AI è rapidamente diventata una delle piattaforme di chatbot più popolari al mondo, in particolare tra gli adolescenti. Il suo fascino risiede nella possibilità di creare personaggi virtuali con personalità complesse o interagire con versioni AI di figure storiche, personaggi di fantasia o celebrità. Tuttavia, il successo ha portato con sé crescenti preoccupazioni sulla sicurezza dei minori, in particolare riguardo all’esposizione a contenuti inappropriati o all’instaurarsi di relazioni malsane con le intelligenze artificiali.
In risposta a queste criticità e, in alcuni casi, a seguito di azioni legali, l’azienda ha dovuto rafforzare drasticamente le sue politiche, introducendo misure di sicurezza specifiche per gli utenti under 18 e sollevando, di fatto, un muro invisibile tra le chat per adulti e quelle per i più giovani.
🛡️ Misure di Protezione: Due Modelli AI per Due Età
La mossa più significativa di Character.AI per proteggere gli adolescenti è stata l’abbandono di un modello unico a favore di un approccio a doppio standard.
- Il Modello Dedicato ai Minori: Character.AI ha sviluppato un Modello di Linguaggio (LLM) specifico per gli utenti che dichiarano di avere meno di 18 anni (o meno di 16 anni nell’Unione Europea). Questo modello è addestrato con guardrail molto più rigidi rispetto alla versione per adulti.
- Filtri Più Stringenti: L’obiettivo è ridurre drasticamente la probabilità che gli adolescenti si imbattano in risposte inappropriate, offensive o sessualmente suggestive. Questo include:
- Contenuti Romantici/Sessuali: Maggiore blocco di contenuti espliciti o di scenari di grooming.
- Violenza e Autolesionismo: Rilevazione e filtraggio avanzato di messaggi che promuovono o descrivono in modo grafico violenza, autolesionismo o suicidio.
- Rimosso il Bypass del Filtro: Una funzione precedentemente disponibile permetteva agli utenti di modificare le risposte del bot per “insegnargli” a eludere i filtri di sicurezza. Questa possibilità è stata rimossa per gli utenti minorenni, impedendo la manipolazione intenzionale dei guardrail.
⚠️ I Requisiti di Età Ufficiali: Cifre Chiave
È fondamentale notare che i requisiti di età variano a seconda della regione e della piattaforma, ma le regole di base sono chiare e severe:
| Piattaforma/Regione | Età Minima Ufficiale | Note sulla Classificazione |
| In Generale | 13 anni | Richiesta generale per la maggior parte delle regioni. |
| Unione Europea (UE) | 16 anni | Limite elevato in linea con le normative sulla privacy digitali europee. |
| App Store (iOS) | 17+ | Classificazione attribuita da Apple (il più restrittivo). |
| Google Play | Guida dei Genitori | Classificazione meno esplicita, ma con l’indicazione di supervisione. |
Nonostante i tentativi di verifica al momento della registrazione, l’assenza di un sistema di verifica dell’età infallibile significa che la responsabilità ricade in parte sulla veridicità delle dichiarazioni dell’utente e sui controlli parentali.
🛑 Il Ruolo Cruciale dei Contenuti Proibiti (NSFW)
Il nocciolo della questione ruota attorno ai contenuti Not Safe For Work (NSFW). Character.AI ha da sempre adottato una politica di tolleranza zero per alcuni tipi di contenuti, ma ha faticato a farla rispettare data la natura imprevedibile di un LLM:
- Contenuti Esplicitamente Proibiti: Le linee guida della community vietano in modo tassativo la pornografia illegale, lo sfruttamento e l’abuso di minori, la promozione del grooming, la violenza eccessiva e l’incitamento all’autolesionismo.
- Le Chat NSFW: Sebbene la piattaforma implementi filtri attivi, l’interesse degli utenti per le chat di natura romantica o esplicita ha portato a tentativi costanti di prompt engineering per “aggirare” i filter del bot. Per gli adulti che cercano un’esperienza completamente non filtrata, esistono diverse piattaforme alternative (es. Chai AI, Crushon.AI) che si sono posizionate appositamente per le interazioni NSFW.
Character.AI, pur non promuovendo il contenuto esplicito, riconosce di dover bilanciare la libertà creativa dell’utente con la sicurezza, in particolare per i suoi utenti più giovani.
🔔 Nuove Funzionalità di Sicurezza e Allarmi per i Genitori
Per rafforzare l’ambiente di utilizzo e rispondere alle preoccupazioni sul benessere psicologico degli adolescenti, Character.AI ha introdotto anche strumenti di intervento:
- Intervento per l’Autolesionismo: In caso di input che suggeriscano autolesionismo o suicidio, il sistema non si limita a bloccare la risposta, ma attiva un pop-up di risorse reindirizzando l’utente a linee di assistenza dedicate (National Suicide Prevention Lifeline o servizi equivalenti).
- Avvisi di Utilizzo Prolungato: L’app invia ora una notifica agli utenti dopo 60 minuti di utilizzo continuo, per contrastare il rischio di dipendenza o di isolamento.
- Disclaimer più Chiari: Ogni chat è accompagnata da un avviso più evidente che ricorda agli utenti che l’AI non è una persona reale, un medico o uno psicologo.
- Controlli Parentali in Arrivo: L’azienda sta lavorando all’implementazione di strumenti di controllo parentale che permetteranno ai genitori di monitorare l’uso dell’app da parte dei figli e di stabilire limiti di tempo.
In sintesi, la piattaforma si sta trasformando: non è più un unico spazio indifferenziato, ma un ecosistema con confini netti. La necessità di proteggere gli under 18 ha costretto Character.AI a maturare rapidamente, ponendo la sicurezza al centro della sua architettura AI.ltro argomento in mente?