Valuta la tua esperienza

Quali vantaggi ha l'A.I. rispetto al test A/B?

Modificato su: Mon, 9 May, 2022

Il test A/B ha dei limiti. La cosa più grande di cui il test A/B non tiene conto è il comportamento dei visitatori.


Diciamo che il 60% delle persone preferisce il set di annunci A e solo il 40% delle persone preferisce il set di annunci B. Quindi si sceglie il set di annunci A perché ha la preferenza di maggioranza del 60%. Come puoi tenere conto dell'altro 40% di visitatori che ha preferito qualcosa di diverso?


I numeri mentono. Un esempio di questo è che il CPM/CTR degli annunci è una media, che rivela molto poco sui dati sottostanti e solo su come le tue impressioni sono prezzate.


I gruppi di test devono essere casuali. Quando esegui un test A/B, come segmenti il tuo traffico? Chi c'è veramente in ogni gruppo? Ogni utente viene assegnato a un gruppo? Ogni sessione? Ogni pagina visitata?


La matematica non è facile o diretta. Per quanto tempo eseguire il calcolo? Qual è la distribuzione sottostante dei dati? Di quale livello di significatività ho bisogno? Quanto è grande l'effetto? Come controllo il traffico bot casuale?


Non risponde ai cambiamenti nel momento in cui avvengono. Esegui il tuo test a giugno, trovi un effetto statisticamente significativo, sei sicuro dei tuoi risultati... ma quanto sei sicuro che tutto sarà lo stesso a dicembre?


L'A.I. ha molti vantaggi rispetto al test A/B:


  • Riduce il data mining
  • Elimina l'hard coding
  • Cambiamenti robusti nei modelli di dati nel tempo
  • Esternalizza la matematica


Prendete questo esempio. Come diresti tradizionalmente ad un sistema informatico come definire quali variabili fanno di un cane un cane?


  • Animali
  • Mammiferi
  • Abbaia
  • Cammina a 4 zampe


Questo è ottimo fino a quando non si ottiene un'anomalia che tecnicamente è ancora un cane, ma non si adatta a tutte le variabili che avete dato al computer - un cane con tre gambe che ha perso una in un incidente.


Ciò che fa l'IA è capovolgere la programmazione tradizionale: piuttosto che definire i passi per arrivare a un risultato ("prendi A, B, C, D... fai questo a loro, prendi una decisione), possiamo inviare alcuni dati e lasciare che la rete neurale impari ciò che è importante. Potremmo anche aggiungere un descrittore completamente irrilevante, come ha una palla rossa in bocca. Imparerà rapidamente che questo non descrive affatto i cani.


L'intelligenza artificiale aumenta il valore dell'inventario pubblicitario.


Quando si tratta di posizionamenti pubblicitari, gli editori si trovano spesso di fronte a dilemmi. Quale annuncio mostrare: in cima alla pagina o nella barra laterale?


Diciamo che guardate i dati dei vostri annunci e il CPM per "in cima alla pagina" e "barra laterale" sono entrambi 3,02 dollari. Ma l'importo è lo stesso per questi due posizionamenti di annunci quando si introducono più variabili di comportamento dei visitatori?


Invece di fare tutte queste indagini da soli, potete affidare questo lavoro all'intelligenza artificiale di Ezoic, basata su TensorFlow.


Successivamente, diciamo a TensorFlow quali caratteristiche dei nostri dati vogliamo che apprendano.


Dopo di che, diciamo a TensorFlow che tipo di modello usare: qui, stiamo usando un regressore di rete neurale profonda (che è un buon modello per prevedere i numeri, come i CPM).


Ora, diciamo a TensorFlow come caricare e leggere i dati.


E infine, iniziamo la formazione. 8 righe di codice in totale! È così facile. Allora, cosa trova?


TensorFlow ha capito come segmentare i dati automaticamente, in modo scalabile. Questa rete neurale ha trovato un 12% in più di entrate pubblicitarie nascoste nei dati.


Le statistiche riassuntive sono poco informative, e stai lasciando soldi sul tavolo non scavando più a fondo nei tuoi dati.



Caricamento in corso ...