Archivio della categoria: Network Notebook

Semi-structured notes on my Ph.D. thesis work on network science. For an intro, see http://youtu.be/KKrM2c-ww_k

Rilevazione algoritmica della specializzazione nelle conversazioni online

Ringrazio Federico Bo per la traduzione in Italiano.

Partecipanti

Alberto Cottica, Benjamin Renoust, Khatuna Sandroshvili, Luca Mearelli, Gaia Marcus, Kei Kreutler, Jonne Catshoek, Federico Bo.

Obiettivo

Scoprire quali gruppi di utenti in Edgeryders (si) sono auto-organizzati in conversazioni specialistiche, nelle quali le persone gravitano intorno a uno o due argomenti (piuttosto che disperdere la loro partecipazione in tutte le discussioni). Inoltre capire se questi “specialisti”, oltre che concentrarsi su determinati argomenti, interagiscano strettamente l’uno con l’altro.

Perché è importante

Capire le dinamiche dei social networks e delle communities e conoscere lo schema della loro infrastruttura può rivelarsi un utile strumento adisposizione dei policy makers per ripensare il modo in cui vengono sviluppate e implementate le linee guida politiche. Inoltre si potrebbe assicurare che questi indirizzi riflettano in maniera corretta bisogni e possibili soluzioni proposte dai cittadini.

Poter scoprire i legami tra i membri di un social network basati sulle loro aree di specializzazione può permettere ai decision makers di:

Attingere a reti esistenti di esperti e persone informate per capire meglio un problema di policy e i gruppi che ne sono più influenzati (cioè i beneficiari della policy).
Identificare “dal basso” pre-esistenti idee e proposte per le politiche che si intendono sviluppare e mettere in atto
Unire insieme reti diverse accomunate da un provato interesse per le politiche pubbliche, utilizzandole per progettare nuove soluzioni orientate al cambiamento e all’innovazione

Piuttosto che spendere tempo e risorse nello sviluppo e nella costruzione di sempre nuove communities intorno a vari temi, questa metodologia può aiutare ad utilizzare strutture già esistenti rafforzandole con queste reti di “esperti dal basso”, razionalizzando e rendendo più efficienti i processi decisionali.

I dati e gli strumenti

Edgeryders è un progetto nato su iniziativa del Consiglio d’Europa e della Commissione Europea nel 2011. Il suo obbiettivo era generare proposte per le nuove politiche europee sui giovani dai giovani stessi attraverso l’utilizzo di una piattaforma web aperta strutturata come un social network (maggiori informazioni). Attualmente Edgeryders è uno spinoff del progetto originale, incorporato come impresa nonprofit con sede in UK.

La piattaforma iniziale – sui dati della quale viene effettuata l’analisi – è stata realizzata con Drupal 6. Usando un set di plugin chiamato Views Datasource sono stati esportati in tre file JSON le informazioni su utenti, post e commenti.

Questi dati hanno consentito di ricreare la rete delle conversazioni nella quale gli utenti sono i nodi e i commenti gli archi. Anna e Bob sono connessi da un arco se Anna ha scritto almeno un commento su un frammento di contenuto scritto da Bob. Si è utilizzato il framework Tulip per costruire e analizzare il grafo a partire dai dati disponibili. Il risultato è stata una rete di 260 utenti attivi, circa 1600 archi e 400 commenti.

Per avvicinarsi all’obbiettivo si è arricchito il dataset con informazioni extra sulla semantica delle conversazioni.

Cosa si è fatto.

Per definire in che misura gli utenti gravitano intorno a certi argomenti e l’uno all’altro si è effettuata una “entanglement analysis” sul dataset. Questa analisi è stata proposta da Benjamin Renoust nel 2013 ed è stata eseguita con un programma chiamato Data Detangler.

1. Edgeryders come social network di commenti

Questi dati possono essere interpretati come un social network: le persone scrivono post e commenti nella rete e, naturalmente, si commentano a vicenda. Ogni commento può essere visto come un arco che connette l’autore del commento all’autore di un post o di un commento. Oppure si può interpretare il social network come un grafo bipartito che connette gli utenti al contenuto: i commenti sono archi che connettono i loro autori all’unità di contenuto che stanno commentando.

2. I post sono scritti in risposta alle “missioni”

In Edgeryders sono presenti nove “campagne” ciascuna delle quali contiene dei brief, o “missioni”. I post (e relativi commenti) sono scritti in risposta alle missioni.

3. Le keywords indicizzano le missioni

Per capire come le varie campagne e missioni sono connesse tra di loro si sono analizzate le parole chiave (keywords) di ogni missione.

Procedendo manualmente, attraverso il servizio online TagCrowd, si sono trovate e selezionate le prime 12/15 parole per ordine di frequenza presenti nelle missioni (sono state rimosse parole non significative o inerenti le funzionalità della piattaforma, tipo “add post”).

La combinazione di questi tre passi ha prodotto un “multiplex social network“(nel quale esistono relazioni multiple tra lo stesso insieme di attori) indicizzato da keywords. Vediamo quali sono stati i passi successivi.

4. Eliminare gli specialisti “spuri”

Sono stati eliminati gli archi collegati a una sola missione che identificano specialisti “spuri” (se Alice ha con Bob una sola interazione, il 100% della loro conversazione è assegnato al tema discusso in quell’unica interazione. Abbiamo ritenuto di non assegnare valore informativo a questo dato) .

5. Rimuovere conversazioni generaliste.

A questo punto si ha un social network di utenti e keywords. Ogni keyword può esser vista come un “livello” della rete, che identifica una sotto-rete: la rete delle conversazioni sul lavoro, sull’educazione ecc. Per isolare le conversazioni specializzate, per ciascun arco si sono rimosse tutte le keyword ad eccezione di quelle che apparivano in tutte le intersezioni tra due utenti. Ovvero, si è ricostruita la rete assegnando a ciascun arco l’intersezione dell’insieme di keywords comprese in ogni interazione individuale. In alcuni casi l’intersezione era vuota e quindi l’arco è stato eliminato.

Un utile effetto collaterale di questi ultimi due passi è stato quello di ridurre fortemente l’influenza dei moderatori del team di Edgeryders, che sono per definizione tra gli utenti più attivi e potrebbero distorcere i risultati dell’analisi. Il punto 4 rimuove le interazioni “one off” con gli utenti poco attivi, il punto 5 rimuove gli archi che connettono tra loro i moderatori, visto che partecipando a tutte le discussioni fanno tendere a zero l’intersezione delle parole chiave.

6. Identificazione gruppi di specialisti

Si è arrivati quindi a identificare gruppi di specialisti identificano quegli utenti che interagiscono tra loro solo con un piccolo numero di keywords. Nell’esempio n(keywords)=2.

Conclusioni

Il metodo sembra in grado di identificare “gruppi” di specialisti, dove la parola “gruppo” è intesa nel senso di un’insieme di persone che non solo contribuiscono con contenuti ma interagiscono gli uni con gli altri. Questo fa emergere l’”intelligenza collettiva” nelle conversazioni su larga scala. Nella figura 1 sono evidenziati individui (sulla sinistra) che interagiscono solo attraverso le parole “education” e “learning“. Gli individui evidenziati che non sono connessi con alcun arco evidenziato sono utenti che hanno scritto contenuti relativi a queste parole chiave ma non sono parte di interazioni su queste stesse parole.

Una volta identificati i gruppi di specialisti il passo successivo è guardare le keywords che co-occorrono negli archi che li connettono. Per esempio nella Figura 2 si possono vedere le parole che si aggiungono a “education” e “learning” nel gruppo prima identificato. Si può notare sia che anche la parola “open” è significativa (la grandezza del circolo associato è proporzionale al suo uso). Si potrebbe interpretare questo dato dicendo che gli “specialisti” in educazione in questa community pensano che il concetto di “apertura” sia importante quando si parla di educazione.

Questo metodo è scalabile. Può essere usato per scoprire inaspettati schemi di interazione che possono essere oggetto di successive ricerche.

Margini di miglioramento

Il problema principale con questo metodo d’analisi è che è estremamente sensibile alla selezione delle keywords. Si possono ottenere risultati migliori con un metodo che associ al conteggio delle occorrenze un’analisi etnografica. Purtroppo le “folksonomies” (tagging non strutturato) tendono a non funzionare perché introducono molto rumore nel sistema.

Imparare dal Twitterstorm: architetture per la collaborazione

3 Repliche

Noi della comunità Edgeryders abbiamo inventato il Twitterstorm a settembre, quasi per caso, come un modo facile e divertente di valorizzare la nostra abitudine a lavorare in rete per promuovere le residenze di unMonastery (istruzioni in inglese). Siccome l’esperimento è andato molto bene, abbiamo deciso di ripeterlo per promuovere Living On The Edge – the unPilgrimage, per gli amici LOTE3. Nel frattempo LOTE3 era diventato un progetto non più solo nostro, ma condiviso con la città di Matera, che ospiterà la conferenza. Il nuovo Twitterstorm, che si è svolto il 14 ottobre alle 11.00 CET, era un’occasione per cominciare a collaborare anche prima che gli edgeryders arrivino fisicamente in città.

Twitterstorm è andato, di nuovo, molto bene. Sono stati lanciati oltre 800 tweets, coinvolgendo 187 utenti di Twitter e raggiungendo in circa due ore oltre 120.000 persone in tutto il pianeta – il doppio degli abitanti di Matera! Ma la cosa più bella è stata la facilità della collaborazione spontanea e decentrata (ciascuno partecipava nella propria lingua, con i propri tempi, e con i propri contenuti). Sono stati scritti tweets in italiano, inglese, portoghese, russo, svedese, francese, tedesco e romeno, da utenti che si trovano in 23 paesi diversi. Sebbene stessimo discutendo di un evento che si svolgerà in Italia, gli italiani erano meno del 40% degli utenti coinvolti.

Questo è un risultato bellissimo, ma è anche un po’ strano. Come è possibile che persone con storie e interessi così diversi, che nella maggior parte dei casi non si conoscono nemmeno, lavorino insieme in modo così naturale?

Possiamo rispondere a questa domanda addentrandoci un po’ in quello che effettivamente è successo il 14 ottobre. Come tutto ciò che avviene in rete, i Twitterstorm sono facili ed economici da monitorare. La figura all’inizio del post visualizza le rete del Twitterstorm: i nodi rappresentano utenti di Twitter, gli archi relazioni tra di essi. Le relazioni sono di tre tipi: Alice segue Bob; Alice ritwitta un tweet di Bob; Alice risponde a un tweet di Bob. Tutti e tre i tipi sono visualizzati con un arco da Alice a Bob.

Basta uno sguardo per capire il segreto di questa collaborazione: il gruppo del Twitterstorm in realtà è formato da tre sottocomunità chiaramente individuabili. Quella verde a sinistra è fatta soprattutto da materani, lucani non di Matera o italiani che hanno con la città un rapporto forte. Quella blu a destra è stata una sorpresa: si tratta di un gruppo di persone che fanno riferimento a Ouishare, una comunità che fa centro su Parigi e che si interessa di condivisione. Quella rossa al centro è la comunità Edgeryders-unMonastery. Il gruppo del Twitterstorm si è mosso come una squadra compatta, ma le relazioni al suo interno sono state intermediate su due livelli. Al livello più alto, la comunità Edgeryders-unMonastery ha connesso il gruppo di Ouishare con i “materani”; a un livello più micro, singoli utenti hanno connesso le sottocomunità tra loro: per esempio, alberto_cottica. i_dauria, benvickers_ e noemisalantiu hanno fatto da cerniera tra i “materani” e gli edgeryders, mentre ladyniasan e elf_pavlik hanno svolto lo stesso ruolo tra questi ultimi e il gruppo di Ouishare (il nome di un utente scritto più in grande significa che il percorso più breve tra un numero elevato di altri nodi della rete passa per l’utente in questione: i matematici dicono che l’utente è “molto centrale”). Gli account più centrali di tutti, edgeryders e unmonastery, gravitano verso il gruppo dei “materani”.

Questa architettura del gruppo è ciò che ha reso la collaborazione facile ed efficiente. Notate che le sottocomunità vengono individuate da un algoritmo che non può sapere se un utente è materano o giapponese: esse non vengono dedotte da informazioni sugli utenti, ma dall’osservazione che gli scambi sono più fitti all’interno dei sottogruppi che tra un sottogruppo e l’altro. Il fatto che guardando l’immagine si possa dire “ehi, ma questi verdi sono quasi tutti di Matera!” è una prova dell’efficacia della scienza delle reti per lo studio di processi di questo tipo.

Leggi il post in inglese per un’analisi più approfondita, in cui mi chiedo anche se il Twitterstorm serva a costruire comunità.

Proudly presenting: a networks notebook (Italiano)

Lascia una risposta

Questo post è soltanto in in inglese, e così saranno quelli che seguiranno nella categoria Network Notebook. Il senso è questo: inauguro una specie di taccuino pubblico (o zibaldone) del mio lavoro di ricerca sull’analisi di rete come via per abilitare la democrazia partecipativa su grande scala. Saranno post pensati un po’ meno per i miei lettori abituali, e un po’ più per me e per chi, come me, è affascinato da questo tema e non riesce a non pensarci. Tra l’altro, non li tradurrò in italiano. I miei post normali, invece, continueranno a essere sia in italiano che in inglese.

In 2009 I was thunderstruck by the elegance and power of network analysis as a way to represent online conversations, thanks to a piece of work that a (then) student called Ruggero Rossi did on a project that I was managing at the time. I have never been able to let go of networks ever since. I have been cultivating hunches and teaching myself the obligatory math and programming techniques; getting my hands dirty with data; I have even come up with a grand vision, that of making participatory democracy work at the planetary scale (see the video above). 2013 is the year when it all comes together, and I push this journey onto some solid result.

Influenced by a second reading of Steven Johnson’s Where good ideas come from, I decided to borrow a technique from the amateur scientists of the English Enlightenment: write everything down, well before your ideas are clear. If you keep at this, you will get what the British call a commonplace book (if you, like me, are Italian you might prefer to call it by its Italian name, zibaldone. We invented it, you know): a collection of thoughts, observations, hunches and marginalia that are not even trying for consistency and narrativization. Its purpose is not to make a good read, but to save ideas and intuition and in a place where they can be retrieved in a more or less random access fashion, so that they can be retrieved in a different order from that in which they were originally entered, and in that way give rise to new approaches and new ideas.

I am a blogger, and my blog seems the natural place to host my Network Notebook. The added benefit is that other people can find me, and reuse or challenge some of my hunches. The down side of putting this stuff on the blog is the temptation to curate it to make a prettier post: but doing that means self-censoring, writing less, writing only reasonable stuff instead of crazy thoughts and killing the whole purpose of the exercise. I need to find a sweet spot between a private notebook and a public blog. So here’s the deal (for now):

I will write these posts in a separate category, Network Notebook.
I will not bother to translate them into Italian. My other posts are and will remain bilingual, but these will be only in English.
I will not curate them too much. If you need a link or an explanation do ask, I’ll be happy to comply!
I will probably not spread them over social networks too much

Wish me luck. Wreck my ship I might, but it certainly is a fascinating journey 🙂