viernes, 15 de junio de 2018

FIFA GreatestTeams & GreatestPlayers

La cuenta oficial @FIFAWorldCup realizó una serie de encuestas en Twitter enfrentando selecciones de todos los tiempos para buscar la mejor (#GreatestTeams). El resultado final fue que ganó Uruguay 1950, pero veamos un poco cómo pasó esto.



Las reglas eran claras: enfrentamientos utilizando Encuestas de Twitter, de 16 parejas preseleccionadas, de acuerdo a un fixture que iba cruzando a los ganadores con eliminación simple.

En la primera ronda la cantidad de votos fue muy poca: el cruce de Alemania con Rumania tuvo el mínimo de votos (3.772) y ya al inicio Uruguay sorprendió al cruzarse con Holanda (8.680 votos, de los cuales 5.902 fue para los celestes).

Sólo Italia logró más votos que Uruguay (6.016), en su cruce interno entre las selecciones del año 2016 y la del año 1934.

En la segunda ronda, la cantidad de votos subió un poco, alcanzando un máximo de 13.739 votos (en el cruce de Uruguay con Francia). Incluso el promedio de la primera ronda (8.554) casi superó al máximo de la primera (8.680).

En esta segunda ronda, Uruguay fue quien juntó la mayor cantidad de votos (7.968). Lo mismo que ocurrió en la tercera ronda (7.585 votos) que tuvo enfrentamientos con un promedio de 11.549 votos por pareja, pero que incluso bajó en el máximo (13.445).

Si bien en las semifinales la cantidad de votos subió (23.522 y 21080), siguió siendo bajo para ser una encuesta del deporte más popular del mundo, en el año de un mundial, y a pesar de involucrar a las selecciones de Argentina y España.

Sin dudas el enfrentamiento con Argentina hizo que se incrementara la cantidad de votos, y por primera vez la selección uruguaya de 2010 obtuvo más votos que la de 1950.

El cruce final enfrentó a dos selecciones de Uruguay, y reunió 26.601 votos.

Con las votaciones tan bajas (menos de 25.000 votos en cada cruce), los esfuerzos de los uruguayos (que se lo tomaron "en serio", empujados por cuentas influencers de Twitter y programas de Radio) fueron determinantes.

Al no lograr masividad la propuesta, fue sencillo para los uruguayos lograr ponerse en la cima. Lo que demuestra una vez más lo fácil que se pueden torcer los resultados de las encuestas en Twitter.

Los uruguayos rompimos una vez más las encuestas de Twitter de la FIFA, cuando se hizo la elección del mejor jugador (#GreatestPlayers) e impusimos a Alcides Ghiggia, dejando afuera a Pelé primero y finalmente, en una reñida final, a Diego Maradona.


Obviamente con más de 87.000 votos la hazaña se vuelve épica. Son muchos votos para ser sostenida exclusivamente con uruguayos tuiteros.

Es probable que opositores de Maradona se sumaran a votar por Ghiggia - campeón del 50 con Uruguay. Pero sin dudas fueron los tuiteros uruguayos quienes operaron - comprometidos con la causa - quienes agitaron esta votación mundial.

La final lógica entre Pelé y Maradona (así esperada por los organizadores que los pusieron en llaves opuestas) no sucedió por el particular interés de la comunidad de uruguayos en las redes, demostrando una vez más la poca validez de las encuestas en Twitter.

Como mencionábamos en una entrada anterior en el blog, Las encuestas requieren de una muestra representativa o una estrategia de segmentación posterior de los resultados, para poder extrapolar y dar resultados válidos.

Nada de esto es posible en Twitter, que además de bots y cuentas falsas, tiene el problema de no poder identificar a los votantes y por lo tanto es imposible la segmentación. El sesgo es el rey y es un sesgo desconocido.

Esta acción (muy divertida en redes) es un claro ejemplo de que un grupo con algo de movilización puede torcer una encuesta, incluso con alto número de votantes.

[Más sobre encuestas, en mi columna en 1410 AM]
.
.

martes, 5 de junio de 2018

Encuestas en Redes Sociales

La tentación es grande: son fáciles de implementar, se pueden obtener muchas respuestas de manera sencilla, los datos quedan visibles de inmediato, la herramienta es muy simple y está al alcance de todos.

Pero, ¿para qué sirven las encuestas en Twitter?

Se acercan tiempos electorales y surgen una y otra vez este tipo de encuestas, preguntando por candidatos en las internas, preferencias entre grupos políticos, y también posibles presidenciables entre partidos.


Las encuestas en Twitter tienen muchas limitaciones, pero las primeras que saltan a la vista, son la cantidad de opciones que se pueden presentar (un máximo de 4) y la imposibilidad de presentar las opciones en un orden aleatorio, que condicionan las respuestas recibidas.

Además la política de Twitter respecto a las encuestas establece que cuando un usuario vota, su participación "no se muestra a otras personas: ni el creador de la encuesta ni los demás participantes pueden ver quién ha votado o cuál fue su voto", lo cual hace imposible cualquier intento de análisis de los resultados obtenidos.

La clave en una encuesta está determinar una muestra representativa y/o poder segmentar los resultados obtenidos, para hacer la extrapolación que permita brindar conclusiones sobre el universo analizado.

Las encuestas de Twitter son abiertas a cualquiera que la reciba y quiera participar, por lo que se hace imposible tener una muestra, ya que no hay control sobre quienes responden la encuesta.

Algunos, como Burrosuy, sostienen que si la cantidad de respuestas es un número "grande", se puede inferir que la encuesta llegó a tener respuestas de personas muy diversas, traspasando los límites de los círculos de afinidad, y por lo tanto podría ser representativa de la comunidad de usuarios en Twitter.

En un intento por validar el mecanismo de las encuestas en Twitter @Burrouy  comparó sus resultados con los de una encuesta tradicional, y verificó que hasta que ciertas personas no hacían retuits que permitieran acceder a nuevos círculos de opinión, los resultados tenían un sesgo importante.

Eso nos lleva a un gran tema de discusión: Si tuviéramos las respuestas del 100% de los usuarios uruguayos de Twitter, ¿sería representativa del total de la población del país? Por supuesto que no. Según los datos del Perfil del Internauta Uruguayo en 2016, Twitter sólo era utilizado por el 23% de los internautas, y ese número bajó en 2017. Además, si analizamos a los usuarios de Twitter seguramente exista cierta predominancia de algunos sectores de la sociedad (nivel socio-económico, edad, educación, etc).

Además al no tener las características de quienes votaron, tampoco podemos saber qué grupos de personas votaron, a qué círculos de afinidad pertenecen (problema de sesgo), y lo que es aún peor: qué peso tienen los votos de usuarios fasos, personas con múltiples usuarios o acciones realizadas con bots.

Como escribió Ignacio Zuasnabar - director de Equipos , estas encuestas son "Un instrumento de expresión de opinión, a mi juicio valioso e interesante, como otros. Al no basarse en métodos probabilísticos sus resultados no representan ningún universo en particular".

Daniel Mordecki - docente y consultor, hacía referencia a que las encuestas de Twitter fueron creadas para hacer humor o desarrollar estrategias de marketing ("muchas veces divertido y buena herramienta de marketing") pero no para hacer investigaciones serias. Efectivamente, las encuestas funcionan muy bien en términos de humor y promociones de marketing.

Un buen ejemplo de cómo las encuestas de Twitter no permiten resultados concluyentes, es el caso de las organizadas por FIFA (*) para determinar la mejor selección y el mejor jugador de todos los tiempos, donde la participación activa y militante de los uruguayos en la red llevó a resultados, que difícilmente se puedan asimilar a la visión global sobre el fútbol que hay a nivel internacional.

Un comentario final, es que nada de lo anterior se debe confundir con técnicas estadísticas como las utilizadas, por ejemplo, por el Grupo Radar en la encuesta del internauta uruguayo, para recoger respuestas por internet con una encuesta online autoadministrada, corrigiendo el sesgo natural de esta muestra se ponderaran los resultados según la composición del universo, muchas veces con una encuesta tradicional.

Aquí el audio de mi columna en 1410 AM sobre este tema.

[* Ver análisis de las encuestas FIFA aquí en el blog]
.
.