Image Image Image Image Image

Visualizar 2015

Visualizar’15 Datos para el bien común (Commoning Data)

VIDAS CONTADAS pretende ser un archivo interactivo creado con el propósito de reunir las piezas de un rompecabezas cuyo tamaño es aún desconocido: la historia de la represión estructural y sistemática que muchos hombres y las mujeres sufrieron durante la Guerra Civil española y la posterior dictadura franquista. Tenemos a nuestra disposición miles de referencias para documentar los crímenes internacionales que se produjeron en este período, y sin embargo todas estas piezas de información están todavía fragmentadas y dispersas. Por lo tanto, relacionando cada pieza y cada historia de vida vamos a ser capaces de preservar y reconstruir nuestra historia común, que surgirá de un mar de datos relacionados entre sí. Vamos a reconstruir el rompecabezas pieza por pieza.

A través de una metodología para la integración y visualización de los datos, con fuentes abiertas y licencias libres, VIDAS CONTADAS nace con el propósito de integrar toda la información existente de forma participativa. Al vincular las iniciativas y fuentes anteriores sobre la memoria y la integración de todos los datos disponibles en un contexto apropiado, vamos a ser capaces de entender QUÉ delitos se produjeron durante la Guerra Civil y la dictadura, CÓMO Y POR QUÉ. VIDAS CONTADAS se presenta por tanto como una herramienta para conocer, indagar y construir una historia colectiva, para garantizar el derecho a la verdad de la ciudadanía.

Desde este punto de vista, aunque nos centremos en España, la metodología y herramientas generadas por este proyecto pueden ser de aplicación en otros contextos, como las dictaduras latinoamericanas, la represión en el Sahara, Palestina, etc.

BUSCAMOS COLABORADORES

La figura del colaborador es fundamental en el planteamiento y desarrollo de los talleres de Medialab-Prado, pues estos se conciben como espacios de trabajo colaborativo, intercambio de conocimientos y formación teórico-práctica, en un ambiente de relación horizontal entre tutores, desarrolladores y los propios colaboradores. Los colaboradores participarán en la producción de los proyectos seleccionados. El taller se complementa con un programa de conferencias.

Medialab-Prado ofrece alojamiento gratuito para los colaboradores que lo necesitan, en albergue (habitaciones compartidas) durante el taller (plazas limitadas previa petición y por orden de inscripción). Si queréis colaborar en hacer realidad este proyecto, apuntaos antes del 4 de mayo, 2015.

Convocatoria colaboradores: http://medialab-prado.es/article/visualizar15convocatoriacolaboradores

http://comunidad.medialab-prado.es/en/groups/vidas-contadas

METODOLOGIA

El primer paso que tenemos que dar es el de normalizar toda la cantidad de información que tenemos. Para ello, se creará una herramienta de carga de datos que permita leer los diferentes archivos y listados de los que disponemos y asignar a cada elemento de datos un nombre uniforme en base a unaontología que estamos definiendo. Ello nos permitirá tratar de igual modo elementos comunes como Nombre, Profesión, Afiliación, Lugar de Nacimiento, etc. sea cual sea el formato en el que aparezcan en la fuente de datos original.

Posteriormente, la herramienta se conectará con OpenRefine, una potente plataforma de limpieza de datos, originalmente desarrollada por Google, que nos permitirá corregir errores y discrepancias en los datos (errores ortográficos, topónimos en varios idiomas, fechas en distintos formatos, etc.).

A partir de aquí pasaremos a integrar los datos de manera que podamos relacionar registros que hablen sobre la misma persona en distintas fuentes, completando información y eliminando redundancias. En esta fase también realizaremos la geolocalización de los registros con información geográfica.Toda la información recopilada la organizaremos entonces en “elementos” de información, de una manera semántica, así tendremos conceptos como Persona, Evento y Lugar, relacionados entre sí. De esta manera se podrá buscar por Persona y encontrar otras Personas relacionadas (familiares), un Lugar y encontrar Personas relacionadas (cuerpos identificados en una fosa), etc. Una vez que se tenga una búsqueda se podrá descargar o visualizar. 

Al tener identificados los Lugares y los Eventos podremos visualizar mapas y líneas de tiempo.

Además, al estar todo integrado se podrán hacer búsquedas más potentes, más allá de los criterios que se hayan elegido.

Integraremos un potente gestor documentalsemántico que nos permitirá añadir todos los documentos, imágenes, videos, enlaces, etc. y asignarlos a cada uno de los elementos anteriormente descritos de manera que puedan ser integrados de forma transparente en consultas y visualizaciones.

Toda la información textual, fotográfica e infográfica será publicada con una licencia análoga a la de Wikipedia pero con la etiqueta de uso no lucrativo: Creative Commons By-Nc-Sa

Todo el software que se genere tendrá licencias GPL y estará puesto a la disposición de toda la comunidad de historiadores, sociólogos, antropólogos pero también de toda la ciudadanía, para que puedan así usarlo en otros proyectos, hacer versiones, mejoras y adaptaciones.

TAREAS A REALIZAR DURANTE VISUALIZAR 2015

Inventario de recursos

El primer paso es hacer un inventario de todos los datasets ya recopilados por el equipo de VIDAS CONTADAS así como encontrar otros nuevos disponibles en la red.

Obtención de datos. Taller de scrapeo con scrapy e import.io

Para abordar la obtención de datos, el equipo promotor se ofrece a impartir un taller de obtención de datos utilizando distintas herramientas como scrapy (python), import.io, tabula, etc.

http://www.slideshare.net/ErinShellman/downloading-the-internet-with-python-scrapy

 

http://www.slideshare.net/antonrifco/how-to-scrap-websites-content-using-scrapytutorial-of-how-to-scrape-crawling-websites-content-using-scrapy-python

 


https://www.youtube.com/watch?v=V8lHaaAWGXc

 

Limpieza de los datos

El siguiente paso es limpiar los datos para asegurar su coherencia (fechas, localidades, formatos numéricos, etc). Organizaremos un taller de OpenRefine, una herramienta muy útil para esta tarea

https://www.youtube.com/channel/UCTlZlc9_V3ZaMbvoQ25fyIw

http://medialab-prado.es/article/limpiando_datos_google_refine

http://schoolofdata.org/handbook/recipes/cleaning-data-with-refine/

Herramienta de mapeo de datos

Básicamente, dado un conjunto de etiquetas (nombres de las columnas), debemos asignar cada etiqueta (elementos de la izquierda) a elementos de un esquema cajas de la derecha, donde cada caja puede contener varias columnas, las cajas se pueden crear de manera dinámica, y anidarse.

Filosofía similar a

https://datawrapper.de/

http://app.raw.densitydesign.org

Componentes a utilizar

http://www.dhtmlgoodies.com/scripts/drag-drop-nodes/drag-drop-nodes-demo2.html

http://dbushell.github.io/Nestable/

Base de datos y API

Modelo de datos

Django + REST framework

OData?

Visualización de datos

Integrar y extender http://app.raw.densitydesign.org/

Otras referencias:

https://public.tableau.com/s/

https://datawrapper.de/

Crowdfunding

Preparar video
Recompensas

EQUIPO

GRUPO COORDINADOR

Alberto Labarga @alabarga, alberto.labarga@gmail.com

Sheila Vélez, sveleznunez@gmail.com

Jaxinto G. Viniegra @visualizainfo, visualiza.colaboracion@gmail.com

GRUPO COLABORADOR

La figura del colaborador es fundamental en el planteamiento y desarrollo de los talleres de Medialab-Prado, pues estos se conciben como espacios de trabajo colaborativo, intercambio de conocimientos y formación teórico-práctica, en un ambiente de relación horizontal entre tutores, desarrolladores y los propios colaboradores. Los colaboradores participarán en la producción de los proyectos seleccionados. El taller se complementa con un programa de conferencias.

Medialab-Prado ofrece alojamiento gratuito para los colaboradores que lo necesitan, en albergue (habitaciones compartidas) durante el taller (plazas limitadas previa petición y por orden de inscripción). Si queréis colaborar en hacer realidad este proyecto, apuntaos antes del 4 de mayo, 2015.

Convocatoria colaboradores: http://medialab-prado.es/article/visualizar15convocatoriacolaboradores

http://comunidad.medialab-prado.es/en/groups/vidas-contadas