Realice estudios de investigación web visionarios utilizando datos web profundos y consultas web de Excel

¿Qué diría si le dijera que tiene las herramientas a su disposición para realizar investigaciones innovadoras y devastadoras? Bueno, sí, y te mostraré cómo.

Los gobiernos, las instituciones académicas y las organizaciones de investigación sin fines de lucro publican tablas llenas de datos al dominio público. Sin que nadie use esta información, su verdadero valor nunca será conocido. Desafortunadamente, pocas personas tienen el conocimiento, las habilidades o las herramientas para tomar los datos y hacer correlaciones interesantes entre información aparentemente no conectada.

Fondo

Gran parte de la investigación que hago para mi propio blog consiste en explorar lo que se conoce como la web invisible Los 12 mejores motores de búsqueda para explorar la web invisible Los 12 mejores motores de búsqueda para explorar la web invisible Google o Bing no pueden buscar todo . Para explorar la web invisible, debe utilizar estos motores de búsqueda especiales. , para descubrir datos que se han lanzado al público, pero ocultos para los motores de búsqueda Los 5 motores de búsqueda más avanzados en la Web Los 5 motores de búsqueda más avanzados en la Web dentro de una base de datos en línea. Esta es la Deep Web TorSearch pretende ser Google para la Deep Web TorSearch pretende ser Google para la Deep Web Tor es un servicio oculto y parte de la Deep Web. TorSearch es un nuevo motor de búsqueda anónimo que su fundador Chris MacNaughton quiere hacer “Google de Tor”. , y está plagado de datos valiosos. Muy a menudo, me encuentro con páginas web repletas de algunos de los datos más valiosos sobre temas que abarcan desde los datos del censo hasta los estudios epidemiológicos sobre enfermedades raras. Constantemente tengo nuevas ideas sobre cómo tratar de correlacionar esas fuentes de datos dispares usando varias herramientas, y una de las herramientas más valiosas que he encontrado es la consulta web dentro de Microsoft Excel.

Encontrar correlaciones de datos interesantes

Lo que les voy a mostrar hoy es un ejemplo de cómo puede hacer uso de las consultas web de Excel para obtener datos de diferentes sitios web y trazarlos entre sí para buscar posibles correlaciones entre los datos..

La forma de comenzar un ejercicio como este es presentar una hipótesis interesante. Por ejemplo, para mantener las cosas interesantes aquí, voy a postular aleatoriamente que las altas tasas de autismo en los Estados Unidos son causadas por vacunas o la creciente presencia de campos electromagnéticos en y alrededor de los niños, como los teléfonos celulares. Es una hipótesis loca como la que encontrarás en la mayoría de los sitios web de teoría de la conspiración, pero eso es lo que hace que esto sea divertido. Así que comencemos, ¿de acuerdo??

Primero, abra Excel, vaya al elemento del menú de datos y busque el “De la web” icono en la cinta de menú.

Esto es lo que usará para importar las diferentes tablas de datos de los muchos sitios web que las han publicado.

Importar datos web a Excel

Entonces, en los viejos tiempos, tenía que intentar copiar los datos de esa tabla en una página web, pegarlos en Excel y luego tratar con todos los problemas de formato locos involucrados en eso. Total molestia, y muchas veces simplemente no vale la pena el dolor de cabeza. Bueno, con Excel Web Queries, esos días ya pasaron. Por supuesto, antes de que pueda importar los datos, necesitará navegar en Google para encontrar los datos que necesita en formato de tabla. En mi caso, encontré un sitio web que había publicado las estadísticas del Departamento de Educación para el número de estudiantes de escuelas públicas de EE. UU. Que fueron identificados como autistas. Una buena tabla allí proporcionó números desde 1994 hasta 2006.

Entonces solo tienes que hacer clic en “De la web”, pegue la URL de la página web en el campo de dirección de consulta y luego desplácese hacia abajo hasta que vea la flecha amarilla al lado de la tabla con los datos que desea importar.

Haga clic en la flecha para que se convierta en una marca de verificación verde..

Finalmente, dígale a Excel en qué campo desea pegar los datos de la tabla dentro de su nueva hoja de cálculo.

Entonces - ¡Voila! Los datos fluyen automáticamente a su hoja de cálculo..

Entonces, con una tendencia de tasas de autismo en escuelas públicas de 1996 a 2006, es hora de salir en busca de vacunas y tendencias de uso de teléfonos celulares también.

Afortunadamente, rápidamente encontré tendencias para los suscriptores de teléfonos celulares en los EE. UU. Desde 1985 hasta 2012. Excelentes datos para este estudio en particular. Nuevamente, utilicé la herramienta Excel Web Query para importar esa tabla.

Importé esa tabla en una hoja nueva y limpia. Luego, descubrí las tendencias de vacunación para el porcentaje de escolares vacunados contra diferentes enfermedades. Importé esa tabla usando la herramienta de consulta web en una tercera hoja. Entonces, finalmente, tenía tres hojas con las tres tablas llenas con los datos aparentemente desconectados que había descubierto en la Web.

El siguiente paso es usar Excel para analizar los datos e intentar identificar cualquier correlación. Ahí es donde entra en juego una de mis herramientas de análisis de datos favoritas: la tabla dinámica.

Análisis de datos en Excel con la tabla dinámica

Es mejor crear su tabla dinámica en una hoja nueva y vacía. Desea utilizar el asistente para lo que está a punto de hacer. Para habilitar el asistente de tabla dinámica en Excel, debe presionar Alt-D al mismo tiempo hasta que aparezca una ventana de notificación. Luego suelte esos botones y presione el “PAG” llave. Luego, verás aparecer al asistente.

En la primera ventana del asistente, desea seleccionar “Múltiples rangos de consolidación”, que le permite seleccionar los datos de todas las hojas que ha importado. Al hacer esto, puede consolidar todos esos datos aparentemente no relacionados en una sola tabla dinámica poderosa. En algunos casos, es posible que necesite masajear algunos de los datos. Por ejemplo, tuve que arreglar el “Año” campo en la tabla de autismo para que mostrara “1994” en vez de “1994-95” - haciendo que se alinee mejor con las tablas en las otras hojas, que también tenían el campo del año primario.

Ese campo común entre los datos es lo que necesita para intentar y correlacionar la información, así que tenga esto en cuenta cuando busque datos en la Web..

Una vez que se realiza la tabla dinámica y se muestran todos los diferentes valores de datos en una tabla, es hora de hacer un análisis visual para ver si hay alguna conexión obvia que salte a la vista..

Visualizar datos es clave

Tener un montón de números en una tabla es genial si eres economista, pero la forma más rápida y fácil de tener eso “aha!” El momento en que intentas encontrar conexiones como una aguja en un pajar, es a través de tablas y gráficos. Una vez que tenga su Gráfico dinámico en su lugar con todos los conjuntos de datos que ha recopilado, es hora de crear su gráfico. Por lo general, un gráfico lineal funcionará mejor, pero depende de los datos. Hay momentos en que un gráfico de barras funciona mucho mejor. Intente comprender qué tipo de datos está viendo y qué comparaciones de formularios funcionan mejor.

En este caso, estoy mirando los datos a lo largo del tiempo, por lo que un gráfico lineal es realmente la mejor manera de ver las tendencias a lo largo de los años. Al registrar las tasas de autismo (verde) frente a las tasas de vacunación reducidas (azul oscuro), las vacunas contra la varicela (azul claro) y el uso del teléfono celular (púrpura), de repente apareció una extraña correlación en este conjunto de datos de muestra con el que estaba jugando.

Por extraño que parezca, la tendencia en el uso de teléfonos celulares desde 1994 hasta 2006 coincidió casi perfectamente con la subida de las tasas de autismo durante el mismo período de tiempo. Si bien el patrón fue completamente inesperado, es un ejemplo perfecto de cómo vincular datos interesantes puede revelar pistas fascinantes, brindándole una mayor comprensión y motivación para seguir avanzando y buscar más datos que puedan reforzar aún más su hipótesis.

Una correlación como la anterior no prueba nada. Hay muchas tendencias que aumentan con el tiempo: el patrón podría ser una coincidencia, pero también podría ser una pista importante en su búsqueda continua de más datos en Internet. Afortunadamente, tiene una herramienta poderosa llamada Excel Web Queries que hará que esa búsqueda sea un poco más fácil.

Crédito de la foto: Kevin Dooley a través de photopin cc