Cómo importo datos de avistamientos de ovnis de Internet en una hoja de cálculo de Google

Cuando se trata de bases de datos en línea e información que se puede encontrar dentro de lo que comúnmente se conoce como “web invisible Los 12 mejores motores de búsqueda para explorar la web invisible Los 12 mejores motores de búsqueda para explorar la web invisible Google o Bing no pueden buscarlo todo. Para explorar la web invisible, debe utilizar estos motores de búsqueda especiales.. “, No soy tu usuario típico. Claro, paso demasiado tiempo revisando bases de datos en línea en lugares como los Archivos Nacionales y la sala de lectura de la CIA FOIA, pero tengo que decir que nada me emociona más que cuando encuentro una tabla basada en HTML llena de volúmenes de datos aparentemente complejos y desconectados.

El hecho es que las tablas de datos son una mina de oro de verdades importantes. A menudo, los ejércitos de gruñidos de recolección de datos recopilan datos con botas en el suelo. Hay personas del censo de EE. UU. Que viajan por todo el país para obtener información sobre el hogar y la familia. Hay grupos ambientalistas sin fines de lucro que recopilan todo tipo de información interesante sobre el medio ambiente, la contaminación, el calentamiento global y más. Y si te gusta lo paranormal o la ufología, también hay tablas de información constantemente actualizadas sobre avistamientos de objetos extraños en el cielo sobre nosotros..

Irónicamente, uno pensaría que cualquier gobierno en el mundo estaría interesado en saber qué tipo de embarcación extranjera se está viendo en los cielos de cualquier país, pero aparentemente no, al menos no en los Estados Unidos de todos modos. En Estados Unidos, la colección de avistamientos inusuales de artesanías se ha relegado a equipos de aficionados aficionados que acuden a nuevos avistamientos de ovnis como las polillas a una llama. Mi interés en estos avistamientos en realidad no proviene de una fascinación por los extraterrestres o las naves de otros planetas, sino de una fascinación científica por los patrones: dónde y por qué más personas están viendo cosas en el cielo, y si esos avistamientos podrían reflejar algo muy real y mucho más con los pies en la tierra en realidad pasando.

Para explorar los volúmenes de datos recopilados por equipos de aficionados a los ovnis, he desarrollado una forma de importar grandes tablas de datos HTML en una hoja de cálculo de Google, y luego manipular y analizar esos datos para extraer y descubrir información significativa e importante. En este artículo, tengo la intención de mostrarle cómo hacer lo mismo.

Datos HTML importantes en la hoja de cálculo de Google

En este ejemplo, voy a mostrarle cómo importar cualquier dato que pueda almacenarse en una tabla en cualquier sitio web en Internet, en su hoja de cálculo de Google. Piense en el enorme volumen de datos que está disponible hoy en Internet en forma de tablas HTML. Wikipedia solo tiene datos en tablas para temas como el calentamiento global, la Oficina del Censo de EE. UU. Tiene toneladas de conjuntos de datos de población, y un poco de Google te llevará mucho más allá.

En mi ejemplo, estoy comenzando con una base de datos en el Centro Nacional de Informes de OVNI que en realidad parece ser una base de datos de web profunda de estilo de consulta, pero si observa la estructura de URL, en realidad es una web semi-compleja sistema de informes basado en páginas web estáticas y tablas HTML estáticas: exactamente lo que queremos cuando buscamos datos para importar.

NUForc.org es una de esas organizaciones que sirve como uno de los mayores centros de informes para avistamientos de ovnis. No es el único, pero es lo suficientemente grande como para encontrar nuevos conjuntos de datos con avistamientos actuales para cada mes. Usted elige ver los datos ordenados por criterios como Estado o Fecha, y cada uno de ellos se proporciona en forma de página estática. Si ordena por fecha y luego hace clic en la fecha más reciente, verá que la tabla que aparece allí es una página web estática llamada de acuerdo con el formato de fecha.

Entonces, ahora tenemos un patrón para extraer regularmente la última información de avistamientos de esta base de datos basada en HTML. Todo lo que tiene que hacer es importar la primera tabla, usar la entrada más reciente (la superior) para identificar la última actualización y luego usar la fecha de esa publicación para crear el enlace URL donde existe la última tabla de datos HTML. Hacer esto simplemente requerirá un par de instancias de la función ImportHTML y luego algunos usos creativos de las funciones de manipulación de texto. Cuando haya terminado, tendrá una de las hojas de cálculo de informes más interesantes y de actualización automática. Empecemos.

Importar tablas y manipular datos

El primer paso, por supuesto, es crear la nueva hoja de cálculo..

Entonces, ¿cómo se importan las tablas HTML? Todo lo que necesita es la URL donde se almacena la tabla y el número de la tabla en la página, generalmente la primera lista es 1, la segunda es 2, y así sucesivamente. Como conozco la URL de la primera tabla que enumera las fechas y los recuentos de avistamientos enumerados, es posible importar escribiendo la siguiente función en la celda A1.

= importhtml (“http://www.nuforc.org/webreports/ndxpost.html?”& H2,”mesa”,1)

H2 tiene la función “= hora (ahora ())“, entonces la tabla se actualizará cada hora. Esto es probablemente extremo para los datos que actualizan esto con poca frecuencia, por lo que probablemente podría salirse con la suya todos los días. De todos modos, la función ImportHTML anterior trae la tabla como se muestra a continuación.

Tendrá que hacer un poco de manipulación de datos en esta página antes de poder juntar la URL para la segunda tabla con todos los avistamientos de ovnis. Pero continúe y cree la segunda hoja en el libro de trabajo.

Antes de intentar construir esa segunda hoja, es hora de extraer la fecha de publicación de esta primera tabla, para construir el enlace a la segunda tabla. El problema es que la fecha se presenta como un formato de fecha, no como una cadena. Entonces, primero debe usar la función TEXTO para convertir la fecha de publicación del informe en una cadena:

= texto (A2,”mm / dd / aa”)

En la siguiente celda a la derecha, debe usar la función SPLIT con “/ /” delimitador para dividir la fecha en mes, día y año.

= dividido (D2,”/ /”)

¡Luciendo bien! Sin embargo, cada número debe ser forzado a dos dígitos. Haces esto en las celdas justo debajo de ellas usando el comando TEXTO nuevamente.

= texto (E2,”00 ")

Un formato de “00” (esos son ceros) fuerza dos dígitos, o un “0 0” como marcador de posición.

Ahora está listo para reconstruir la URL completa a la última tabla HTML de nuevos avistamientos. Puede hacerlo utilizando la función CONCATENAR y uniendo todos los bits de información que acaba de extraer de la primera tabla..

= concatenar (“http://www.nuforc.org/webreports/ndxp”,G3, E3, F3,”.html”)

Ahora, en la nueva hoja que creó arriba (la hoja en blanco), va a hacer una nueva “importhtml” función, pero esta vez para el primer parámetro de enlace URL, por lo que volverá a navegar a la primera hoja de cálculo y hará clic en la celda con el enlace URL que acaba de crear.

El segundo parámetro es “mesa” y el último es “1” (porque la tabla de avistamientos es la primera y única en la página). Presiona enter, y ahora acabas de importar todo el volumen de avistamientos que se publicaron en esa fecha en particular.

Entonces, probablemente esté pensando que este es un buen acto de novedad y todo; quiero decir, después de todo, lo que ha hecho es extraer información existente de una tabla en Internet y migrarla a otra tabla, aunque sea privada en su Cuenta de Google Docs. Sí, eso es verdad. Sin embargo, ahora que está en su propia cuenta privada de Google Docs, tiene a su alcance las herramientas y funciones para analizar mejor esos datos y comenzar a descubrir conexiones increíbles.

Uso de informes dinámicos para analizar datos importados

Recientemente, escribí un artículo sobre el uso de informes dinámicos en la hoja de cálculo de Google Conviértase en un experto analista de datos durante la noche utilizando las herramientas de informes de la hoja de cálculo de Google Conviértase en un analista experto de datos durante la noche utilizando las herramientas de informes de la hoja de cálculo de Google ¿Sabía que es una de las mejores herramientas para conducir datos? Qué análisis es en realidad la hoja de cálculo de Google? La razón de esto no es solo porque puede hacer casi todo lo que desee ... para realizar todo tipo de hazañas geniales de análisis de datos. Bueno, puede hacer las mismas acrobacias de análisis de datos sorprendentes en los datos que ha importado de Internet, lo que le permite descubrir conexiones interesantes que posiblemente nadie más haya descubierto antes que usted..

Por ejemplo, de la tabla de avistamientos final, podría decidir usar un informe pivote para observar el número de formas únicas diferentes informadas en cada estado, en comparación con el número total de avistamientos en ese estado en particular. Finalmente, también filtro todo lo que menciona “extranjeros” en la sección de comentarios, con suerte para eliminar algunas de las entradas más locas.

En realidad, esto revela algunas cosas bastante interesantes desde el principio, como el hecho de que California claramente tiene el mayor número de avistamientos reportados de cualquier otro Estado, junto con la distinción de informar el mayor número de formas de embarcaciones en el país. También muestra que Massachusetts, Florida e Illinois también son grandes golpeadores en el departamento de avistamientos de ovnis (al menos en los datos más recientes).

Otra cosa interesante acerca de la hoja de cálculo de Google es la amplia gama de gráficos disponibles para usted, incluido un mapa geográfico que le permite diseñar “Puntos calientes” de datos en un formato gráfico que realmente se destaca y hace que esas conexiones dentro de los datos sean bastante obvias.

Si lo piensas, esto es realmente solo la punta del iceberg. Si ahora puede importar datos de tablas de datos en cualquier página de Internet, solo piense en las posibilidades. Obtenga los números de acciones más recientes, o los 10 libros y autores más recientes en la lista de los más vendidos del New York Times, o los autos más vendidos en el mundo. Existen tablas HTML sobre casi cualquier tema que pueda imaginar, y en muchos casos esas tablas se actualizan con frecuencia..

ImportHtml le brinda la capacidad de conectar su hoja de cálculo de Google a Internet y alimentarse de los datos que existen. Puede convertirse en su propio centro de información personal que puede utilizar para manipular y masajear en un formato con el que realmente puede trabajar. Es solo una cosa más genial que me encanta de la hoja de cálculo de Google.

¿Alguna vez ha importado datos en sus hojas de cálculo? ¿Qué tipo de cosas interesantes descubriste en esos datos? ¿Cómo usaste los datos? Comparta sus experiencias e ideas en la sección de comentarios a continuación.!

Créditos de imagen: Gráfico de negocios