Replicación de máquinas virtuales de Azure con Azure Site Recovery

Replicación de máquinas virtuales de Azure con Azure Site Recovery

Mapa ASR

Hace unos días, Microsoft presentó una nueva característica disponible en las máquinas virtuales de Azure. Se trata de ASR (siglas en inglés de Azure Site Recovery) que permite configurar la replicación de la máquina virtual en una región diferente con unos pocos clics. Ahora más que nunca es muy sencillo configurar un mecanismo de seguridad y recuperación ante desastres en nuestras máquinas virtuales. (más…)

Microsoft, Facebook y Telxius presentan el cable submarino transatlántico más avanzado

Microsoft, Facebook y Telxius presentan el cable submarino transatlántico más avanzado

Al hablar de tecnologías la velocidad y capacidad en la transferencia de los datos juega un papel fundamental. Es por ello que dos de las empresas más importantes de tecnología a nivel mundial como lo son Microsoft y Facebook, junto a la filial de telefónica en infraestructuras Telxius, han inaugurado el cable transatlántico más avanzado hasta el momento. El resultado de este ambicioso proyecto ha sido bautizado como Marea y su principal objetivo es satisfacer el incremento en la demanda de los servicios de internet y de la computación cloud de los últimos años. Marea es el cable submarino más avanzado que cruza el Océano Atlántico. El cable conecta Estados Unidos (Virginia Beach) y España (Bilbao).

(más…)

Fusionar datasets con Sqoop (Sqoop merge)

Fusionar datasets con Sqoop (Sqoop merge)

Sqoop nos ofrece la posibilidad de fusionar dos conjuntos de datos o datasets en un único dataset. Supongamos que realizamos una importación desde SQL Server a HDFS, esta importación se guardará en un directorio en HDFS, y luego realizamos una carga incremental sobre la misma tabla, la carga incremental la deberemos guardar en un directorio distinto ya que sino sobrescribiremos los datos importados anteriormente. Bien, entonces tenemos dos directorios en HDFS con los datos de la tabla, es en este escenario es cuando resulta de especial interés la utilización de la herramienta Sqoop merge, para poder fusionar los datos de los directorios HDFS en uno sólo. (más…)

Guardar trabajos en Sqoop (Sqoop-job)

El proceso de importación y exportación de datos en Sqoop puede ser un proceso muy repetitivo, y si bien es cierto, que los comandos de importación y exportación de Sqoop tienen varios parámetros que pueden resultar difícil de recordar o que cometamos algún error en la escritura lo que hace que nos demoremos en la ejecución de las tareas corrigiendo ese tipo de errores. Para ello Sqoop nos permite guardar trabajos, asignándoles un nombre para luego ejecutarlos directamente. Esto resulta de especial interés por ejemplo en la importación incremental, cuando realizamos el proceso repetidamente. (más…)

Generación de código en Sqoop

Cuando realizamos una importación desde un sistema RDBMS a Hadoop se realiza una generación de código, Sqoop crea una instancia de Java con la definición de los registros que se van a importar. Pero se puede dar el caso que queramos generar de forma independiente dicha instancia de Java, para ello utilizamos la herramienta codegen de Sqoop.Codegen es una herramienta de Sqoop que realiza la generación de código, genera clases de Java las cuales interpreta y encapsula los datos importados, pero no realiza una importación de los datos. Sqoop examina la tabla de la base de datos origen para determinar los tipos de datos adecuados. Esta generación de código es útil en el caso que perdamos por algún motivo la instancia de Java creada durante la importación, cambie la especificación de los registros de la tabla origen o bien porque usemos un delimitador de campo diferente, para estos casos, nos interesará realizar la generación de código.

(más…)