Azure Stream Analytics serie. Parte 2: Escalado y particionamiento en un job de ASA

Azure Stream Analytics serie. Parte 2: Escalado y particionamiento en un job de ASA

En este segundo post de la serie de Azure Stream Analytics (ASA de ahora en adelante) vamos a hablar sobre escalado y particionamiento, creando steps en la Query del job de ASA de forma manual y particiones para mejorar el rendimiento de los jobs de ASA.

En este caso práctico de ejemplo, tenemos diferentes aplicaciones que envían una gran cantidad de transacciones a un event hub, y nuestro job de ASA tiene que recoger todos esos datos, unirlos y pasarlos a un segundo event hub.

Antes de empezar con este caso práctico vamos hablar sobre los conceptos básicos de escalado y particionamiento de ASA.

(más…)

Azure Stream Analytics serie. Parte 1: Uso e implementación de funciones en JavaScript en un job de ASA

Azure Stream Analytics serie. Parte 1: Uso e implementación de funciones en JavaScript en un job de ASA

En esta serie de posts vamos a comentar diferentes aspectos de Azure Stream Analytics (ASA de ahora en adelante), que pueden resultarnos útiles en nuestros desarrollos del día a día. Si no conoces Azure Stream Analytics puedes ver una introducción en este enlace.

En este post veremos cómo aprovechar funciones JavaScript dentro de ASA, cuando pueden sernos útiles y cómo implementar un par de ejemplos sencillos.

Las funciones JavaScript permiten el uso de métodos como RegExp, Mah, Array, Date y varios más que resultan muy útiles para realizar transformaciones más complejas de forma más sencilla que usando código SQL en la Query del job, como por ejemplo, dar formato a fechas, comprobar correos electrónicos o buscar patrones en strings, operaciones matemáticas complejas, recorrer niveles y extraer campos de ficheros json, etc…

(más…)

Convertir ficheros Excel en CSV y cargar ficheros usando SSIS

Convertir ficheros Excel en CSV y cargar ficheros usando SSIS

SQL Server Integration Services, SSIS de aquí en adelante, tiene la capacidad de cargar archivos Excel, pero en muchas ocasiones suele ser tedioso porque cualquier mínimo cambio en ese fichero Excel puede hacer fallar el paquete de SSIS, por eso normalmente la mejor opción es transformar dichos ficheros de formato Excel a CSV, ya que cargar ficheros de texto da muchos menos problemas que los ficheros Excel. (más…)

Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 3 de 3)

Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 3 de 3)

En nuestro primer post de la serie se explicaban diferentes métodos para cargar una dimensión con atributos de Tipo 2, en el segundo post de la serie se explicaban los diferentes métodos para cargar una tabla de hechos a partir de una dimensión con atributos de Tipo 2 y en este tercer post vamos a comentar como cargar una dimensión con atributos de Tipo 2 usando una columna de tipo CHECKSUM.

(más…)

Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 2 de 3)

Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 2 de 3)

Este es el segundo post de la serie en el que explicaremos como cargar nuestra tabla de Hechos a partir de una dimensión con atributos de Tipo 2, usando dos maneras diferentes, una de ellas será mediante un componente “Look Up” con caché parcial y la otra opción será usando un componente “Merge Join” con un “Conditional Split” para seleccionar el registro que se encuentra en el rango de fechas correcto. Para mas información sobre qué es un atributo de Tipo 2 y sobre como cargar la dimensión que usaremos en este ejemplo puedes consultar el primer post de la serie.
(más…)
Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 1 de 3)

Carga de Slowly Changing Dimensions y tabla de Hechos con atributos de Tipo 2 (Parte 1 de 3)

Este post es el primero de una serie de 3 post que iremos publicando. A lo largo de estos post vamos a comentar las diferentes opciones que tenemos para cargar Slowly Changing Dimension (SCD) o dimensiones lentamente cambiantes si lo traducimos al castellano y como cargar nuestras tablas de Hechos a partir de estas dimensiones.

(más…)

Invocar paquetes de SSIS de forma dinámica a través de un Job

Invocar paquetes de SSIS de forma dinámica a través de un Job

Uno de los problemas que nos encontramos a veces en nuestros clientes son los permisos que tienen o que les podemos otorgar a los usuarios para ejecutar procedimientos almacenados, Jobs, paquetes de SSIS, etc… En este caso concreto, los usuarios solo tenían permisos para ejecutar procedimientos almacenados, pero no podían ejecutar Jobs o paquetes de SSIS y necesitaban cargar ficheros de Excel en tablas de SQL Server utilizando una aplicación web.

(más…)