Convertir ficheros Excel en csv y cargar ficheros usando SSIS

Convertir ficheros Excel en csv y cargar ficheros usando SSIS

SQL Server Integration Services, SSIS de aquí en adelante, tiene la capacidad de cargar archivos Excel, pero en muchas ocasiones suele ser tedioso porque cualquier mínimo cambio en ese fichero Excel puede hacer fallar el paquete de SSIS, por eso normalmente la mejor opción es transformar dichos ficheros Excel a formato .csv, ya que cargar ficheros de texto da muchos menos problemas que los ficheros Excel.

Convertir un solo fichero Excel a csv se hace rápidamente de forma manual guardando el archivo como .csv desde Excel, el problema es cuando tienes que realizar este proceso con muchos ficheros Excel o necesitas que este cambio de formato se realice de forma automática.

En este post vamos a explicar cómo hacer este cambio de formato automáticamente usando PowerShell y como iterar por directorios para cargar varios ficheros Excel usando SSIS como herramienta principal para realizar todo el proceso.

(más…)

Consumiendo Facebook Marketing API desde SSIS

Consumiendo Facebook Marketing API desde SSIS

Cualquier compañía hace grandes esfuerzos en publicitar sus productos y servicios en redes sociales como Facebook. A menudo se plantea la necesidad de evaluar dichas campañas y contrastar su rendimiento con otros parámetros de la empresa. Lo que nos proponemos, en resumen, es obtener datos de la Marketing API de Facebook e introducirlos en un flujo de datos de SSIS. (más…)

Autenticación Integrada en Azure Database con SSIS

Autenticación Integrada en Azure Database con SSIS

En muchos escenarios se nos presenta la necesidad de usar autenticación integrada para acceder a los orígenes de datos necesarios para alimentar nuestro sistema analítico. Con el uso cada vez más extendido de Azure, como al menos parte de nuestra infraestructura, algunos de estos orígenes van a estar alojados en bases de datos en Azure. En este caso vamos hablar de un error real que hemos tenido en la configuración y uso de la autenticación integrada contra bases de datos Azure con SSIS. (más…)

Miembros inferidos en SSIS

Miembros inferidos en SSIS

La primera vez que tuve que crear un paquete de SSIS teniendo en cuenta los miembros inferidos me encontré un poco perdido. Me sabía la teoría de esos miembros de una dimensión que llegan en los hechos y que aún no están cargados en su correspondiente tabla de dimensiones, pero no tenía ni idea de cómo podría implementarlo de una forma eficiente y efectiva. Vamos, quiero decir, que lo hiciera rápido y bien, que es como hay que hacerlo. Para ello hay que tener en cuenta dos cosas, la primera es que se debe hacer la inserción del miembro desconocido pero además recuperar la SK que se le asigna. La segunda es que pueden venir varias filas referenciando el mismo miembro y no se puede insertar cada vez que aparezca para evitar duplicidades. Y además, debemos intentar hacer las mínimas consultas posibles al DW para no sobrecargarlo.

 

Buscando por la bibliografía de la que disponía y por Internet encontré muchos artículos en los que se usaban distintos métodos, la mayoría con componentes script. Pero entre ellos apareció un artículo de Thomas Kejser donde explicaba cómo hacerlo de una forma muy interesante: con dos lookup y un stored procedure en el DW. Como mi escenario era bastante complejo y su ejemplo demasiado sencillo, me llevó un tiempo implementarlo de forma que funcionara y sacarle todo el partido que se puede obtener de esta solución. Es por ello que, a continuación, voy a elaborar un ejemplo también sencillo pero con varias situaciones que se nos pueden presentar.

Empezaremos creando 3 tablas que vamos a necesitar con los valores necesarios:

CREATE TABLE StageCompras(
  Alimento VARCHAR(25) NOT NULL,
  Color VARCHAR(25) NULL,
  Unidades INT NOT NULL,
  PrecioUnidad FLOAT NOT NULL
  )

CREATE TABLE DimAlimentos(
  SKAlimento INT PRIMARY KEY IDENTITY(1,1),
  Alimento VARCHAR(25) NOT NULL,
  Color VARCHAR(25),
  Tipo VARCHAR(25),
  Calorias100gr INT,
  FlagInferido BIT
  )

CREATE TABLE FactCompras(
  Unidades INT NOT NULL,
  PrecioUnidad FLOAT NOT NULL,
  FKAlimento INT NOT NULL,
  Fecha SMALLDATETIME DEFAULT GETDATE()
  )
GO

INSERT INTO StageCompras VALUES 
  ('Patata', 'Amarillo', 4, 2.95)
  ,('Naranja', 'Naranja', 1, 1.50)
  ,('Kiwi', 'Marrón', 5, 2.75)
  ,('Manzana', 'Roja', 4, 1.99)
  , ('Manzana', 'Roja', 6, 1.99);

INSERT INTO DimAlimentos VALUES 
  ('Patata', 'Amarillo', 'Planta', 77, 0)
  ,('Kiwi', 'Marrón', 'Fruta', 61, 0)
  ,('Manzana', 'Verde', 'Fruta', 52, 0)

Lo siguiente será crear un paquete SSIS, añadir un Data Flow y construir el sistema. Para ponernos en situación al final nos quedará algo así:

1

Para comenzar con el flujo debemos tener un origen de datos que lea de la tabla StageCompras.

2

A continuación añadiremos un Lookup conectado a la tabla DimAlimentos. En la pestaña General le indicaremos que las filas que no hagan join las derive a la salida de no encontradas. En la pestaña de Columnas enlazaremos Alimento y Color y le marcaremos SKAlimento para que nos devuelva ese campo. Con esto tenemos un lookup que tendrá en caché todos los elementos de la dimensión DimAlimentos con una única consulta.

3

Añadiremos un segundo Lookup, que es el que tiene la mitad de la magia de esta solución, a la salida del no encontrados del primer Lookup. En la pestaña General, en el grupo Cache mode le indicaremos que queremos que haga Partial cache. Esto quiere decir que se guardará en caché todas aquellas filas por las que se le pregunte. Y a él solo llegaran las filas que contienen miembros desconocidos puesto que está unido a esa salida del anterior. Por esto solo consultará al DW la primera vez que aparezca un elemento desconocido. Las siguientes veces que aparezca el mismo elemento desconocido ya lo tendrá en memoria y no necesitará repetir la consulta.

4

En la pestaña de Connection haremos la conexión con la tabla DimAlimentos utilizando la opción de usar una tabla o vista. Este punto es importante y volveremos sobre él más adelante.

5

En el apartado de columnas haremos lo mismo que en el caso del anterior Lookup, enlazar Alimento y Color y marcar SKAlimento.

Nos queda una pestaña por configurar, la de Advanced. En este punto nos dará error puesto que nos falta la otra parte del truco, pero vamos a indicar ya lo que haremos. Marcaremos el check de Modify the SQL statement y escribiremos la siguiente sentencia

EXEC Generate_SKAlimento ?, ?, 'NA'

Le estamos indicando que cuando llegue una fila desconocida, que no tenga ya en caché, ejecute esa llamada a un Stored Procedure el cual insertará el elemento en el DW y nos devolverá la SK que le asigne SQL Server (por ser un Identity).

6

Y presionando sobre el botón de parámetros configuraremos dos de ellos

7

Para terminar el Data Flow nos falta hacer una unión de los dos lookup y un destino OLE DB conectado a la tabla FactCompras.

8

Y configurando el mapeo de filas

9

Y con esto hemos acabado con el paquete SSIS. Vayamos con el comienzo del procedimiento almacenado que debemos crear en el DW.

CREATE PROCEDURE Generate_SKAlimento 
  @Alimento VARCHAR(25)
  ,@Color VARCHAR(25)
  ,@Tipo VARCHAR(25)
AS
SET NOCOUNT ON
SET TRANSACTION ISOLATION LEVEL SERIALIZABLE

Éste va a tener tres parámetros: Alimento, Color y Tipo. En nuestro caso solo tenemos el nombre del alimento y el color pero, ¿y si en otro punto de nuestro ETL también pudiéramos tener miembros inferidos que sean de esta dimensión y conociéramos más datos de ellos? Por ejemplo, el tipo de alimento que es (igual proviene de una receta con más datos). Para eso podemos generalizar un poco el procedimiento y que admita más entradas. Es por ello que en la sentencia SQL del Lookup había dos interrogaciones, una para Alimento, otra para Color, y luego le estábamos diciendo que el tipo era ‘NA’.

Prosigamos con el código del script:

DECLARE @SKAlimento INT
  ,@Calorias100gr INT = 0
  ,@FlagInferido BIT = 1

Necesitamos declarar al menos la variable SKAlimento del tipo int, pero ya de paso podemos inicializar dos más con los valores por defecto que le vamos a dar a los campos de los miembros inferidos que no conocemos. Esto no es completamente necesario hacerlo así ni en este punto, pero queda muy organizado y en un futuro, si queremos cambiar algo, no tendremos que mirar el resto del código.

El siguiente paso es comprobar si ese alimento ya existe o debemos insertarlo.

SELECT @SKAlimento = SKAlimento
FROM DimAlimentos
WHERE @Alimento = Alimento
  AND @Color = Color

IF @SKAlimento IS NULL
BEGIN
  INSERT INTO DimAlimentos
  VALUES (
    rtrim(@Alimento)
    ,rtrim(@Color)
    ,@Tipo
    ,@Calorias100gr
    ,@FlagInferido
    )

  SET @SKAlimento = SCOPE_IDENTITY()
END

Los rtrim() son muy importantes puesto que las cadenas que reciba el procedimiento van a rellenarse con espacios en blanco por el final hasta rellenar el máximo del tipo y nos dará problemas al hacer joins por estos campos.

En nuestro ejemplo no lo hemos recogido, pero podría darse el caso que pudiéramos complementar información de otros miembros inferidos que se hayan cargado en otros puntos. Para contemplar esto primero tendríamos que añadir ese campo en el Lookup a la hora de hacer join (para que no lo encuentre y utilice el segundo Lookup) y luego escribir algo similar a:

ELSE IF @Tipo != 'NA' AND @TipoDW = 'NA' BEGIN
    UPDATE DimAlimentos SET Tipo = @Tipo
    WHERE SKAlimento = @SKAlimento
END

Por último, debemos devolver la consulta con el nuevo SK. Y en este punto tenemos que pararnos un momento. Al crear el segundo Lookup indicamos que íbamos a usar la opción de vista o tabla para consultar la tabla DimAlimentos, pero también podríamos haber hecho una consulta propia SQL. Pues bien, en el procedimiento, la consulta que devolvamos debe responder exactamente igual a la consulta que indicamos al configurar el Lookup. Si usamos la primera opción deberemos devolver todos los campos que tenga la tabla, si escribimos una consulta propia solo aquellos que indicásemos.

SELECT @SKAlimento AS SKAlimento
  ,@Alimento AS Alimento
  ,@Color AS Color
  ,@Tipo AS Tipo
  ,@Calorias100gr AS Calorias100gr
  ,@FlagInferido AS FlagInferido
FROM DimAlimentos

Los tipos deben ser iguales y los nombres de las columnas también. Podríamos haber hecho lo siguiente (aunque no aconsejo esta práctica).

SELECT *
FROM DimAlimentos
WHERE SKAlimento = @SKAlimento

Con todo esto habríamos completado el ejemplo, solo nos quedaría ejecutarlo para comprobar que todo ha funcionado correctamente y no hemos insertado dos manzanas en la dimensión DimAlimentos. El código al completo sería:

CREATE PROCEDURE Generate_SKAlimento 
  @Alimento VARCHAR(25)
  ,@Color VARCHAR(25)
  ,@Tipo VARCHAR(25)
AS
SET NOCOUNT ON
SET TRANSACTION ISOLATION LEVEL SERIALIZABLE

DECLARE @SKAlimento INT
  ,@Calorias100gr INT = 0
  ,@FlagInferido BIT = 1

SELECT @SKAlimento = SKAlimento
FROM DimAlimentos
WHERE @Alimento = Alimento
  AND @Color = Color

IF @SKAlimento IS NULL
BEGIN
  INSERT INTO DimAlimentos
  VALUES (
    rtrim(@Alimento)
    ,rtrim(@Color)
    ,@Tipo
    ,@Calorias100gr
    ,@FlagInferido
    )

  SET @SKAlimento = SCOPE_IDENTITY()
END

SELECT @SKAlimento AS SKAlimento
  ,@Alimento AS Alimento
  ,@Color AS Color
  ,@Tipo AS Tipo
  ,@Calorias100gr AS Calorias100gr
  ,@FlagInferido AS FlagInferido
FROM DimAlimentos

(más…)

Automatizar el Despliegue de Paquetes de SSIS con PowerShell

Automatizar el Despliegue de Paquetes de SSIS con PowerShell

Hola a todos,

En el último artículo hablábamos sobre cómo automatizar el despliegue de informes de Reporting Services de forma “automática” mediante un pequeño script de Power Shell.

En esta ocasión vamos a ver cómo podemos hacer algo similar para desplegar paquetes de Integration Services también mediante la ejecución de un script de Power Shell. (más…)

Super SSIS, tu nuevo superhéroe

Super SSIS, tu nuevo superhéroe

¿Tus procesos ETL con SSIS rinder a niveles humanos? ¿Necesitas más velocidad, gestionar más datos, mejor performance? ¿No tienes tiempo de esperar al último hijo de Krypton para que ejecute tus DataFlow? En esta sesión veremos técnicas de optimización en entornos modernos (¡estamos en 2017!) para que lleves tus paquetes SSIS al siguiente nivel… ¡el nivel de los superhéroes! (más…)