Qué es Spoon?

Spoon es el diseñador gráfico de transformaciones y trabajos del sistema de ETTLs de Pentaho Data Integration (PDI), también conocido como Kettle (acrónimo recursivo: "Kettle Extraction, Transformation, Transportation, and Load Environment ").

Está diseñado para ayudar en los procesos ETTLs, que incluyen la Extracción, Transformación, Transporte y Carga de datos.

Spoon es una Interfaz Gráfica de Usuario (GUI), que permite diseñar transformaciones y trabajos que se pueden ejecutar con las herramientas de Kettle (Pan y Kitchen).
Pan es un motor de transformación de datos que realiza muchas funciones tales como lectura, manipulación, y escritura de datos hacia y desde varias fuentes de datos.
Kitchen es un programa que ejecuta los Trabajos diseñados por Spoon en XML o en un catálogo de base de datos.

Los Trabajos normalmente se planifican en modo batch (por lotes) para ejecutarlos automáticamente en intervalos regulares.
Las Transformaciones y Trabajos se pueden describir usando un archivo XML o se pueden colocar en un catálogo de base de datos de Kettle.
Luego Pan o Kitchen pueden leer los datos para ejecutar los pasos que se describen en la Transformación o ejecutar el Trabajo.

En resumen, PDI facilita la construcción, actualización, y mantenimiento de Data Warehouses.

En esta sección se cubrirán los siguientes temas:

• #Instalación de Spoon
• #Iniciar Spoon
• #Plataformas soportadas
• #Problemas conocidos
• #Descripción de la Interfaz de Usuario
• #Opciones de la Línea de Comandos
• #Catálogo
• #Ingreso automático al Catálogo
• #Licencia
• #Definiciones de Transformación
• #Definiciones de Trabajo
• #Iconos de la Barra de Herramientas
• #Opciones de Kettle
• #Búsqueda de Metadatos
• #Configurar Variables de Entorno
• #Ejecución del registro Log
• #Repetir
• #Generar Mapeo contra paso destino
• #Modo seguro
• #Página de bienvenida

Instalación de Spoon

Para instalar Spoon seguir las siguientes instrucciones:

1. Instalar Java Runtime Environment (JRE) de Sun Microsystems, versión 1.5 o superior. JRE se puede descargar libre y gratuitamente de http://www.javasoft.com/.
2. Descargar Kettle, desde la siguiente dirección: http://sourceforge.net/projects/pentaho/files/Data%20Integration/
3. Descomprimir el archivo recientemente descargado, en un directorio de su elección. Por ejemplo: "/home/datos/programas/".
4. En ambientes tipo Unix (Solaris, GNU/Linux, MacOS, por ejemplo), se debe hacer que los scripts en shell sean ejecutables. Para ello se debe hacer lo siguiente

cd /home/datos/programas/data-integration
chmod +x *.sh

Iniciar Spoon

Los siguientes scripts permiten iniciar Spoon en diferentes plataformas:

• spoon.bat: inicia Spoon en la plataforma Window$. En esta plataforma basta con ejecutar el archivo .bat para iniciar Spoon.
• spoon.sh: inicia Spoon en una plataforma tipo Unix, tal como GNU/Linux, Apple OSX, y Solaris. En este caso debemos ejecutar la siguiente sentencia:

cd /home/datos/programas/data-integration
sh spoon.sh

Para crear un acceso directo en la plataforma Window$, se proporciona un icono. Utilizar "spoon.ico" para establecer el icono correcto. El acceso directo apunta al archivo spoon.bat.

Plataformas soportadas

La GUI de Spoon es soportada en las siguientes plataformas:

• M$ Window$: todas las plataformas desde Window$ 95, incluyendo Vista.
• GNU/Linux GTK: en procesadores i386 y x86_64, trabaja mejor en Gnome.
• OSX de Apple: trabaja en ambas máquinas, PowerPC e Intel.
• Solaris: utilizando una interface Motif (GTK opcional).
• AIX: utilizando una interface Motif.
• HP-UX: utilizando una interface Motif (GTK opcional).
• FreeBSD: soporte preliminar i386, pero aún no en x86_64.

Problemas conocidos

La siguiente es una lista de problemas conocidos que están asociados con Spoon:

GNU/Linux
Bloqueo ocasional de la JVM corriendo SuSE Linux y KDE. Corriendo bajo Gnome no presenta problemas (detectado en SUSE Linux 10.1 pero versiones anteriores también tienen el mismo problema).

FreeBSD
Problemas con arrastrar y soltar. Utilizar el menú contextual del clic derecho sobre el lienzo como solución.
Consultar las listas de seguimiento en http://jira.pentaho.com para encontrar información actualizada sobre los problemas recientemente descubiertos.

Descripción de la Interfaz de Usuario

La pestaña "Árbol Principal" en el panel izquierdo de Spoon permite ver las conexiones asociadas con los Trabajos y Transformaciones abiertas.

La pestaña "Objetos Principales" en el panel izquierdo de Spoon contiene los pasos disponibles para construir la Transformación (entrada, salida, búsqueda, transformar, uniones, scripting, etc) o el Trabajo (general, mail, scripting, etc), dependiendo el caso.

Opciones de la Línea de Comandos

Las opciones de la línea de comandados que se pueden utilizar al iniciar la aplicación Spoon son las siguientes:

-file=nombreArchivo

La opción anterior ejecuta la transformación especificada (.ktr: Transformación de Kettle).

-logfile=nombreArchivoAcceso

La opción anterior permite especificar la ubicación del archivo de log. Por defecto es la salida estándar.

-level=nivelAcceso

La opción anterior establece el nivel de log para la transformación que se está ejecutando. Los valores posibles son:

-rep=nombreCatalogo

La opción anterior permite conectar a un catálogo.

Nota: Se deben especificar las opciones -user, -pass y -trans/-job que se describirán más adelante. Los detalles del catálogo se cargan desde el archivo "repositories.xml" del directorio local o del directorio de Kettle:

/home/<nombreUsuario>/.kettle/ or C:\Documents and Settings\<nombreUsuario>\.kettle

-user=nombreUsuario

La opción anterior establece el nombre de Usuario con el cual se desea conectar al catálogo:

-pass=password

La opción anterior establece la contraseña utilizada para conectar al catálogo.

-trans=nombreTransformacion

La opción anterior establece la Transformación del catálogo que se desea ejecutar.

-job=nombreTrabajo

La opción anterior establece el Trabajo del catálogo que se desea ejecutar.

Importante:

• En Window$, Pentaho avisa que se debe utilizar el formato /opción:valor para evitar problemas cuando el Intérprete de comandos del MS-DOS analice la línea de comandos introducida.
• Los campos en itálica representan los valores que utilizan las opciones.
• Utilizar comillas simples o comillas dobles si hay espacios en los valores de las opciones; las comillas aseguran que los valores de las opciones permanecen juntos.

Catálogo

Spoon permite almacenar los archivos de las Transformaciones y Trabajos en el sistema de archivos local o en un catálogo de Kettle, que puede ser alojado en cualquier base de datos relacional. Para cargar una Transformación o Trabajo desde un catálogo de base de datos, debe conectarse a ese catálogo.

Al iniciar Spoon se debe definir la conexión al catálogo de base de datos que se desea utilizar, tal como se muestra a continuación, o bien seleccionar la opción "Sin catálogo" para trabajar con el sistema de archivos local:

La información asociada con el catálogo se almacena en "repositories.xml". Este archivo está ubicado en el directorio oculto ".kettle" en el directorio de inicio por defecto.

/home/<nombreUsuario>/.kettle/ or C:\Documents and Settings\<nombreUsuario>\.kettle

Nota: La ruta completa y el nombre del archivo asociado con "repositories.xml" se muestra en la consola de Spoon.
Si no desea ver la página de bienvenida al iniciar Spoon, se debe deshabilitar la opción "Mostrar este diálogo al iniciar" desde la misma página de bienvenida, o al ingresar a Spoon desde el menú superior a través de "Editar -> Opciones...".

Nota: La contraseña por defecto del administrador es "admin". Pentaho recomienda fuertemente cambiar la misma utilizando el Explorador del Catálogo o el menú "Catálogo -> Editar usuario actual".

Ingreso automático al Catálogo

Se puede ingresar de manera automática al catálogo estableciendo las siguientes variables de entorno: KETTLE_REPOSITORY, KETTLE_USER y KETTLE_PASSWORD.

Importante: Debido a que el acceso automático posee un riesgo de seguridad, Pentaho recomienda fuertemente que asegure siempre su computadora para prevenir accesos no autorizados al catálogo.

Licencia

Desde la versión 2.2.0, Kettle fue liberado al dominio público bajo la licencia LGPL. Por favor consultar el Appendix A para ver el texto completo de esta licencia.

Nota: Pentaho Data Integration es referenciado como "Kettle" en el siguiente texto

Copyright (C) 2006 Pentaho Corporation

Kettle es software libre; se puede redistribuir y/o modificar bajo los términos de la GNU Lesser General Public License publicada por la Free Software Foundation; ya sea la versión 2.1 de la Licencia, o (a elección) cualquier versión posterior.

Kettle se distribuye con la esperanza de que será útil, pero SIN NINGUNA GARANTÍA; incluso sin la garantía implícita de COMERCIALIZACIÓN o IDONEIDAD PARA UN PROPÓSITO PARTICULAR. Ver la GNU Lesser General Public License para más detalles.

Ud. debería haber recibido una copia de la GNU Lesser General Public License junto con la distribución de Kettle; si no es así, escriba a la Free Software Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA.

Definiciones de Transformación

La siguiente tabla contiene una lista de definiciones de Transformación:

Definiciones de Trabajo

La siguiente tabla contiene una lista de definiciones de Trabajo:

Iconos de la Barra de Herramientas

A continuación se detallará la función de los iconos de la barra de tareas de la pantalla principal. Algunos de estos iconos solo están disponibles para las Transformaciones:

Iconos disponibles para Transformaciones:

 
Iconos disponibles para Trabajos:

Opciones de Kettle

Las opciones de Kettle permiten personalizar las propiedades asociadas con el comportamiento y apariencia de la GUI. Por ejemplo, se incluyen opciones de inicio para mostrar o no los consejos y la página de bienvenida de Kettle, y también se incluyen opciones de interfaz de usuari@, como fuentes y colores.
Para acceder a las opciones de este cuadro de diálogo, se debe seleccionar en la barra de menú: "Editar -> Opciones..."

Al realizar esto, se abrirá una nueva ventana que posee dos pestañas: General y Apariencia.

• Pestaña General:
  

• Pestaña Apariencia:
  

Búsqueda de Metadatos

Se accede a esta característica seleccionando en la barra de menú: Editar -> Buscar Meta Información.

Esta opción buscará la cadena especificada en el campo Filtro, en cualquier campo disponible, conector o nota de todas las transformaciones y trabajos cargados. La búsqueda de metadatos devuelve un conjunto detallado de resultados que muestra la ubicación de todas las coincidencias encontradas.

Configurar Variables de Entorno

Para configurar las variables de entorno que se utilizarán, se debe seleccionar en la barra de menú: Editar -> Establecer Variables de Entorno.

En este caso se crearon dos variables de entorno, con sus respectivos valores, que serán utilizados en un paso de envio de mail.
La forma de utilizar las variables de entorno es la siguiente:

Es decir, solo se debe colocar en el campo que deseemos:

${nombreVariable}

Las valores asociados a las variables de entorno que han sido definidas a través de "Editar -> Establecer Variables de Entorno" se perderán al reiniciar Spoon. Para que esto no suceda y por cuestiones de integridad, es buena práctica configurar las variables de entorno en el archivo kettle.properties, que se encuentra en:

• GNU/Linux: home/<nombreUsuario>/.kettle/
• Window$: C:\Documents and Settings\<nombreUsuario>\ .kettle\

Para crear las variables en este archivo, solo basta con hacer lo siguiente:

nombreVariable = valor

En este caso sería simplemente añadir al final del archivo las siguientes líneas

mail.puerto.gmail = 465
mail.server.gmail = smtp.gmail.com

En todo momento se pueden ver los valores que poseen las variables de entorno, a través de la siguiente opción: Editar -> Mostrar Variables de Entorno.
Tal y como puede observarse estas variables son utilizadas en la sesión del usuari@ actual.

Las variables de entorno, permiten centralizar y reutilizar valores, que se irán repitiendo en las diferentes Transformaciones y Trabajos, por ejemplo: nombre de bases de datos, puertos, url de conexión, etc.

Ejecución del registro Log

Si se configura un Trabajo o Transformación para guardar la información de log en una tabla de una base de datos, se puede ver la información de log de ejecuciones previas al hacer clic derecho en el Trabajo o Transformación en el Árbol Principal y seleccionar 'Abrir vista de registro'.

Al realizar esto, en la parte inferior de la pantalla aparecerá una vista similar a la siguiente:

Nota: Por defecto, el registro de log de un trabajo o transformación también se abre cada vez que se ejecuta el archivo.

Repetir

Esta opción puede accederse a través de la barra de menú, seleccionando: Transformación -> Repetir
o seleccionando el icono de la barra de herramientas.

La característica Repetir permite volver a ejecutar una Transformación que ha fallado. Repetir se implementa funcionalmente para "Entrada Archivo de Texto" y "Salida Excel".

Permite enviar los archivos que contenían errores de nuevo a la fuente y que se corrijan los datos.

Si un archivo .line está presente, sólo se procesan las líneas que no fallaron durante la reproducción. La característica Repetir utiliza la fecha del archivo .line para que coincida con la fecha ingresada en Repetir.

Generar mapa contra este paso destino

En casos donde se tiene una tabla destino fija, se pueden mapear los campos del flujo de datos actual a los correspondientes campos de la tabla destino.

Esto puede hacerse desde una Transformación seleccionando en el paso "Selecciona/Renombra Valores" la opción "Editar Mapeo":

Pero también puede hacerse de manera más directa a través de la opción "Generar mapa contra este paso destino". A continuación se expondrá un ejemplo que permitirá apreciar cómo se utiliza esta opción.

Ejemplo:

El siguiente es un ejemplo de una Transformación simple en la que se busca generar el mapeo de los correspondientes flujos de datos a una tabla de salida:
*1) Hacer clic derecho sobre el paso Salida Tabla y seleccionar "Generar mapa contra este paso destino":

*2) Agregar todos los mapeos necesarios usando las herramientas de "Editar Mapeo" mostradas anteriormente y hacer clic en OK. Ahora verá que se agrega automáticamente al lienzo un nuevo paso "Selecciona/Renombra Valores" con el nombre "Mapeo Salida Tabla":

*3) Colocar el nuevo paso entre los dos pasos iniciales y configurar los saltos de la siguiente manera:

Como se puede observar, esta opción permite realizar de forma sencilla y gráficamente las correspondencias entre el flujo de datos de entrada y salida.

Modo seguro

Es recomendable utilizar el "Modo seguro" cuando se mezclan filas de muchas fuentes para asegurarse de que todas las filas tengan el mismo diseño en todas las condiciones.
La opción "Modo seguro" está disponible en la ventana que se despliega al ejecutar una Transformación/Trabajo:
 
Cuando se ejecuta en modo seguro, la transformación verifica cada fila que pasa y asegura que todos los diseños sean idénticos. Si una fila no tiene el mismo diseño que la que la primera fila, se genera e informa un error.

Esta opción hará entonces que la ejecución de la Transformación/Trabajo sea más lenta, por lo cual solo debe utilizarse para pruebas y detección de errores.

Nota: Esta opción también está disponible en Pan.

Página de bienvenida

La página de Bienvenida se muestra al iniciar Spoon 3.2; proporciona enlaces a información adicional sobre PDI: