Exportación de datos FCCS mediante la gestión de datos

Recientemente, un cliente de FCCS necesitaba incluir un identificador único para cada registro de datos extraídos de su aplicación FCCS . Esta identificación de registro fue requerida por una aplicación posterior con fines de indexación. El ID de registro no tenía que comenzar con un valor particular, pero sí tenía que ser único para cada fila de datos exportados dentro del archivo. Este cliente en particular estaba usando FCCS, pero no tenía una instancia de EPM Automate disponibles. En su lugar, utilizaban llamadas a la API REST realizadas desde herramientas de terceros para la automatización. No pudimos usar ninguna de esas herramientas de terceros para editar el archivo una vez que se había generado, por lo que no pudimos agregar el índice después de haber creado el archivo. FCCS tiene una funcionalidad integrada limitada para extraer datos financieros a archivos de texto. La mayoría de los clientes recurrirán a Gestión de datos (DM) como método para exportar datos de FCCS a un archivo plano o de texto para el consumo de aplicaciones posteriores.

DM tiene sus propias limitaciones, especialmente cuando se compara con una implementación FDMEE local. La falta de secuencias de comandos VB o Jython en DM significa que hay opciones limitadas disponibles para controlar datos u objetos. mientras procesa los datos.

Afortunadamente, DM todavía proporciona el uso de la asignación de SQL. El mapeo SQL es un medio para inyectar sintaxis SQL durante la transformación de datos, aparentemente para la expansión de los mapeos condicionales. Cuando se asigna a una dimensión proceso de mapeo, puede ser una herramienta poderosa que permite a un desarrollador consultar y afectar los datos en las tablas relacionales detrás de escena.

Descripción general del entorno

FCCS es una aplicación basada en cubos, sin capacidades de extracción de datos avanzadas o personalizables. Al exportar datos de FCCS a un archivo de texto, la mejor práctica es usar Gestión de datos (DM). DM es también el herramienta para importar datos de varias fuentes (archivo de texto, conexión directa, odbc, etc.). Si bien no es una herramienta ETL completa, DM proporciona herramientas de mapeo, filtrado y programación para la importación/exportación de datos FCCS.

DM se basa en una base de datos relacional. Dado que la base de datos reside en Oracle cloud, no es posible acceder a los datos ni modificarlos utilizando el cliente. herramientas basadas en SQL como SQL Server Management o SQL Plus. Las tablas, vistas y procedimientos almacenados no están expuestos al usuario. Sin embargo, se documenta cierta información sobre el esquema y las tablas.

La información relevante para este proceso es que al importar datos a DM, los datos se almacenan temporalmente en la tabla denominada TDATASEG_T. Esta tabla se borra antes y después de cada ejecución de importación o exportar. Toda la manipulación de datos (mapeo, inversión de signos, etc.) se realiza en TDATASEG_T antes de escribirse en la tabla de datos maestra TDATASEG. TDATASEG es la tabla que finalmente almacena y muestra datos en el banco de trabajo de DM.

TDATASEG_T y TDATASEG tienen exactamente las mismas propiedades de diseño (campos e índices).

TDATASEG y TDATASEG_T contienen campos para todos los metadatos relevantes (cuenta, entidad, etc.) antes y después de que se produzca la manipulación de datos. También hay un campo llamado DATAKEY que es un campo de clave principal en la mesa. DATAKEY es un campo numérico que contiene una clave única generada por el sistema para cada fila de datos.

Recuperar el valor almacenado en el campo DATAKEY de TDATASEG_T durante el proceso de mapeo proporcionará el identificador único necesario para los registros exportados al archivo plano.

Para presentar el contenido del campo DATAKEY en la exportación, es necesario crear una dimensión de metadatos "ficticia" en DM para almacenar el valor. El proceso sería cargar información desde FCCS en la dimensión ficticia. Estos datos pueden ser cualquier cosa, no importa de dónde provenga la información o cuál sea su valor, porque los sobrescribiremos con el valor DATAKEY almacenado en TDATASSEG_T. En este caso, cargaremos los miembros de la dimensión Custom4 en la dimensión ficticia. Custom4 ya se está utilizando, pero se puede utilizar una única dimensión de origen para cargar en varias dimensiones de destino.

Requisitos del objeto DM

Aplicación de destino

En los Detalles de la aplicación de destino, se agregará un nuevo campo Dimensión llamado REC_ID (ID de registro). Esta dimensión se establecerá con una clase de "Genérico" y apuntará a la siguiente columna de tabla de datos disponible Nombre (en este caso, el siguiente nombre de columna disponible es UD14).

Tenga en cuenta que dado que se supone que REC_ID es el primer campo en el archivo de texto exportado, los campos de orden de columnas deben establecerse de modo que REC_ID sea "1", y todos los demás los campos existentes deben ser incrementados por +1 (la consolidación solía ser 10, debe cambiarse a 11. La moneda era 6, debe cambiarse a 7, etc.)

Formato de importación

Ya se ha determinado que la migración utilizará la dimensión de origen Custom4 para cargar en el campo REC_ID. Realmente no es relevante qué dimensión se usa: todos los datos de la fuente, no importa cuál sea su valor, se sobrescribirá durante el mapeo con el valor DATAKEY. Se eligió Custom4 porque actualmente no se completa ni se utiliza en esta implementación de FCCS (todos los datos en FCCS está en "No Custom4"). Pero realmente puedes usar cualquier dimensión que quieras.

Cartografía

Todas las dimensiones se asignarán uno a uno utilizando comodines (* a *), con la excepción del campo REC_ID. En este caso, cualquier valor en la dimensión Custom4 de origen se asignará mediante un script SQL. El El script SQL se invocará como parte de las asignaciones "Me gusta".

La sintaxis del mapa SQL está diseñada de tal manera que recuperaremos el valor DATAKEY del registro actual. Una vez recuperado, ese será el valor escrito en el campo REC_ID.

Tenga en cuenta que actualmente no es posible simplemente hacer referencia al campo DATAKEY en el mapeo

El sql es

Esta asignación se ejecutará durante el proceso de importación de datos de FCCS a DM. Después de la asignación, el contenido del campo REC_ID cambiará del contenido de Custom4 ("No Custom4") al actual valor DATAKEY del registro

Salida final

Una vez que se complete el proceso, el archivo de datos incluirá el campo REC_ID como la primera columna en el archivo de texto.