Las nuevas regulaciones y su impacto sobre los sistemas de información (Solvencia II y Basilea II/III)

Desde hace ya algún tiempo me habíais solicitado que hiciera algún artículo destinado a analizar las nuevas regulaciones, como podéis imaginar es un tema complicado y más si cabe cuando se analiza desde un punto de vista tecnológico y no meramente regulatorio, pero voy a intentar resumir aquellos puntos que considero más importantes y significativos de estas nuevas regulaciones en aquello que compete a los sistemas de información.

Antes de entrar en el detalle de cada normativa deberemos introducir cual es el propósito y afectación de cada una de ellas.

Solvencia II.

Esta regulación afecta al entorno asegurador y deberá esta aplicada en la legislación española antes del 31 de octubre de 2012, según marca la Directiva comunitaria.

Los principales cambios persiguen la mejora de los sistemas de gestión de las entidades, para ello se implantaran sistemas de Control Interno y de Gestión de Riesgos más eficientes.

El hecho de que esta regulación este causando mucha inquietud entre las aseguradoras se debe a los cambios en la valoración de los activos, de los pasivos y el cálculo del margen de solvencia. Estos cambios pueden aumentar las exigencias de capital (provisión de fondos (inmovilizado) que deben realizar las entidades en base al riesgo que asumen) y esto hace que las compañías deban estudiar modelos que permitan reducir esas exigencias, en la gran mayoría de casos supondrá una inversión en gestión y procesos informáticos que permitan calificar mejor el riesgo, es justo en ese punto donde los sistemas de información pasan a tener importancia.

Al igual que en el caso de Basilia para banca, la normativa se estructura en tres pilares:

• Pilar I: Medida de activos, pasivos y capital (Exigencia de recursos propios)
• Pilar II: Procesos de supervisión
• Pilar III: Disciplina de mercado (requerimientos de transparencia).

Basilea II y III

Supongo que muchos de vosotros ya habréis oído hablar de Basilea II, básicamente es un nuevo marco de regulación bancaria impulsado por la comisión europea con el objetivo de regular la solvencia bancaria y en el que se definían unos ratios mínimos de capital para los bancos. Esta normativa estaba basada en tres pilares que coinciden con los descritos anteriormente para Solvencia II.

¿Qué ha sucedido con Basilea II?, básicamente el problema que ha tenido Basilea II es que nació en mal momento, ya que el calendario de implantación ha coincidido con la crisis y esto ha motivado que muchas entidades aun no hayan implantado completamente Basilea II:  Por otra parte el escenario actual, ha demostrado que los acuerdos establecidos en Basilea II no eran suficientes para hacer frente a la crisis, así que el Comité de Basilea se ha visto en la necesidad de reformular los acuerdos con una nueva propuesta de capital llamada Basilea III.

Desde el punto de vista que analizaremos nosotros podemos resumir que Basilea II es la normativa que define los tres pilares básicos del acuerdo y Basilea III es un ajuste de estos acuerdos destinado a incrementar la solvencia de los bancos con nuevos requerimientos de capital y así conseguir que las entidades sean capaces de absorber situaciones de perdidas como las que se han producido en el entorno actual de crisis.

 Visto ahora, una vez que conocemos todo lo sucedido, lo que busca el Comité de Basilea es aumentar los requisitos de capital para que no se tenga que volver a recurrir a rescates del sistema bancario como ha sucedido en los últimos meses.

El acuerdo de Basilea III ha fijado un calendario de implantación bastante blando, empezando su aplicación en el 2013 y extendiéndose en algunos puntos hasta el 2019.

Una vez que ya conocemos que significa Solvencia II y Basilea II y III, en la segunda parte del artículo nos centraremos en las particularidades de implantación y en que áreas pueden verse afectados los sistemas de información de las entidades aseguradoras y bancarias.

Como los pilares definidos en cada normativa son coincidentes en esta segunda parte hablaremos de la implantación conjunta e iré haciendo las consideraciones o matices que puedan aplicarse en el caso de banca o seguros.

Espero que estos artículos os sean de utilidad.

El portfolio de Informatica (www.informatica.com)

La plataforma de Informatica Corporation ha ido creándose en base a su producto estrella,  Informatica PowerCenter, con la finalidad de dotar a la plataforma de integración de todos los componentes necesarios a la hora de realizar una correcta gestión del intercambio de datos en la empresa. Bajo esa idea, Informatica ha creado una plataforma de integración de datos empresarial que explica con el siguiente gráfico:

Para cada uno de los apartados Informatica ofrece los siguientes productos:

Acceso

• Informatica PowerExchange
• Informatica B2B Data Exchange
• Informatica Cloud

Detección

• Informatica Data Explorer
• Informatica Cloud

Limpieza

• Informatica Data Quality
• Informatica Identity Resolution
• Informatica Cloud

Integración

• Informatica PowerCenter
• Informatica Cloud

Entrega

• Informatica PowerExchange
• Informatica B2B Data Exchange
• Informatica Cloud

Así entendemos que el primer requerimiento que debemos cubrir es la necesidad de acceso y entrega de la información (Access and Deliver), este acceso y entrega deberemos ser capaces de ejecutarlo con diferentes latencias o necesidades de tiempo, para cubrir estas necesidades la plataforma de Informatica ofrece los productos:

Informatica PowerExchange, que es bajo el nombre que se agrupan los conectores disponibles para las diferentes aplicaciones, bases de datos o repositorios de datos.

A día de hoy PowerExchange tiene los siguientes conectores disponibles:

Algunas de las características que debemos destacar es que cuando se adquiere PowerExchange no se adquiere la totalidad de conectores, sino que se contrata el uso de una tecnología, es decir, debemos comprar por separado el PowerExchange para cada una de las tecnologías que necesitamos. Por otra parte la adquisición de un conector nos permite utilizarlo independientemente del número de bases de datos, instancias, procesadores, orígenes o destinos que estén involucrados en nuestro proceso de integración. Por ejemplo, si compramos el PowerExchange for Oracle podemos utilizar este conector para acceder a tantas tablas de Oracle como queramos y entregar en las tablas de destino que deseemos independientemente de en que servidor o base de datos estén esas tablas, el número de procesadores que tenga instalada la Base de datos o el volumen de información que tengamos que intercambiar o procesar. Este detalle es importante tenerlo en cuenta ya que algunos fabricantes licencian los conectores por volumen de datos, número de orígenes o destinos, procesadores, etc.

Informatica PowerExchange ofrece como opción el producto PowerExchange Change Data Capture Option, este producto permite crear procesos de integración incremental de datos, pudiendo realizar traspasos de información de sólo aquellos datos que han cambiado desde el último traspaso. Esta funcionalidad es muy útil para realizar cargas incrementales en entornos DataWarehouse. La principal ventaja de la funcionalidad Change Data Capture es que está basada en la exploración del log de la base de datos o aplicación de origen y en ningún caso utiliza triggers que puedan ralentizar la aplicación de origen. Esta funcionalidad no está disponible para todos los conectores de PowerExchange, en la tabla anterior podréis comprobar para que conectores existe disponibilidad de Change Data Capture (marcados con un punto rojo).

Como complemento a PowerExchnage tenemos la aplicación Informatica B2B, este producto puede ser adquirido como complemento a PowerCenter o de forma independiente, existiendo dos versiones de producto Informatica B2B Data Exchange e Informatica B2B Data Transformation. El objetivo de este producto es dotar a la plataforma de integración de capacidades de intercambio de datos con otros estándares, formatos o incluso permite personalizar el tipo de origen.

La tabla de transformaciones predefinidas de Informatica B2B es la siguiente:

Además de este tipo de transformaciones Informatica B2B permite la creación de tranformaciones personalizadas sin necesidad de generar código, de esta forma podemos de una forma visual establecer una plantilla de transformación de cualquier tipo de formato.

La técnica que utiliza Informatica B2B consiste en realizar un parsing del fichero de origen convirtiéndolo en XML, una vez convertido en XML ya está estructurado y por lo tanto Informatica PowerCenter ya es capaz de tratarlo y entregarlo en el destino correspondiente.

Otra de las ventajas de informática B2B es que todos los estándares predefindos que vienen con el producto se basan en librerías que son actualizadas por el fabricante cuando cambia el estándar. De esta forma si nosotros creamos un proceso de integración de todos nuestros mensajes EDI, Swift, HIPAA, etc, y alguno de estos estándares cambia, sólo deberemos actualizar la librería dentro de Informatica B2B y automáticamente se actualizaran todos nuestros procesos de integración.

Por último dentro del apartado de acceso a la información tendríamos el producto Informatica Cloud. Este producto es la solución de integración de datos empresarial basada en Cloud creada por Informatica, ya que es un producto que engloba prácticamente todas las funcionalidades de integración y no un módulo específico, lo comentaremos de forma separada en otro artículo.

La fase de detección (Discover), es la fase donde se realiza un análisis previo de los datos para detectar posibles anomalías de formato, integridad, cumplimiento, etc, es la fase que muchos fabricantes denominan perfilado de datos. No os volveré a explicar la importancia de esta fase en cualquier proyecto de integración de datos, así que os dejo un enlace a una entrada antigua del blog para que podáis refrescar esa información Migraciones, fusiones y adquisiciones

Para realizar las funciones de perfilado de datos Informatica tiene dentro de su plataforma la herramienta Informatica Data Explorer, esta herramienta realiza un perfilado de datos completo permitiendo el perfilado no sólo a nivel de fila, columna y tabla, sino extendiendo el mismo entre tablas con el fin de encontrar dependencias.

Según Informatica la herramienta aplica más de 500 reglas de perfilado predefinidas a la hora de analizar los datos, de todas formas nosotros podremos definir de una forma fácil e intuitiva las reglas de negocio o de validación que deseamos emplear para perfilar nuestros datos.

Una vez perfilados los datos es posible generar informes sobre los resultados y calidad de los datos perfilados mediante el uso de Cuadros de mando, igual que si de una herramienta de BI se tratará.  Informatica Data Explorer es capaz de realizar perfilado de datos sobre cualquier fuente de datos, aquí el secreto radica en que utiliza los conectores instalados en PowerExchange y el motor de acceso de PowerCenter para acceder a los datos y realizar el perfilado.

Entre las novedades anunciadas por Informatica en su última versión (Informatica Data Explorer 8.6) destaca una nueva funcionalidad de importación de datos VSAM e IMS, así como con capacidades mejoradas para la importación de archivos planos y .csv.

Una vez tenemos clara las fases de acceso y detección de datos, la siguiente fase según el modelo de Informatica correspondería a la limpieza de datos (Cleanse). Esta fase no es estrictamente necesaria, pero considero que es de vital importancia realizar una limpieza de los datos a migrar antes de efectuar la migración con la finalidad de asegurar que en el destino nos llegaran los datos ya limpios, estandarizados, desduplicados, con las direcciones completas y validadas, etc.

Para la limpieza de datos la herramienta se llama Informatica Data Quality, esta herramienta también está disponible como producto separado o bien como complemento de la plataforma de PowerCenter.

En el caso de Data Quality hemos de tener en cuenta que como herramienta de Calidad de Datos ya incluye funcionaliades de otras herramientas de la plataforma como puede ser la funcionalidad de perfilado de datos, o algunas funciones propias de la parte de integración para realizar pequeñas transformaciones o movimientos entre formatos de los datos a limpiar.

Actualmente Data Quality funciona con una combinación de diversas técnicas y algoritmos de fuzzy logic. Uno de los puntos fuertes de esta versión es la capacidad de diccionarios de idiomas disponibles, existen actualmente más 60 países soportados.

Por último dentro de las herramientas de detección de datos o limpieza tendríamos Informatica Identity Resolution que es una herramienta encargada de la resolución de identidades, entre sus principales ventajas destaca la capacidad de búsqueda de identidades entre diversos idiomas y alfabetos pudiendo buscar la transliteración de un nombre entre alfabetos cirílicos, árabes, occidentales, etc.

Toda esta plataforma gira alrededor del elemento estrella del portfolio de Informatica que es Informatica PowerCenter. PowerCenter es la herramienta de integración de datos (ETL) y el buque insignia de Informatica. Es una potente herramienta de integración de datos con un motor propio de integración y unas amplias funcionalidades de transformación y tratamiento de datos que se complementa con todos los productos que hemos comentado para ofrecer una plataforma de gestión de la integración unificada.

Como resumen y utilizando el gráfico que mostrábamos al principio de este artículo, podemos decir que los productos de Informatica solucionarían cada uno de los componentes de una plataforma de integración tal y como se muestra en el siguiente gráfico:

Para rematar este artículo me gustaría comentar que toda esta información de la suite de Informatica cambiará en breve ya que como bien sabéis, el fabricante ya ha anunciado el lanzamiento de la nueva versión Informatica 9. Este versión cambia un poco el plantemaiento de la suite y auqnue incluye prácticamente los mismo productos ahora quedan distribuidos en 3 grandes productos o soluciones tecnológicas que Informatica llama:

• Business-IT Collaboration
• SOA-Based Data Services
• Pervasive Data Quality

Además de este nuevo enfoque las herramientas incluyen nuevas funcionalidades y mejoras destinadas sobre todo a optimizar la integración entre toda la suite. Otro de los puntos destacables son los interfaces de administración, esta nueva versión incluye un mayor número de herramientas con interface web-based, a diferencia de las versiones anteriores donde las herramientas anteriores eran cliente- servidor y casi siempre basados en Windows.

El portfolio de IBM (IBM Information Management Software)

Para empezar con el análisis de las plataformas de integración de datos he decidido utilizar la clasificación que ofrece Gartner en su último cuadrante de Noviembre de 2009, así que empezaremos por IBM.

La plataforma de gestión de datos de IBM se agrupa bajo la familia InfoSphere Software, esta familia de productos está compuesta por 4 piezas que forman el portfolio de soluciones de Information Management de IBM.

Cada una de estas áreas se identifica con un producto de software de la familia InfoSphere, de esta forma tenemos:

Master Data Management --> IBM InfoSphere MDM Server

Data Warehousing --> IBM InfoSphere Warehouse

Information Integration --> IBM InfoSphere Information Server

Design & Governance --> IBM InfoSphere Foundation Tools

Para los que ya conocíais un poco el portfolio de IBM, diríamos que esta es la nueva estructura o familia de productos que viene de lo que se conocía como IBM Information Server y anteriormente como DataStage, parte de la familia de Rational y algunos módulos de WebSphere.

A continuación os detallo los módulos o aplicaciones que contiene cada producto:

Os puedo asegurar que hacer este cuadro de resumen de los productos no ha sido fácil, ya que al cambiar IBM recientemente las versiones de producto, nombres y distribución de los mismos no existe información actualizada de todos los componentes.

Para el objetivo de nuestro artículo los productos de MDM y Warehouse no los englobaríamos dentro de las herramientas puras de integración y calidad de datos, así que ahora nos centraremos en los productos que componen las Foundation Tools y el Information Server.

A continuación haremos una breve explicación de las características de cada producto. Todos los productos empiezan con el nombre de la familia InfoSphere, con vuestro permiso omito esta palabra.

Information Services Director, es uno de los componentes clave de la plataforma de integración de IBM. Services Director proporciona un mecanismo común para publicar y administrar servicios compartidos entre las funciones de Data Quality, Data Integration y Federation. Es también el encargado de enlazar estas aplicaciones con sus metadatos y contiene los servicios de logging, reporting, security, administration, etc. Creo que el gráfico adjunto refleja las funciones principales del Information Services Director.

Change Data Capture, este componente ahora llamado IBM InfoSphere Change Data Capture era lo que conocíamos como DataMirror, este servicio permite la captura de datos en tiempo real para trabajos de estracción de datos (DataStage Jobs).

Este tipo de tecnología a día de hoy tiene un impacto muy bajo sobre el rendimiento de las bases de datos ya que actualmente se utiliza lo que se conoce como Log-based sourcing que es un control de cambios basado en la monitorización de log en lugar de la utilización de triggers de antaño. Actualmente IBM ofrece esta funcionalidad para DB2, Oracle y SQL Server y anuncian que en la próxima versión ya estará disponible también para Informix y Sybase.

DataStage y QualityStage, son los 2 productos core de Information Server, el primero ofrece las funcionalidades de desarrollo de Data Flows, como los llama IBM, o procesos de extracción de datos desde multiples orígnes, capacidades de tranformación y por último entrega sobre DDBB o aplicaciones de destino. Es el componente ETL de la solución. QualityStage proveee de funcionalidades de Data Quality a Information Server, en la versión 8,1 IBM anuncia que han ampliado las capacidades de verificación y estandarización de direcciones hasta 240 países. Como novedades también destacan nuevas funcionalidades de matching como el MULT_ALIGN Comparison Type o el Unduplicate Transitive Match, esta opción permite agrupar elementos mediante la aplicación de la propiedad transitiva de tal forma que si A coincide con B y B coincide con C, entonces a,B y C forman un grupo de coincidencia (digo coincide porque no me gusta utilizar la palabra matchea como he visto por ahí, si os gusta más podríamos decir hacer matching).

Federation Server, es la funcionalidad que permite crear una vista de datos federados para un acceso rápido a orígnes de datos, se utiliza por ejemplo para evitar tener que mover los datos físicamente a una nueva ubicación, con este utilidad podemos crear en una nueva ubicación física un puntero hacía los datos reales (vista federada) se utiliza para creación de prototipos (prototipado es otra palabra que no me gusta), o en procesos de fusiones, migraciones, etc para crear accesos temporales a bases de datos que no han de ser migradas, por ejemplo.

Discovery es una herramienta de automating discovery, permite crear un modelo de datos y relaciones de forma automatizada, es capaz de hacer este descubrimiento en entornos heterogéneos. Esta funcionalidad es básica por ejemplo en los productos de archivado (Data Archiving) y normalmente se conoce como Subsetting. Esta funcionalidad estaba incluida en el producto Optim de IBM y es muy útil para poder hacer extracciones de conjuntos de datos, un ejemplo típico se produce en la aseguradoras cuando quieres extraer los datos de una agencia y quieres que te de las pólizas de esa agencia, independientemente del tipo de póliza, con los clientes, comerciales, productos, etc que estén relacionados para hacer por ejemplo un entorno de pruebas.

FastTrack, es una herramienta de creación de reglas de negocio o de conversión de datos, lo que en otros artículos denominábamos Data Driven Tables. Estas reglas permiten especificar la lógica de negocio necesaria para traducir los datos fuente en un formato de consumo para una aplicación de destino. Por ejemplo, la definición de un cálculo matemático para rellenar una columna de destino, hacer una conversión del dato por ejemplo de M a Male y F a Female, etc.

Estos requisitos de negocio se pueden guardar y volver a utilizarse y servir como una pista de auditoría para las decisiones de diseño realizados durante el proceso de desarrollo o proporcionar información histórica.

Business Glossary es una herramienta web-based para gestionar, administrar, editar y compartir todos los metadatos de negocio y físicos. Es importante destacar este detalle, la misma herramienta permite trabajar con Business Metadata y Phisycal Metadata, la diferencia radica en que los metadatos físicos se centran en la definición de la estructura de los datos, localización, etc, mientras que los metadatos de negocio se centran en las características de la información, su uso y las reglas de negocio aplicables a los mismos. Este tipo de herramientas suelen ser visuales y muy intuitivas.

Information Analyzer es una herramienta de análisis de datos desde el punto de vista de su calidad, formato, precisión, longitud, compatibilidad, validez, etc. Otros fabricantes denominan a este tipo de herramientas, herramientas de perfilado de datos. Son muy útiles para entender exactamente qué es lo que tenemos dentro de los orígenes de datos y permite hacer un análisis previo a cualquier proceso de integración. Suelen incluir análisis de columnas, tablas y entre tablas para detectar inconsistencias, foreign keys, etc.

Data Architect, es una herramienta de diseño y modelado de datos. Esta herramienta permite optimizar el modelo de datos de nuestros orígnes, así como de las nuevas fuentes que vayamos generando. IBM facilita con esta herramienta modelos predefinidos para diferentes tipos de datos e industrias, permitiendo que personalicemos y realicemos cambios sobre estos modelos. Como funcionalidades Data Architect permite crear un modelo lógico y físico de datos, definir los atributos de los datos, incluidas las limitaciones de dominio y los atributos de privacidad, descubrir, explorar y visualizar la estructura de las fuentes de datos y descubrir, identificar, comparar y sincronizar la estructura de dos fuentes de datos.

La nueva versión de esta herramienta ofrece integración con IBM Rational Software Architect, Eclipse 3.2 y IBM Information Server; asignaciones adicionales y un soporte ampliado para XML, DB2 V9, Sybase, Informix y MySQL.

Metadata WorkBench, es la herramienta de trazabilidad y linaje de datos. Permite hacer un análisis de impacto de los procesos de integración o bien realizar trazabilidad inversa para ver de dónde salen los datos de un informe de BI, etc. Este tipo de funcionalidades son requeridas por ejemplo por regulaciones como Basilea II o Sarbanex-Oxley.

Bueno, espero que con toda esta información os podáis hacer una idea del portfolio de integración de IBM, a modo de resumen diríamos que el producto de Integración y Calidad de datos es el IBM InfoSphere Information Server y que podéis añadir funcionalidades a este producto mediante las herramientas que se incluyen en el InfoSphere Foundation Tools.

Por último y como os decía en el post “Las Plataformas de integración y calidad de datos de los principales fabricantes (Introducción)”, creo que viendo el portfolio de IBM entendéis él porque creo que intentar hacer una buena comparativa de productos de integración y calidad de datos es una tarea muy compleja, a no ser que tengas los recursos de Gartner o Forrester, por eso creo que tenéis que ser muy cautos a la hora de analizar las comparativas que circulan por la red donde se pueden ver tablas donde comparan los productos de IBM, Informatica, Oracle, SAP, Talend y por ejemplo Pentaho, en base a 7 u 8 parámetros del tipo coste, riesgo, facilidad de uso, desarrollo, velocidad, escalabilidad, conectividad y soporte y te dan una puntuación sin más, sin explicar que productos realmente han sido los analizados, con que módulos instalados, en base a qué tipo de procesos, etc.

Bueno y para el mes que viene iremos a por Informatica. Hasta entonces espero vuestros comentarios.

Informatica Adquiere Siperian

Nota oficial de Informatica Corporation:

MADRID, 1 de febrero de 2010. — Informatica Corporation (NASDAQ: INFA), el número uno mundial de los proveedores independientes de software de integración de datos, anuncia que ha completado la adquisición de Siperian, líder en tecnología de infraestructura para la Gestión de Datos Maestros (MDM). MDM proporciona una visión única y holística de todas las entidades fundacionales del negocio, comúnmente llamados datos maestros, como por ejemplo datos de clientes, empleados, ciudadanos, ubicaciones y productos. Los proyectos MDM exitosos facilitan una mejor eficiencia operacional, una alta fidelidad de los clientes y la eficiencia en los esfuerzos de cumplimiento normativo.

Informatica adquirirá Siperian, sobre una base completamente diluida, por aproximadamente 130 millones de dólares en efectivo.

"La compra de Siperian ampliará el mercado potencial de Informatica con una categoría tecnológica adyacente de alto crecimiento, la infraestructura MDM, y reforzará nuestras importantes relaciones estratégicas", señala Sohaib Abbasi, presidente y CEO de Informatica. "Informatica Data Integration y Data Quality poseen un probado historial e éxito en proyectos MDM. Juntos, haremos avanzar a Informatica como líder en este apasionante campo de la Infraestructura MDM".

Para los proyectos MDM, los clientes tienen a su disposición productos de infraestructura y aplicaciones que abarcan desde soluciones personalizables a soluciones empaquetadas “llave en mano”. Siperian e Informatica ofrecen productos líderes en la categoría de Infraestructura MDM que complementan y posibilitan las Aplicaciones MDM. De acuerdo con un informe independiente, el 49% de las organizaciones estaban planteándose implementar o ampliar el uso del software MDM en 2009 (“Tendencias 2009: Gestión de Datos Maestros, MDM”, Forrester Research, Inc., octubre de 2009). Otra firma analista líder prevé un gasto de software en 2010 en el mercado de Infraestructura MDM de 1.000 millones de dólares, la mitad del mercado de software MDM total, con una tasa de crecimiento del 20%.

Siperian es un galardonado pionero que ofrece tres capacidades bien probadas y diferenciadas. Siperian suministra una plataforma MDM multi-dominio para optimizar las decisiones de negocio a lo largo de múltiples entidades o consideraciones. Con capacidades de sencilla configuración, Siperian acelera la obtención de resultados. Y, con métricas de calificación preconstruidas sobre la fiabilidad, los usuarios del negocio tienen una mayor confianza en sus datos maestros.

La nueva categoría de Infraestructura MDM amplía el mercado potencial de Informatica. La arquitectura unificada existente y la integración de productos, basados en la tecnología común Informatica Identity Resolution, facilitarán las oportunidades de ventas cruzadas para los productos Informatica Data Integration y Data Quality. La combinación de los productos Siperian y la completa Plataforma de Informatica ofrecerán un valor aún más distintivo a los clientes que utilicen Informatica B2B Data Exchange para compartir los datos maestros a lo largo de la red de partners en la cadena de suministro.

"Siperian es un reconocido líder y proporciona la única plataforma probada MDM multi-dominio del mercado", señala Peter Caswell, CEO de Siperian. "En combinación con Informatica, estamos mejor posicionados para suministrar una completa gama de soluciones de integración y gestión de datos que capacitan a las actuales empresas basadas en datos".

Más de 60 clientes en todo el mundo confían con éxito en Siperian, incluyendo a líderes en la industria de ciencias de la vida y servicios financieros. Entre estos clientes, figuran Pfizer, Shire, Bank of America, State Street Bank y Lexis Nexis. Un estudio sobre 400 proyectos MDM, elaborado por la firma analista Aberdeen Group, concluyó que las organizaciones que han confiado en Siperian lograron resultados de negocio más de un 50% mejores, en función de las tasas de retención de clientes y ventas cruzadas, frente a aquellas que confiaban en IBM.

Siperian fue fundada en abril de 2001 y tiene su sede central en Foster City, California.

Análisis del portfolio de integración y calidad de datos de los principales fabricantes (Introducción)

Hasta ahora en los artículos que he ido publicando en este blog me he centrado en las funcionalidades y los conceptos básicos de la integración de datos, no entrando a analizar las funcionalidades de cada producto, todo y que hemos comentado algunas de ellas cuando hemos hablado de anuncios de nuevas versiones, publicación de cuadrantes de Gartner, Forrester, etc. A partir de ahora me gustaría comenzar una serie de artículos donde podamos analizar el portfolio de soluciones de integración y calidad de datos que nos ofrecen los principales fabricantes.

Como bien me habéis sugerido en varias ocasiones, la última de ellas ha sido la del comentario de Antonio, lo ideal sería poder hacer una comparativa de productos, y lo cierto es que llevaba bastante tiempo trabajando en hacer esta comparativa, pero creo sinceramente que de poco o nada iba a servir. Desde mi punto de vista creo que las comparativas de producto normalmente suelen ser incompletas, poco objetivas y en la mayoría de ocasiones poco útiles para poder decidir que producto es el más conveniente para nuestro propósito.

No conozco a nadie que sea capaz de decidir una compra de un producto de integración basándose en los datos de una comparativa, creo que una buena elección se tiene que fundamentar en muchos otros valores y condicionantes como ya os comentaba en el artículo Elegir una herramienta de integración de datos.

Otro de los inconvenientes que creo que se producen en las comparativas de producto es que es muy difícil poder analizar y hacer las pruebas de cada producto de forma completa y objetiva, ya que es complicado disponer de la infraestructura de hardware necesaria para llevar a cabo todas las pruebas y luego el diseño de la batería de pruebas a realizar tiene que ser muy estudiado para que sea independiente del producto a analizar de tal forma que no destaquemos las ventajas o inconvenientes de uno u otro producto de forma partidaria. Por último, y esto es una de las principales quejas de los fabricantes, el equipo que realiza las pruebas puede tener un mayor conocimiento o desconocimiento de un producto y esto puede motivar que el diseño de la solución no sea el optimo. Este último paso creo que es un factor muy importante en las herramientas de integración y de calidad de datos ya que el diseño del proceso de integración debe ser optimizado dependiendo del funcionamiento de cada una de las herramientas analizadas, por ejemplo, no es lo mismo programar un proceso para hacer una join de 2 tablas y generar una tercera tabla, si estas tablas residen todas en el mismo servidor de base de datos o en servidores diferentes y también hemos de tener en cuenta si la herramienta que estamos probando posee un motor de integración propio o es capaz de utilizar el motor de la base de datos, es decir si ha de mover los datos al servidor de integración o bien podemos convertir nuestro proceso en PL/SQL y enviarlo para que sea ejecutado por el motor de la base de datos. Otro claro ejemplo es que un proceso de movimiento de datos con filtrado puede dar un rendimiento muy diferente si las tablas de origen están indexadas, si hacemos un sorter previo, etc.

Por todas estas razones y por muchas otras que no quiero enumerar para no hacerme pesado, creo que intentar hacer una comparativa de los productos existentes actualmente en el mercado sería un despropósito por mi parte, así que lo que creo más honesto es explicaros el portfolio de productos de cada fabricante con el mayor nivel de detalle posible para que podáis entender que herramientas pueden ser útiles para vosotros. Como iréis viendo y supongo que algunos de vosotros ya lo habéis sufrido, entender el portfolio de cada fabricante no siempre es fácil, así que espero hacerlo lo mejor posible.

Un saludo.

Gartner publica una nueva versión de su Magic Quadrant para herramientas de integración de datos.

Como resumen Gartner destaca que durante el 2009 los fabricantes de este sector se han encontrado con un aumento de la demanda por parte de los clientes de soluciones de integración de datos donde factores como el precio, el modelo de costes, los tiempos de implantación, la calidad del servicio o el soporte han pasado a tener un mayor peso sobre las funcionalidades o capacidades de las soluciones.

La racionalización de la inversión por parte de todas las organizaciones ha cambiado y ahora estas organizaciones tiene una nueva forma de interpretar el valor, esta nueva situación crea una nueva oportunidad en el mercado de integración de datos para nuevos fabricantes o fabricantes ya establecidos que sean capaces de ofrecer nuevos modelos de costes o nuevos valores que se adecuen a esta nueva situación.

Al mismo tiempo, los grandes fabricantes han optado por la consolidación del mercado (mediante la adquisición de pequeños proveedores especializados) y se han focalizado en ofrecer múltiples estilos de entrega de datos en un conjunto de herramientas único. Esta consolidación se ha traducido en que los fabricantes han optado por el modelo Suite de producto con el fin de adaptarse a los diferentes tipos de demanda del mercado.

Según Gartner, los cambios de posicionamiento de los diferentes fabricantes están impulsados no sólo por las actividades de los vendedores en la entrega de nuevas capacidades del producto y su grado de éxito, sino también por la evolución continua de los criterios de evaluación. El posicionamiento de los fabricantes resultante refleja una estratificación clara de los proveedores en este mercado en varios grupos.

Los vendedores en el grupo leaders, como Informatica e IBM, muestran un significativo énfasis en sus raíces, carga de datos orientada a modelos de integración en modo bulk/batch - un requisito fundamental en este mercado – y una fuerte orientación a prestar servicios de alta calidad y soporte a sus clientes. Sin embargo, el desafío que le presentan los clientes sobre los costes (alto precio y productos sofisticados) continúan siendo una de las problemáticas sustanciales que hacen que su “Ability to execute” no pueda ser considerada “perfecta”. Recordar que según Gartner esta funcionalidad “Ability to execute” es una valoración de mucho peso a la hora de posicionar los fabricantes y dentro de esta variable no sólo se valoran las capacidades funcionales, sino que cuentan aspectos como “service and support, customer perceptions of pricing models and price points relative to value, general customer satisfaction, and the quality of customer references”.

En el grupo que engloba el arco formado por Challengers, Leaders y Visionaries, se incluyen muchos proveedores que están todavía construyendo su conocimiento de la marca en este mercado (como Pervasive Software, iWay Software y SAS / DataFlux), y / o que están en una fase temprana en la evolución de su tecnología hacia el concepto de un amplio y bien integrado conjunto de herramientas de integración de datos que abarcan una amplia gama de estilos de suministro de datos (Oracle y SAP BusinessObjects presentan esta característica). Este grupo de vendedores está bien posicionado para captar la nueva demanda del mercado, en aspectos claves como su capacidad de comercialización de productos, pero también porque pueden aprovechar su reconocimiento de marca en zonas más amplias de gestión de datos.

Los otros grupos de vendedores, situado principalmente en el cuadrante de Niche Players, reflejan la característica de ofrecer una funcionalidad limitada (por ejemplo, un sesgo importante hacia un estilo único de entrega de datos), el reconocimiento de marca muy incipiente o en descenso en el de mercado, o la falta de capacidad para mantener el ritmo de las cambiantes necesidades del comprador para otras funciones como la gestión de metadatos más ricos y la sinergia con las capacidades de calidad de datos. Syncsort, Pitney Bowes Business Insight, ETI y Open Text presentan diversos aspectos de estas características.

Cabe destacar que por primera vez, se han incluido fabricantes de herramientas de integración Open Source en el Cuadrante Mágico. En los análisis anteriores, ninguna de las ofertas de código abierto reunía los criterios de inclusión funcional, ni los proveedores que ofrecen soluciones basadas en modelos abiertos tenían una adopción en el mercado suficientemente importante como para satisfacer los criterios de inclusión cuantitativos (ingresos y / o número de clientes). Durante el año 2009 esta situación cambió con Talend, al proporcionar las capacidades necesarias de producto y también llegar a un estado importante de adopción con su oferta de suscripción. Mientras que este tipo de soluciones de open-source son visionarios en algunos aspectos con respecto al resto de herramientas del mercado de integración de datos (oferta de precios y modelos alternativos de licencias y un enfoque de base comunitaria para el desarrollo del producto), por lo general aún presentan deficiencias funcionales y recursos limitados en relación con los líderes del mercado. El resultado es un canal que ofrece un método diferente de interacción con el cliente en términos de diseño de producto. Pero queda por verse si este modelo resulta más fuerte que los métodos tradicionales, como el software con licencia comercial y los foros de clientes.

El software como servicio (SaaS) y el cloud-computing son cada vez más amplios temas de discusión entre los vendedores en el mercado de herramientas de integración de datos. Además, muchas organizaciones que no tienen el presupuesto, las habilidades o los recursos para implementar sofisticadas herramientas de integración, están empezando a explorar la disponibilidad de estas capacidades en un modelo SaaS, alojado por un proveedor externo. De momento existen pocos ejemplos de integración de datos como un servicio, pero la integración de datos como un servicio de soluciones muy concretas que resuelvan los problemas de sincronización de datos siguen apareciendo.

Por ultimo comentar que Informatica ofrece la posibilidad de descargar el Cuadrante Mágico de Gartner completo desde su página web. www.informatica.com

Informatica lanza la versión 9 de su herramienta PowerCenter

Durante el mes de diciembre Informatica realizó el lanzamiento de su nueva versión de PowerCenter a nivel mundial. Os detallo un pequeño resumen de los puntos más importantes de este lanzamiento:

La nueva versión denominada Informatica 9 está disponible desde el 15 de diciembre de 2009.

La nueva versión está disponible sólo en inglés, las versiones en otros idiomas o personalizaciones locales llegaran con la release 9.0.1

Informatica ha creado un apartado específico en su web con toda la información sobre esta nueva versión. www.informatica.com/9

Instalación y Actualización

No sera possible realizar upgrades desde versiones previas de PowerCenter, Metadata Manager, Data Analyzer, Data Quality, Data Explorer, o PowerExchange.

La fecha en la que Informatica dejará de soportar la versión PowerCenter 8.x aún no ha sido anunciada, pero normalmente Informatica fija el End of Life de sus productos 18 meses después del lanzamiento de la nueva versión.

En esta nueva versión continúan existiendo las releases para 32 y 64 bits, todo y que la versión de 32 bits solo estará disponible para entornos Windows y Linux, la versions de entornos Unix sólo estarán disponibles en 64-bits.

Detalles Técnicos

Informatica 9 incluyes dos nuevas herramientas de cliente llamadas Informatica Developer y Informatica Analyst.

La herramienta Informatica Developer es una herramienta desarrollada en eclipse y permite desarrollar en los entornos de integración y de calidad de datos. Antes erán necesarias dos herramientas separadas para realizar los planes de integración y los planes de calidad de datos.

La herramienta Informatica Analyst es una herramienta web que permite a las administradores y analistas de datos realizar y ejecutar reglas de validación de datos, perfilado de datos y monitorización de la calidad de los datos.

La consola de administración “PowerCenter Administration Console” ha sido renombrada como Informatica Administrator. En esta nueva herramienta ya se encuentran incluídos los servicios de Data Quality, PowerCenter, PowerExchange y Data Services, permitiendo así la administración de todos estos servicios desde una única herramienta.

El resto de herramientas cliente PowerCenter 9 Designer, Repository Manager y Workflow Manager continúan siendo herramientas de cliente windows.

Resumen

La información detallada de las características de esta nueva versión las podéis encontrar en la web http://www.informatica.com/9/default.htm.

El mensaje de Informatica sobre esta nueva versión nos indica que han basado su producto en 3 pilares básicos que ellos llaman Business-IT Collaboration, Pervasive Data Quality y SOA-based Data Services.

En la presentación de producto, publicada en su web, que realiza Chris Boorman (Informatica Chief Marketing Officer), escenifica esos 3 conceptos asociándolos a 3 palabras Trustworthy, Relevant y Timely. En esencia es el mismo mensaje que estaba ofreciendo Informatica hasta ahora pero con un nuevo barniz de marketing, entregar la información en la latencia y frecuencia requerida (Timely), entregar aquella información que realmente es importante para el negocio (Relevant) y con un nivel de calidad elevado gracias a los procesos de calidad de datos incluidos en la herramienta (Trustworthy).

Espero que este resumen sea de vuestro interés, una vez vayan llegando más noticias sobre las funcionalidad y capacidades de esta nueva versión os iré informando.