Stambia Data Integration

Dans un contexte ou la data est au cœur des organisations, l'intégration des données devient un processus clé de réussite des transformations digitales. Pas de transformation numérique sans mouvement ou transformation des données.

Les organisations doivent relever plusieurs challenges :

Pouvoir désiloter les systèmes d'information
Traiter de manière agile et rapide des volumes de données croissants et des types d'information très différents (donnée structurée, semi-structurée ou non structurée)
Gérer tout aussi bien des chargements massifs que des ingestions au fil de l'eau des données, afin de prendre des décision pertinentes
Maîtriser les coûts d'infrastructure de la donnée

Dans ce contexte Stambia répond en apportant une solution unifiée pour tout type de traitement de la donnée, qui peut être déployée aussi bien dans le cloud que sur site, et qui garantie une maîtrise et une optimisation des coûts de possession et de transformation de la donnée.

Pour en approfondir ces points, consulter notre page Pourquoi Stambia ?

Les cas d'usage de Stambia Data Integration

Les projets avec Stambia

Avec une architecture unique et la même plateforme de développement, Stambia Enterprise permet d'aborder tout type de projet d'intégration de données, que ce soit les projets adressant de très larges volumétries de données ou les projets plus orientés temps-réel.

Voici une liste non exhaustive de projets réalisables :

Alimentation de bases de données décisionnelles (datawarehouses, datamarts, infocentres), business intelligence
Projet Big Data, Hadoop, Spark et No SQL
Migration de plateforme vers le Cloud (Google Cloud Plateform, Amazon, Azure, Snowflake…)
Echanges de données avec des tiers (API, Services Web)
Projet de Data Hub, échanges de données entre applications (mode batch ou temps-réel, exposition ou utilisation de Services Web)
Réplication de données entre bases hétérogènes
Intégration ou production de fichiers
Gestion de référentiels de données métiers

Quelques exemples d'architectures avec Stambia

API WebServices MicroServices Management

Découvrez les API / Webservices

Découvrez l'architecture Data hub

Snowflake Automatic Data Migration With Stambia

Découvrez le composant Cloud Snowflake

Comment fonctionne Stambia Data Integration ?

Stambia repose sur plusieurs concepts clés

Un Mapping Universel

Contrairement aux approches traditionnelles, orientées process techniques, Stambia propose une vision dite "universelle" du mapping : toute technologie doit pouvoir être alimentée ou lue de manière simple, quelle que soit sa structure et sa complexité (table, fichier, Xml, Service Web, Application SAP, ...). C'est une vision Data, orientée métier.

Pour en savoir plus consulter la page "Mapping Universel".

Une approche par les modèles

L'approche Stambia est basée sur les modèles. La notion de templates ou de technologies adaptatives offre une capacité d'abstraction et d'industrialisation des flux. Cette démarche permet de gagner en productivité, en agilité et en qualité sur les projets réalisés.

Pour en savoir plus consulter la page "L'approche par les modèles".

Un mode ELT

L'architecture en mode "délégation de transformation ou ELT permet de maximiser les performances, diminuer les coûts d'infrastructure, et maîtriser les flux réalisés.

Pour en savoir plus consulter la page "L'approche ELT".

Une maîtrise de la trajectoire

La vision de Stambia est de permettre à ses clients de maîtriser les coût de possession des plateformes d'intégration de données. Ceci est possible grâce au modèle économique de Stambia et aux approches technologiques choisies qui permettent d'augmenté la productivité et de dominuer la courbe d'apprentissage.

Pour en savoir plus consulter notre Offre tarifaire.

Et une architecture simple et légère

L'architecture de Stambia Enterprise repose sur trois composants simples :

Les Designers sont les postes de développement et de test. Les Designers reposent sur une architecture Eclipse facilitant le partage ainsi qu'une gestion souple des développements et des projets en équipe.

Les Runtimes sont les processus qui exécutent les jobs en production. Ils reposent sur une architecture Java facilitant leur déploiement sur site ou dans le Cloud. Ils sont compatibles avec Docker et les architectures Kubernetes

Stambia Analytics est le composant web permettant la mise en production (déploiement, paramétrage et planification) et le suivi des jobs, ainsi que le pilotage des différents runtimes.

Spécifications et pré-requis techniques

Spécifications	Description
Architecture simple et agile	1. Designer : environnement de développement 2. Runtime : moteur d'exécution des processus d'intégration de données, Web services, ... 3. Production Analytics : consultation des exécutions et mise en production
Connectivité	Vous pouvez extraire les données de : Tout système de base de données relationnelle comme Oracle, PostgreSQL, Microsoft SQL Server (MSSQL), MariaDB, ... Tout système de base de données NoSQL comme MongoDB, Elasticsearch, Cassandra, ... Tout système de base de données haute performance comme Netezza, Vertica, Teradata, Actian Vector, Sybase IQ, ... Tout système Cloud comme Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, Snowflake, ... Toute application ERP comme SAP, Microsoft Dynamics, ... Toute application SAAS comme Salesforce, Snowflake, Big Query, ... Tout système Big Data comme Spark, Hadoop, ... Tout système de messagerie MOM, ESB comme Apache Active MQ, Kafka, OpenJMS, Nirvana JMS, ... Tout système de fichier comme CSV, XML, JSON, ... Tout système de tableur comme Excel, Google Spreadsheet, ... Pour plus d'informations, consulter notre documentation technique
Connectivité technique	FTP, SFTP, FTPS Email (SMTP) LDAP, OpenLDAP Kerberos
Caractéristiques standard	Reverse : la structure de la base de données peut être reversée grâce à la notion de reverse de meta-données Opérations DDL /DML : supporte les opérations de manipulation des objets et des données (DML/DDL) comme l'insertion, la mise à jour, la suppressions, etc. (Insert, Update, Select, Delete, Create or Drop) Méthode d'intégration : Append, Incremental Update Staging : une base de données peut être utilisée comme étape intermédiaire (staging aera) pour la transformation, la réconcialation des données, etc. Les modes supportés sont : staging as subquery staging as view staging as table Rejet : des règles de rejet peuvent être définies pour filtrer ou détecter les données qui ne respectent pas les conditions définies lors des intégrations. 3 types de rejet peuvent être créées : Fatal, Warning, Reject Traitement différentié en fonction du type de donnée pour chaque donnée rejetée Recyclage des rejets créés lors de précédentes exécutions Réplication : la réplication de base de données est supportée depuis n'importe quelle source comme des bases de données relationnelle ou NoSQL, des fichiers plats, des fichiers XML / JSON, système Cloud, etc.
Caractéristiques avancées	Slowly Changing Dimension (SCD) : les intégrations peuvent être réalisées en utilisant le changements de dimension à évolution lente (SCD) Méthodes de chargement : Generic load COPY loader Change Data Capture (CDC) Privacy Protect : module pour la gestion du RGPD avec les fonctionnalités Anonymization Pseudonimization Audits ... Data Quality Management (DQM) : gestion de la qualité des données directement intégrée aux méta-données et dans le Designer
Pré-requis techniques	Système d'exploitation : Windows XP, Vista, 2008, 7, 8, 10 en mode 32 ou 64 bits Linux en mode 32 ou 64 bits Mac OS X en mode 64 bits Mémoire Au moins 1 Gb de RAM Espace disque A minima, il doit y avoir 300 Mo d'espace disque disponible Environnement Java JVM 1.8 ou supérieure Notes : pour Linux, il est nécessaire de disposer d'un système de fenêtrage GTK+ 2.6.0 avec toutes les dépendances
Déploiement Cloud	Image Docker disponible pour les moteurs d'exécution (Runtime) et la console d'exploitation (Production Analytics)
Standard supportés	Open API Specifications (OAS) Swagger 2.0 W3C XML WSI compliant SQL
Langage de Scripting	Jython, Groovy, Rhino (Javascript), ...
Gestionnaire de sources	Tout plugin supporté Eclipse : SVN, CVS, Git, ...
Migrer depuis votre solution existante d'intégration de données	Oracle Data Integrator (ODI) , Informatica , Datastage , talend, Microsoft SSIS possibilité de migrer simplement et rapidement