Derniers Commentaires

Rechercher

Syndication

  • Flux RSS des articles

ETL/EAI/EII

Lundi 25 décembre 2006

 

Procédure Migration de Genio 5.1 vers genio 6.0

 

 

 

Hypothèses :

- Génio 5.1 (Frontal : Module Designer, Administrateur) est installé sur un pc que nous appellerons « PC1 »

- Génio 6.0 (Frontal) sera installé sur un nouveau pc que nous appellerons « PC2 »

 

 

 

Phase 1 : Migration du référentiel

1.      Installer la version 6.0 sur le PC2

2.      Créer une nouvelle base de données ou respectivement un nouveau schéma oracle pour le nouveau référentiel 6.0

3.      Depuis la console d’administration de Genio 6, créer et configurer une nouvelle entrée qui pointe vers l’ancien référentiel 

4.      Connectez-vous à l’ancien référentiel et exporter les données (projets, modules, ...) au format XML.

5.      Depuis la console d’administration de Genio 6, suprimer l’entrée qui correspond à l’ancien référentiel

6.      Depuis la console d’administration de Genio 6, créer et configurer une nouvelle entrée qui pointe vers le nouveau référentiel

7.      Initialiser le nouveau référentiel

8.      Positionner le nouveau référentiel comme référentiel par défaut

9.      Fermer et puis rouvrir la console d’administration

10.  Sélectionner le nouveau référentiel, sélectionner le menu d’import de données. Et sélectionner le fichier XML généré dans l’étape 4

11.  De préférence, sélectionner l’importation des logs (à condition qu’ils aient été exportés)

 

 

 

 

 

Phase 2 : Migration du moteur genio

1.      Installer le nouveau moteur Genio 6.0 (Engine, poller, Scheduler) dans un nouveau serveur. Du moins pas dans le même serveur que l’ancien moteur !!!

        2.       Configuer le nouveau moteur (Nom NetBios, N° de Serie, Port, …)

 

 

 

 

 

Phase 3 : Adaptation du nouveau référentiel  

Après import des données, le nouveau référentiel pointe vers l’ancien moteur. Cette phase consiste donc reconfigurer le nouveau référentiel afin de lui donner la possibilité de communiquer avec le nouveau moteur

 

 

 

Remarques :

1.      Migrer Genio consiste essentiellement à migrer les données du référentiel;  

2.     On aurait pu dans la phase 2, commencer par désinstaller l’ancien référentiel avant d’installer le nouveau. Mais par précaution, je ne conseille pas cette démarche. En effet, il faut toujours conserver l’ancien référentiel et l’ancien moteur au cas ou la migration ne se passerait pas correctement;

3.     On pourra alors désinstaller l’ancien moteur et l’ancien référentiel (après sauvegarde du dernier DUMP) lorsqu’on sera sûr que le nouveau référentiel fonctionne correctement avec le nouveau moteur.

                     Cliquer ici pour télécharger la procédure au format pdf

 

 

Tout ou Partie de cet article ne peut reproduit sans autorisation écrite de M. Benjamin EPEE

Par Benjamin EPEE
Ecrire un commentaire - Voir les 0 commentaires - Recommander
Dimanche 24 décembre 2006

 

L’ETL (Extract Transform and Load) un ensemble de composants logiciels capable d’extraire, de Transformer et de charger des données d’une source vers cible à priori diverses (Fichiers à plats, SGBDR, …). On distingue généralement trois types ou architectures d'ETL :

 

I          ETL Moteur

L’ETL moteur est l’ETL par excellence. Il est monté sur un Serveur du milieu (Serveur ETL). Ainsi toutes les transformations sont traitées par lui. Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel). Comme exemple d’ETL de cette famille nous pouvons citer :

 

1-     Informatica PowerCenter

2-     IBM Ascential

3-     Hummingbird Genio

4-     Business Objects Data Integrator

5-     DataMiror Transformation Server

6-     Ab InItio Software  Ab InItio

7-     open source : Octopuss, KETL, Talend, ...

  

 

 

I-1     Avantages

Possibilités d’effectuer des opérations « mutibases ». Par exemple jointure entre une table Sybase et une autre table Oracle. Notons quand même que dans bon nombre de projets DataWareHouse, on préfère résoudre le problème de « jointure multibase » dans un ODS. Ce qui me paraît plus souple, mais plus long. En effet il faut au préalable charger les deux tables Sybase et Oracle dans un ODS Oracle par exemple. Ensuite effectuer l’opération de jointure dans l’ODS

  

 

 

 

I-2      Inconvénients

-  Le côut. Ce dernier est souvent fonction du nombre de connecteurs et de machines « moteurs ».

- Le côté « boite noire » du moteur. En effet les Transformations faites par le moteur ne sont pas accessibles. Donc la seule optimisation possible est celle fournie par le moteur lui-même !!!

 

 

 

 

Ci-après une synoptique de l'architure    

 

II         ETL Base

 

L’ETL Base est encore appelé ETL générateur de code ou ELT (Extract Load and Transform). En effet ici les transformations sont quasiment toutes déportés dans les SGBDR. Ainsi l’ETL se chargeant juste de générer le code SQL idoine. Donc pas besoin d’une machine devant héberger l’ETL, Juste une machine supportant un ordonnateur qui est là pour vérifier les relations d’ordre entre process SQL .Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel).

1-      Sunospis (Rachété depuis fin 2006 par Oracle)

2-      Oracle WareHouse Builder

3-      DB2 Warehouse Manager

4-     

 

 

II-1    Avantages

- Le côté « boite blanche» du moteur. En effet les Transformations générées par le moteur sont accessibles ((SQL, PL/SQL, T-SQL, …) et à fortiori optimisable.

 

 

 

 

- Le prix. Les ETL Base sont les moins chers du marché.

 

 

II-2    Inconvénients

- Ici on suppose que toutes les opérations sont transformables et optimisable par sur un SGBDR. Eh ben Je suis de ceux qui pensent qu’il y a des opérations qui de part leur nature sont moins performantes sur un SGBDR

Ci-après une synoptique de l'architure

 

 

 

 

 

 

 

 

III       ETL Moteur et Base

L’ETL moteur et base que j’appelle volontiers ETTL (Extract Transform and Transform and Load). Les deux « T » se justifiant par la double transformation. En effet ici les transformations peuvent être faites dans le moteur ETL ou (inclusif) dans les SGBDR.

Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel). Comme exemple d’ETL de cette famille nous pouvons citer : 

 

 

 

1-     Hummingbird Genio (Mon favoris)

2-     Informatica PowerCenter

3-     De manière générale, les ETL Moteur convergent aujourd'hui preque tous vers des ETTL.

 

 

 

III-1     Avantages

Possibilités de répartir des traitements. Tout n’est pas possible avec le SQL.  Par exemple ramener la nième ligne d’une requête est une opération dont la difficulté est fonction du SGBDR. Or elle se retrouve facilitée avec un moteur ETL (puisqu’il suffit de boucler sur les lignes résultats pour ramener la ligne recherchée)

 

III-2      Inconvénients 

 

- Le côut. Ce dernier est souvent fonction du nombre de connecteurs et de machines « moteurs ».

 

- Le côté « boite noire » du moteur. En effet les Transformations faites par le moteur ne sont pas accessibles. Donc la seule optimisation possible est celle fournie par le moteur lui-même !!!

Ci-après une synoptique de l'architure  

 

 

 

 

 

 

 

 

 

Tout ou Partie de cet article ne peut reproduit sans autorisation écrite de M. Benjamin EPEE

Par Benjamin EPEE
Ecrire un commentaire - Voir les 2 commentaires - Recommander
Lundi 9 octobre 2006

I          Modèles de communication  

I-1       Mode de connexion Synchrone - http, corba  

- Mode conversationnel : Une seule connexion - bidirectionnel - demande explicite de déconnexion

- Mode requête, réponse : Cas particulier - un seul aller-retour - RPC appel de fonction à distance - l’application émettrice reste bloquée le temps de la requête

 

I-2       Mode de connexion Asynchrone - middleware

- Mode message Passing : sans connexion - unidirectionnel - non bloquant pour l’émetteur  

 

 

- Mode message Queuing : Cas particulier du précédent - stockage du message entre l’émission et la réception

- Mode publish & Subscribe : sans connexion - échange de 1 à n

 

 

 

 

 

II         Les mécanismes d’échange

II-1      Par fichiers (FTP - CFT)

 

 

II-2      via les ETL

II-3      Par réplication de données  

               -  Fil de l’eau ou mode batch

               -  Non intrusif dans les applications

               -  Peu de capacité de reformatage et de routage

 

 

 

II-4      MOM (Message Middleware Oriented):

 -  Transport point à point

 -  Garantie de délivrance (consommation immédiate du message ou file d’attente)

 -  Notification (simulation de synchronisme)

 -  Priorité via des files d’attente particulière

 -  Sécurité (restriction d’accès à certains messages)

 -  Triggering (à l’arrivée de message, activation d’opération)

 

 

 

 

 III       Les topologies d’intégration

III-1     Topologie Point à Point

 

 

 - Codage de chaque interface en dur dans les applications concernées

 

 

- Nouvelles applications => Nouvelles connexions => Nouveaux développement

 

 

 

 

III-2     Topologie bus

- « publish & Subscribe décentralisé » - « Architecture Network centric »

  bus logique

 Abonnement d’une application à une liste de diffusion

 pas de routage par le contenu

-  Installation d’un agent sur chaque application pour l ’interfaçage avec le bus - potentiellement intrusif

-   Référentiel de règles et gestionnaire de messages distribués sur l’ensemble des nœuds  [point de connexion à une application]

 

 

 

III-3     Topologie hub and spoke

 

 

- « publish & Subscribe centralisé » - « Architecture hub and spoke »

-  envoi de message à un hub central

 

 

-  utilisation fréquente de serveur dédié

 

 

-  non intrusif

 

 

 

 

-  reformatage, transformation et routage vers les abonnés

 

 

 

 

 

 

 

IV         Les types d’intégration

Politique des petits pas: de l’intégration niveau données à l’intégration par les processus

-  Intégration au niveau données

-  « intégration par les flux » ou « intégration au niveau information

-  Intégration par l’objet

-  « intégration par les composants »

-  Intégration par les processus : finalité des EAI

-  « intégration par les services » orientée Service Web

-  Intégration niveau utilisateur : « intégration par la présentation 

 

 

 

 

V         Les composants d’une plate-forme EAI

-  Les connecteurs

-  Le bus d’échange (message broker en architecture « hub & spoke », bus logique en architecture décentralisée)

-  Le gestionnaire de processus

-  L’administration et la sécurité   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Par Benjamin EPEE
Ecrire un commentaire - Voir les 0 commentaires - Recommander

Calendrier

Novembre 2009
L M M J V S D
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30            
<< < > >>
 
Créer un blog sur over-blog.com - Contact - C.G.U. - Rémunération en droits d'auteur - Signaler un abus - Articles les plus commentés