L’ETL (Extract Transform and Load) un ensemble de composants logiciels capable d’extraire, de Transformer et de charger des données d’une source vers cible à priori diverses (Fichiers à plats, SGBDR, …). On distingue généralement trois types ou architectures d'ETL :

I          ETL Moteur

L’ETL moteur est l’ETL par excellence. Il est monté sur un Serveur du milieu (Serveur ETL). Ainsi toutes les transformations sont traitées par lui. Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel). Comme exemple d’ETL de cette famille nous pouvons citer :

1-     Informatica PowerCenter

2-     IBM Ascential

3-     Hummingbird Genio

4-     Business Objects Data Integrator

5-     DataMiror Transformation Server

I-1     Avantages

Possibilités d’effectuer des opérations « mutibases ». Par exemple jointure entre une table Sybase et une autre table Oracle. Notons quand même que dans bon nombre de projets DataWareHouse, on préfère résoudre le problème de « jointure multibase » dans un ODS. Ce qui me paraît plus souple, mais plus long. En effet il faut au préalable charger les deux tables Sybase et Oracle dans un ODS Oracle par exemple. Ensuite effectuer l’opération de jointure dans l’ODS

I-2      Inconvénients

-  Le côut. Ce dernier est souvent fonction du nombre de connecteurs et de machines « moteurs ».

- Le côté « boite noire » du moteur. En effet les Transformations faites par le moteur ne sont pas accessibles. Donc la seule optimisation possible est celle fournie par le moteur lui-même !!!

Ci-après une synoptique de l'architure    

II         ETL Base

L’ETL Base est encore appelé ETL générateur de code ou ELT (Extract Load and Transform). En effet ici les transformations sont quasiment toutes déportés dans les SGBDR. Ainsi l’ETL se chargeant juste de générer le code SQL idoine. Donc pas besoin d’une machine devant héberger l’ETL, Juste une machine supportant un ordonnateur qui est là pour vérifier les relations d’ordre entre process SQL .Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel).

1-      Sunospis (Rachété depuis fin 2006 par Oracle)

2-      Oracle WareHouse Builder

3-      DB2 Warehouse Manager

III       ETL Moteur et Base

L’ETL moteur et base que j’appelle volontiers ETTL (Extract Transform and Transform and Load). Les deux « T » se justifiant par la double transformation. En effet ici les transformations peuvent être faites dans le moteur ETL ou (inclusif) dans les SGBDR.

Généralement la persistance des métadonnées est gérée par SGBDR (C’est le référentiel). Comme exemple d’ETL de cette famille nous pouvons citer : 

1-     Hummingbird Genio (Mon favoris)

2-     Informatica PowerCenter

3-     De manière générale, les ETL Moteur convergent aujourd'hui preque tous vers des ETTL.

III-1     Avantages

Possibilités de répartir des traitements. Tout n’est pas possible avec le SQL.  Par exemple ramener la nième ligne d’une requête est une opération dont la difficulté est fonction du SGBDR. Or elle se retrouve facilitée avec un moteur ETL (puisqu’il suffit de boucler sur les lignes résultats pour ramener la ligne recherchée)

III-2      Inconvénients 

- Le côut. Ce dernier est souvent fonction du nombre de connecteurs et de machines « moteurs ».

- Le côté « boite noire » du moteur. En effet les Transformations faites par le moteur ne sont pas accessibles. Donc la seule optimisation possible est celle fournie par le moteur lui-même !!!

Ci-après une synoptique de l'architure  

Tout ou Partie de cet article ne peut reproduit sans autorisation écrite de M. Benjamin EPEE

I   Quelques définitions

  Ci-après quelques définitions pour comprendre la logique en Intelligence Artificielle

  Clause : Expression logique de la forme : CONCLUSIONS SI CONDITIONS

Clause de HORN : Clause qui accepte au plus une conclusion

Cohérent : Une base de connaissance est dite cohérente si elle est sans contradiction, c'est-à-dire qu'elle ne contient pas à la fois une assertion comme A et, simultanément, une assertion comme non A. ne pas confondre avec une base de connaissance correcte, qui en plus de cohérente, est sans incomplétude ni redondance.

Déduction : Forme de raisonnement qui conclut, à partir  d'hypothèses, à la vérité d'une proposition en usant de règles d'inférence qui préservent la vérité des expressions manipulées. Exemple de règles de déduction : Modus ponens, Modus Tollens, Suppressions des doubles négations, ...

Différence Base de données et Base de connaissance : Dans une base de données, Il est généralement sous entendu que la qualité de règles est faible par rapport à la qualité de données, alors que c'est l'inverse pour une base de connaissance. Il arrive que dans une base de données l'on appelle faits : partie en extension de la base, et les règles : partie en intention de la base.

Faits : Synonymes de données. Techniquement : clause instanciée et sans conditions. Synonyme=Assertion ?

Induction : Forme de raisonnement qui part des faits pour aller vers les théories, alors que la déduction part des théories pour aller vers les faits.

Inférence : Raisonnement consistant à tirer des conclusions à partir de la base de connaissances. Enchaînement de la connaissance permettant d?en déduire de nouvelles à partir de celles qui sont déjà acquises.

Modus Ponens : Si A est vrai et (A=>B) est vrai (expression de causalité) alors B est vrai. Pour être plus formel : (A et A=>B) inférer B). Exemple :  1-  HOMME(x)     2-  HOMME(x)=> MORTEL(x). En faisant  [x <--- epee), on en déduit que epee est mortel.

Modus Tollens : Règle d'inférence déduite de Modus ponens en remplaçant les formules par des négations pures. Elle s'écrit donc : de Non A et de Non B =>inférer Non B.

Prédicat : Fonction qui ne peut prendre que deux valeurs. (En logique classique, ces valeurs sont interprétées comme le vrai ou le faux. En logique multivaluée, on a introduit aussi d?autres valeurs comme "INCONNU", "INDIFFERENT", ...

Subsomption : Opération par laquelle on reconnaît qu'un prédicat est plus général qu'un autre. Le prédicat le plus général subsume le moins général. Classiquement la seule opération de subsomption est le OU logique : on dit, par exemple, que "A OU B" subsume "A"

II   Les formes de logique

III-1      Raisonnement direct

             III-1-1  La déduction

                         1- Le syllogisme

                         2- Le conditionnel 

                         3- Le disjonctif

           III-1-2  L’induction

           III-1-3  L’analogie

III-2     La réfutation

   III-2-1   Invalidation par le contre exemple

   III-2-2   S’attaquer à la thèse (cercle vicieux : on veut prouver une hypothèse en supposant qu’elle est vraie !!!!)

    III-2-3   Il n’y a pas que les conclusions défendues, il y en a d’autres qui n’induisent pas la thèse

III-3  Raisonnement indirect ou raisonnement par l’absurde

 - Pour démontrer q'une proposition est vraie, on commence par supposer son contraire et on aboutit ensuite à une absurdité qui amène à conclure que la proposition est fausse. Par exemple démontrons par l’absurde que N l’ensemble des entiers naturels est infini.  

1- On commence par supposer que N est fini.

2- Si N est fini alors il admet un plus grand élément que nous appellerons P

3- Hors nous avons une propriété qui nous dit que si a appartient à N alors a+1 appartient aussi à N

4- Ainsi d’après le point précédent, P+1 appartient aussi à N. Ce qui est absurde puisque P est le plus grand élément de N

5- Donc N n’est pas fini, c’est-à-dire qu’il est infini. CQFD.