On catalogue et on boit frais avec Talend

Combien de géomaticiens se sont déjà retrouvés face à leur référentiel de données et à la fastidieuse tâche de devoir commencer la saisie de métadonnées, car c’est décidé, le catalogue, on s’y met ! Alors plutôt que d’éplucher les annonces Géorézo à la recherche d’un-e stagiaire aussi prolifique que déterminé-e, allez jeter un œil à cette nouvelle « extension » de l’ETL OpenSource Talend. Il s’agit comme son nom l’indique d’un metadata-crawler, ce qui ne vous avance pas forcément mais peut déjà vous laisser imaginer que c’est l’extension qui va nager le crawl à votre place pendant que vous boirez du rosé au bord de la piscine. Presque ! Le principe en est en effet de générer automatiquement des fiches de métadonnées dans votre catalogue via le standard CSW (si votre catalogue ne supporte pas cette norme, changez-en) à partir des jeux de données découverts lors du parcours (le crawl donc) des répertoires et bases de données configurés. Capable de traiter tous les formats OGR/GDAL (Shapefile, MapInfo, PostGIS, DXF, TIFF, mais aussi ECW ou Oracle avec les extensions idoines) cette arme fatale va ainsi créer patiemment les fiches pendant que vous profiterez de la vie, en y intégrant ce qu’elle aura pu savoir des données, comme l’étendue géographique, le format, la projection…

Bon, cher géomaticien, ne va pas croire que ça va te renseigner tous les champs INSPIRE hein ! Pour cela il faut une intelligence et une puissance de raisonnement que même les supercalculateurs les plus puissants sont loin d’atteindre. Non, pour ceux-là tu continueras de lire assidument le blog de Marc Léobet et le guide du CNIG, de participer à des groupes de travail et à organiser des réunions. Mais quand-même, tu ne te sens pas plus détendu déjà ? Surtout que dans la configuration, tu peux spécifier les valeurs par défaut de nombreux champs ! Regarde comme les petits bonhommes ils ont l’air contents sur le schéma (oui, celui tout seul qui complète la description, c’est toi) :

 

 

Avec un peu de chance, et une bonne configuration, tu vas même retrouver des jeux de données que tu avais oubliés dans un sous-répertoire avant la grande migration de ton serveur SIG.

Si tu veux en savoir plus, il y a une vidéo de la présentation faite au FOSS4G  : http://www.youtube.com/watch?v=N3NhA5DNnCc et une bonne grosse doc (même si elle commence par faire mal aux dents avec « sudo apt-get install openjdk-7-jdk » que tu en remets le rosé au frais pour plus tard mais rassure-toi, ça marche aussi avec le Windows qu’on t’a installé au travail).

Ce développement OpenSource a été réalisé par François Prunayre de Titellus (il a un site web, mais je ne vous mets pas le lien tellement il fait pitié) pour le compte des Parcs Nationaux de France. Que cette initiative soit donc saluée comme il se doit.

7 commentaires :

  1. Publié le 17 octobre 2013, 16:56 par Bruno Iratchet

    Mais c’est Isogéo en version OS!

  2. Publié le 18 octobre 2013, 7:37 par Julien

    C’est à peu près ce que j’essaye de faire avec mon petit Metadator (https://github.com/Guts/Metadator), à la hauteur de mes moyens. Mais bon forcément c’est pas comparable :)

    Je testerai à l’occasion, le temps de réinstaller SDI.

    • Publié le 28 octobre 2013, 22:03 par Julien

      Je viens de finir de tester. en effet c’est vraiment puissant et ça traite énormément de formats. Par contre, c’est pas forcément accessible au premier technicien qui passe. Entre l’installation de cette machine de guerre ou la lecture biblique du guide CNIG, le coeur balance…

  3. Publié le 18 octobre 2013, 15:09 par Marc Leobet

    « une intelligence et une puissance de raisonnement que même les supercalculateurs les plus puissants sont loin d’atteindre »
    D’où je conclue que métadonnées et jeu de go, même combat? C’est vrai que je joue aux deux, mais, pour les métadonnées, il suffit de prendre son index et de suivre le guide du CNIG (ou celui de votre plate-forme préférée, surtout si elle est alsacienne ou bretonne) ligne à ligne en suivant avec son doigt. En plus, on appelle à commenter sa mise à jour http://georezo.net/blog/inspire/2013/10/03/mise-a-jour-du-guide-de-metadonnees-du-cnig/

    En fait, ne serait-ce pas que les métadonnées, c’est trop basique pour les super-géomaticiens?

  4. Publié le 18 octobre 2013, 15:28 par Guillaume

    Je connais quelques super-géomaticiens pour lesquels tout cela n’est pas si simple. D’ailleurs, s’il faut pour mener à bien ces tâches suivre un guide qui lui-même est susceptible de susciter des commentaires, c’est bien que la réalité des jeux de données est parfois bien têtue !

  5. Publié le 22 octobre 2013, 12:31 par Jean-Philippe

    Très clair ce schéma mais où est le rosé?

  6. Publié le 9 décembre 2013, 10:00 par Just

    Même commentaire que Bruno Iratchet…c’est le scan d’Isogéo en libre et moins cher surtout :) Quoiqu’Isogeo c’est aussi un cloud et tout un tas d’autres choses.

Publier un nouveau commentaire