<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>neogeo &#187; ETL</title>
	<atom:link href="http://www.neogeo-online.net/blog/archives/tag/etl/feed/" rel="self" type="application/rss+xml" />
	<link>http://www.neogeo-online.net</link>
	<description>SIG, OpenSource et Web 2.0</description>
	<lastBuildDate>Thu, 22 Dec 2011 17:53:05 +0000</lastBuildDate>
	<language>en</language>
	<sy:updatePeriod>hourly</sy:updatePeriod>
	<sy:updateFrequency>1</sy:updateFrequency>
	<generator>http://wordpress.org/?v=3.3.1</generator>
		<item>
		<title>Lire les formats INSPIRE avec Talend Open Studio</title>
		<link>http://www.neogeo-online.net/blog/archives/908/</link>
		<comments>http://www.neogeo-online.net/blog/archives/908/#comments</comments>
		<pubDate>Mon, 07 Mar 2011 07:04:39 +0000</pubDate>
		<dc:creator>François-Xavier Prunayre</dc:creator>
				<category><![CDATA[Traitements et qualité des données]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[GML]]></category>
		<category><![CDATA[INSPIRE]]></category>
		<category><![CDATA[Talend]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=908</guid>
		<description><![CDATA[Aujourd&#8217;hui, il n&#8217;est pas simple de dénicher des données suivant les formats définis dans les spécifications sur les données INSPIRE. Quoiqu&#8217;il en soit, voici une méthode pour lire des données au format GML avec l&#8217;ETL Talend Open Studio (TOS) et son module Spatial. En effet, les modèles UML des spécifications sur les données INSPIRE utilisent [...]]]></description>
			<content:encoded><![CDATA[<p>Aujourd&#8217;hui, il n&#8217;est pas simple de dénicher des données suivant les formats définis dans <a href="http://inspire.jrc.ec.europa.eu/index.cfm/pageid/2">les spécifications sur les données INSPIRE</a>. Quoiqu&#8217;il en soit, voici une méthode pour lire des données au <a href="http://fr.wikipedia.org/wiki/Geography_Markup_Language">format GML</a> avec l&#8217;ETL <a href="http://talendforge.org/wiki/doku.php?id=sdi:mainpage">Talend Open Studio (TOS) et son module Spatial</a>.</p>
<p>En effet, les modèles UML des spécifications sur les données INSPIRE utilisent le format GML pour encapsuler les géométries. Ces modèles sont égalements appelés <a href="http://www.ogcnetwork.net/node/210">schémas d&#8217;application GML</a>. L&#8217;ensemble des propriétés et relations entre les objets y est décrit. </p>
<p>Dans le cas d&#8217;une adresse, le modèle est le suivant :</p>
<p><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2011/03/uml-inspire-address.png" alt="" title="uml-inspire-address" width="344" height="435" class="aligncenter size-full wp-image-911" /></p>
<p>TOS permet de lire et d&#8217;extraire des portions de fichier XML avec le composant tFileInputXML. Avec un peu de configuration (cf. <a href="#config">ci-dessous</a>), il est possible de définir une correspondance entre tout ou partie du fichier XML et un flux de sortie.</p>
<p><a href="http://www.neogeo-online.net/blog/wp-content/uploads/2011/03/gml-input-configuration.png" id="config"><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2011/03/gml-input-configuration.png" alt="" title="gml-input-configuration" width="500" height="416" class="aligncenter size-medium wp-image-910" /></a></p>
<p>Dans ce cas, la position (&laquo;&nbsp;ad:position&nbsp;&raquo;) n&#8217;est pas transformée en géométrie, elle est de type texte. En sélectionnant l&#8217;option &laquo;&nbsp;Get Nodes&nbsp;&raquo; pour cette colonne, le composant va extraire le bloc XML. Ce bloc doit alors être converti en géométrie. Il est possible d&#8217;ajouter une routine pour réaliser cette conversion. Le menu &laquo;&nbsp;créer une routine&nbsp;&raquo; est accessible depuis l&#8217;onglet Référentiel > Code > Routines :</p>
<pre lang="JAVA" line="1">
public class GeometryUtility {
    private static final org.geotools.xml.Parser gmlParser = new org.geotools.xml.Parser(new org.geotools.gml3.GMLConfiguration());
    /**
     * GMLToGeometry: Convert a GML string into a Geometry
     *
     * {talendTypes} Geometry
     * {Category} GeometryUtility
     * {param} string("<gml:Point>...</gml:Point>") input: The GML to be parsed
     * {param} boolean(false) input: Validate the GML input document or not
     * {example} GMLToGeometry(row1.the_geom, false)
     */
    public static org.talend.sdi.geometry.Geometry GMLToGeometry(String gml, boolean validate) {
    	// Set GML parser properties.
    	gmlParser.setStrict(false);
    	gmlParser.setValidating(validate);

        // TODO : Take care of coordinate system

    	// Parse the geometry
	try {
		Object value = gmlParser.parse(new java.io.StringReader(gml));
		return new org.talend.sdi.geometry.Geometry((com.vividsolutions.jts.geom.Geometry) value);
	} catch (Exception e) {
		System.out.println("Error when parsing GML geometry: " + e.getMessage() + ".");
		e.printStackTrace();
	}
    	return null;
    }
}
</pre>
<p>Une fois la routine créée, il est alors possible de l&#8217;utiliser dans toute expression :</p>
<pre>
routines.GeometryUtility.GMLToGeometry(row2.Point, false)
</pre>
<p>Par exemple dans un composant tMap :</p>
<p><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2011/03/gml-to-geometry-routine1.png" alt="" title="gml-to-geometry-routine" class="aligncenter size-medium wp-image-909" /></p>
<p>Ainsi, la conversion d&#8217;un fichier GML vers un fichier Shapefile peut se faire de la manière suivante :</p>
<p><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2011/03/inspire-data-to-shapefile1.png" alt="" title="inspire-data-to-shapefile" class="aligncenter size-medium wp-image-912" /></p>
<p>Quand l&#8217;heure sera venue de traiter des données au format INSPIRE, il y aura probablement de nombreux cas particuliers à gérer mais c&#8217;est déjà un premier pas. Le cas de l&#8217;écriture de ces formats est également une problématique intéressante.</p>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/908/feed/</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>Sextante dans Talend Open Studio</title>
		<link>http://www.neogeo-online.net/blog/archives/612/</link>
		<comments>http://www.neogeo-online.net/blog/archives/612/#comments</comments>
		<pubDate>Mon, 06 Dec 2010 19:04:12 +0000</pubDate>
		<dc:creator>François-Xavier Prunayre</dc:creator>
				<category><![CDATA[Traitements et qualité des données]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[Sextante]]></category>
		<category><![CDATA[Talend]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=612</guid>
		<description><![CDATA[Après une première tentative il y a 2 ans, je viens de mettre en téléchargement un nouveau prototype d&#8217;intégration de la librairie Sextante dans Talend Open Studio. Sextante est une bibliothèque OpenSource pour l&#8217;analyse spatiale. Son objectif principal est la mise à disposition d&#8217;algorithmes pour le traitement des données géographiques rasters et vecteurs. La combinaison [...]]]></description>
			<content:encoded><![CDATA[<p>Après une première tentative il y a 2 ans, je viens de mettre en <a href="http://sourceforge.net/projects/sdispatialetl/files/sdispatialetl/TOS.spatial.4.1.1/">téléchargement</a> un nouveau prototype d&#8217;intégration de la librairie Sextante dans Talend Open Studio. <a href="www.sextantegis.com">Sextante</a> est une bibliothèque OpenSource pour l&#8217;analyse spatiale. Son objectif principal est la mise à disposition d&#8217;algorithmes pour le traitement des données géographiques rasters et vecteurs. La combinaison des 2 rend disponibles aux utilisateurs de TOS plus de <a href="http://forge.osor.eu/plugins/wiki/index.php?The%20algorithms&#038;id=13&#038;type=g">290 algorithmes</a> supplémentaires pour l&#8217;analyse spatiale (calcul de visibilité, de contours, d&#8217;indice de végétation…). Les «&nbsp;jobs&nbsp;» peuvent alors reposer sur les composants natifs de TOS, de son module spatial et de Sextante.</p>
<p>Cette première ébauche doit être améliorée sur de nombreux points mais elle donne une idée des potentialités. En effet, ceux qui utilisent Sextante dans <a href="http://www.gvsig.org/web/docusr/acceso-editores/funcionalidades/sextante/the-sextante-toolbox/introduction/">gvSIG</a>, <a href="http://sextantegis.blogspot.com/2010/05/manual-udigsextante.html">uDig</a>, <a href="http://sextantegis.blogspot.com/2008/09/ampliando-fronteras.html">OpenJump</a>… pourront facilement automatiser des traitements et les rejouer sans difficulté.</p>
<p>Les améliorations à apporter concernent principalement&nbsp;:</p>
<ul>
<li>les différents types d&#8217;objets utilisés par Sextante (tel que les graphiques, les tableaux)</li>
<li>le format GeoTIFF pour les données rasters en plus du format de grille ASCII</li>
</ul>
<p><a href="http://www.neogeo-online.net/blog/wp-content/uploads/2010/12/sextante-talend-palette.png"><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2010/12/sextante-talend-palette.png" alt="" title="Les composants Sextante dans la palette" width="302" height="316" class="aligncenter size-full wp-image-613" /></a></p>
<p>Pour vous donner une idée des capacités de Sextante dans TOS, le «&nbsp;job&nbsp;» ci-dessous crée automatiquement, à partir d&#8217;un MNT, un réseau de cours d&#8217;eau et une grille d&#8217;accumulation nécessaires à un calcul des bassins versants.</p>
<p><a href="http://www.neogeo-online.net/blog/wp-content/uploads/2010/12/sextante-talend-watershed.png"><img src="http://www.neogeo-online.net/blog/wp-content/uploads/2010/12/sextante-talend-watershed.png" alt="" title="Exemple de job pour le calcul de bassin versant" width="600" height="240" class="aligncenter size-medium wp-image-614" /></a></p>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/612/feed/</wfw:commentRss>
		<slash:comments>1</slash:comments>
		</item>
		<item>
		<title>39 Mo de spatial pour Talend Open Studio</title>
		<link>http://www.neogeo-online.net/blog/archives/448/</link>
		<comments>http://www.neogeo-online.net/blog/archives/448/#comments</comments>
		<pubDate>Wed, 06 Oct 2010 16:46:03 +0000</pubDate>
		<dc:creator>François-Xavier Prunayre</dc:creator>
				<category><![CDATA[Traitements et qualité des données]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[Talend]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=448</guid>
		<description><![CDATA[Hier est sortie la version 4.1.0 de Talend Open Studio (TOS). Du coup, ce matin, j&#8217;ai également publié les composants spatiaux qui sont maintenant téléchargeables en complément de TOS. Une fois TOS dézippé, il suffit de copier le répertoire plugins dans votre installation existante puis de lancer l&#8217;application. Cette version fait suite aux améliorations d&#8217;architecture [...]]]></description>
			<content:encoded><![CDATA[<p>Hier est sortie <a href="http://www.talend.com/download.php">la version 4.1.0 de Talend Open Studio (TOS)</a>.</p>
<p>Du coup, ce matin, j&#8217;ai également publié <a href="http://www.talendforge.org/wiki/doku.php?id=sdi:mainpage">les composants spatiaux</a> qui sont maintenant <a href="http://sourceforge.net/projects/sdispatialetl/files/sdispatialetl/TOS.spatial.4.1.0/">téléchargeables</a> en complément de TOS. Une fois TOS dézippé, il suffit de copier le répertoire plugins dans votre installation existante puis de lancer l&#8217;application.</p>
<p>Cette version fait suite aux <a href="http://www.neogeo-online.net/blog/archives/304/">améliorations d&#8217;architecture</a> réalisées avec le support de l&#8217;équipe de Talend. À part cette réorganisation majeure, peu de nouveautés côté spatial&nbsp;: quelques corrections de bugs et un nouveau composant pour convertir des lignes en polygones.</p>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/448/feed/</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>Léger changement de cap pour le module spatial de l&#039;ETL Talend</title>
		<link>http://www.neogeo-online.net/blog/archives/304/</link>
		<comments>http://www.neogeo-online.net/blog/archives/304/#comments</comments>
		<pubDate>Sun, 13 Jun 2010 08:57:32 +0000</pubDate>
		<dc:creator>François-Xavier Prunayre</dc:creator>
				<category><![CDATA[Traitements et qualité des données]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[Talend]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=304</guid>
		<description><![CDATA[Depuis son lancement en 2007, le produit Spatial Data Integrator a émmergé comme une solution de traitement et gestion de données géographiques. En effet, partant du large spectre fonctionnel fourni par Talend (+ de 500 composants aujourd&#8217;hui), les &#171;&#160;géocomposants&#160;&#187; permettent la réalisation de traitements (eg. validation de géométrie, calcul de distance, agrégation, intersection) et la [...]]]></description>
			<content:encoded><![CDATA[<div id="_mcePaste">
<div id="_mcePaste">Depuis son lancement en 2007, le produit <a href="http://www.talendforge.org/wiki/doku.php?id=sdi:mainpage">Spatial Data Integrator</a> a émmergé comme une solution de traitement et gestion de données géographiques. En effet, partant du large spectre fonctionnel fourni par Talend (+ de 500 composants aujourd&#8217;hui), les &laquo;&nbsp;géocomposants&nbsp;&raquo; permettent la réalisation de traitements (eg. validation de géométrie, calcul de distance, agrégation, intersection) et la gestion (eg. création de métadonnées, <a href="http://mesh.dl.sourceforge.net/project/sdispatialetl/screencast/All%20Sdi%20Screencasts/sdi_CreatePublishMetadata.swf">publication dans un catalogue</a>) de données géospatiales.</div>
<div id="_mcePaste">Cependant, il était difficile de suivre le rythme de progression de <a href="http://www.talend.com/products-data-integration/talend-open-studio.php">Talend Open Studio</a> (également appelé TOS). Afin de bénéficier des avancées rapides faites par l&#8217;équipe de Talend, il a été décidé de pouvoir connecter le module spatial sur une installation de TOS existante.</div>
<div id="_mcePaste">Pour cela, l&#8217;architecture utilise maintenant des points d&#8217;extension pour l&#8217;ensemble des plugins du module spatial (type Geometry, librairies, composants, routines, assistants). Ainsi, le processus de création d&#8217;une nouvelle version est grandement simplifié. L&#8217;utilisation de plugins et la suppression des &laquo;&nbsp;patches&nbsp;&raquo; permettent également une prise en main beaucoup plus aisée pour d&#8217;éventuels nouveaux contributeurs.</div>
<div id="_mcePaste">La <a title="Téléchargement" href="http://sourceforge.net/projects/sdispatialetl/files/sdispatialetl/TOS.spatial.4.0.1/">version 4.0.1</a> sortie vendredi dernier est donc la première ébauche de cette nouvelle architecture qui devrait être finalisée lors de la sortie de la version suivante. Cette version bénéficie donc des fonctionnalités de la version 4.0.1 de TOS, de corrections de <a href="http://www.talendforge.org/bugs/changelog_page.php">bugs</a> ainsi que quelques ajouts fonctionnels.</div>
</div>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/304/feed/</wfw:commentRss>
		<slash:comments>4</slash:comments>
		</item>
		<item>
		<title>neogeo²</title>
		<link>http://www.neogeo-online.net/blog/archives/270/</link>
		<comments>http://www.neogeo-online.net/blog/archives/270/#comments</comments>
		<pubDate>Tue, 09 Feb 2010 17:37:42 +0000</pubDate>
		<dc:creator>Guillaume</dc:creator>
				<category><![CDATA[News of the GeoWorld]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[GeoNetwork]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=270</guid>
		<description><![CDATA[J&#8217;ai le plaisir de vous annoncer l&#8217;arrivée au sein de Neogeo Technologies de François-Xavier Prunayre, expert en infrastructures de données spatiales, membre du comité de pilotage GeoNetwork et développeur principal du module spatial de l&#8216;ETL OpenSource Talend. Il s&#8217;occupera donc plus particulièrement des activités de catalogage et de gestion de données spatiales, notamment dans le [...]]]></description>
			<content:encoded><![CDATA[<p>J&#8217;ai le plaisir de vous annoncer l&#8217;arrivée au sein de Neogeo Technologies de François-Xavier Prunayre, expert en infrastructures de données spatiales, membre du comité de pilotage <a href="http://geonetwork-opensource.org/" target="_blank">GeoNetwork</a> et développeur principal du module spatial de l<a href="http://www.talendforge.org/wiki/doku.php?id=sdi:mainpage" target="_blank">&#8216;ETL OpenSource Talend</a>. Il s&#8217;occupera donc plus particulièrement des activités de catalogage et de gestion de données spatiales, notamment dans le contexte de la directive <a href="http://inspire.jrc.ec.europa.eu/" target="_blank">INSPIRE</a>.</p>
<p>Avec une croissance de 100 % de ses effectifs, Neogeo Technologies affirme ainsi son ambition dans le domaine de l&#8217;OpenSource Geospatial.</p>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/270/feed/</wfw:commentRss>
		<slash:comments>13</slash:comments>
		</item>
		<item>
		<title>Un nuage de lait avec votre analyse thématique ?</title>
		<link>http://www.neogeo-online.net/blog/archives/104/</link>
		<comments>http://www.neogeo-online.net/blog/archives/104/#comments</comments>
		<pubDate>Mon, 16 Jun 2008 20:24:40 +0000</pubDate>
		<dc:creator>Guillaume</dc:creator>
				<category><![CDATA[News of the GeoWorld]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[GeoDécisionnel]]></category>

		<guid isPermaLink="false">http://www.neogeo-online.net/?p=104</guid>
		<description><![CDATA[Le groupe de recherche GeoSOA, mené par l&#8217;éminent Thierry Badard, nous signale la sortie de GeoKettle, que tout estivant ayant traversé le Lot pourra facilement traduire par GeoBouilloire, qui n&#8217;est pas destinée à éliminer les impuretés de vos données cartos, mais à réaliser du data-mining en 3 mn chrono ! C&#8217;est, pour reprendre les termes [...]]]></description>
			<content:encoded><![CDATA[<p>Le groupe de recherche <a href="http://geosoa.scg.ulaval.ca" target="_blank">GeoSOA</a>, mené par l&#8217;éminent Thierry Badard, nous signale la sortie de <a href="http://geosoa.scg.ulaval.ca/en/index.php?module=pagemaster&amp;PAGE_user_op=view_page&amp;PAGE_id=17" target="_blank">GeoKettle</a>, que tout estivant ayant traversé le Lot pourra facilement traduire par GeoBouilloire, qui n&#8217;est pas destinée à éliminer les impuretés de vos données cartos, mais à réaliser du data-mining en 3 mn chrono !</p>
<p>C&#8217;est, pour reprendre les termes du communiqué, une version &laquo;&nbsp;spatialisée&nbsp;&raquo; de Pentaho Data Integration, outil ETL (Extract, Transform, Load) dédié à l&#8217;agrégation de sources de données différentes dans des entrepôts de données. GeoKettle intègre ainsi l&#8217;ensemble de la suite décisionnelle Pentaho, afin de donner une dimension géographique tant à la présentation du résultat des analyses (ça c&#8217;est facile) qu&#8217;à leur exploration elle-même. Pour faire court, la dimension géographique devient une des composantes analytiques, permettant par exemple de consolider les indicateurs en fonction d&#8217;entités administratives, ou d&#8217;énoncer des contraintes d&#8217;ordre spatial (distance par exemple) à leur composition.</p>
<p>Il semblerait donc qu&#8217;après le rapprochement entre <a href="http://www.camptocamp.com/article208.html" target="_blank">CampToCamp</a> et <a href="http://www.talend.com/" target="_blank">Talend</a>, autre éditeur d&#8217;ETL OpenSource, le GéoDécisionnel ait le vent en poupe et constitue le nouveau territoire de la géomatique.</p>
]]></content:encoded>
			<wfw:commentRss>http://www.neogeo-online.net/blog/archives/104/feed/</wfw:commentRss>
		<slash:comments>0</slash:comments>
		</item>
	</channel>
</rss>

