Gestion des identifiants des datasets issus d'un CKAN et d'un catalogue

[bchartier]

Je me pose la question de ce qu'il se passe si un même jeu de données est moissonné par udata à la fois via le moissonneur CKAN et geo.data.gouv.fr. J'imagine qu'il y a un risque de doublon. Peut-on éviter cela (via l'identificateur de ressource unique des métadonnées ISO 19139 qui devrait correspondre à l'id du dataset dans CKAN par exemple) ?

[jdesboeufs]

En effet. Nous avons réglé ce problème avec le moissonneur ODS en ignorant les métadonnées issues d'ISO 19139. Celles-ci transitent donc exclusivement via geo.data.gouv.fr

[bchartier]

Je ne suis pas sûr de bien interpréter ta réponse.

Je précise donc notre situation : nous aurions un même dataset référencé dans CKAN (selon un modèle de métadonnées CKAN / non ISO 19139) et dans un catalogue GeoNetwork (ISO 19139). Les 2 seraient moissonnés respectivement par udata et par geo.data.gouv.fr.

En l'état actuel les deux pourraient se retrouver dans data.gouv.fr alors qu'il s'agirait d'un même dataset même si les 2 portaient le même identifiant ?

La solution que tu évoques pour le moissonneur ODS c'est ça :
https://github.com/opendatateam/udata-ods/blob/master/udata_ods/harvesters.py#L143-L145
?
On ne fait pas attention aux datasets pour lesquels on détecte un truc "inspire" (désolé pour l'utilisation du terme "truc" ; ne connaissant pas l'API d'Open Data Soft je ne sais pas s'il s'agit d'un mot clef, d'un type de ressource ou d'un autre genre de catégorie).

[jdesboeufs]

C'est un champ chez eux qui indique si le jeux de données provient de métadonnées ISO 19139.

[bchartier]

Du coup, si on a un double moissonnage via CKAN et GeoNetwork, on aura des doublons des data.gouv.fr ou est-ce qu'il y a un contrôle d'unicité dans data.gouv.fr ?

[jdesboeufs]

Il y aura des doublons si rien n’est fait. Le mer. 17 oct. 2018 à 13:12, Benjamin C. <[email protected]> a écrit :

…

Du coup, si on a un double moissonnage via CKAN et GeoNetwork, on aura des doublons des data.gouv.fr ou est-ce qu'il y a un contrôle d'unicité dans data.gouv.fr ? — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#780 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ABLJgD1rrTMHtyX0-8_OfJHm90kx6fNsks5ulxCYgaJpZM4Xjjvv> .

[bchartier]

Merci, bien compris.