En naviguant sur notre site vous acceptez l'installation et l'utilisation des cookies sur votre ordinateur. En savoir +

Menu Logo Principal

Datapartage

DOI et données dynamiques

Les jeux de données scientifiques sont susceptibles de changer au cours du temps pour prendre en compte des corrections ou des ajouts de données. Exemples : données environnementales, données de capteurs, données d’observation, études longitudinales.

De plus, dans le cas de données de taille importante, le scientifique peut vouloir identifier et citer précisément le sous-ensemble de données utilisé pour produire les résultats décrits dans un article.

Dans un contexte où la reproductibilité de la recherche devient un enjeu important, il est important d’identifier et citer les données de manière pertinente. Selon les cas d’usage, plusieurs approches pour l’identification des données dynamiques existent.

Cas 1 : On souhaite identifier et citer les mises à jour correspondant à une période donnée. Exemple : les relevés de température pour une année donnée

L’approche préconisée dans ce cas est une approche dite « time slice », basée sur des intervalles de temps réguliers. Cette approche consiste à archiver une copie des mises à jour correspondant à une période (par exemple les relevés de température de juin 2016) et à attribuer un DOI à cette copie archivée.

Le lien entre une copie archivée spécifique et les autres copies archivées peut se faire grâce aux métadonnées (par exemple la métadonnée RelatedIdentifier de DataCite).

Cas 2 : On souhaite identifier et citer une image complète du jeu de données à un instant donné. Exemple : une série temporelle dans son ensemble à un instant donné.

L’approche préconisée dans ce cas est celle dite « full snapshot » basée sur un archivage régulier  d’une copie complète du jeu de données. Elle  consiste à archiver une copie complète du jeu de données selon une périodicité définie ou à la demande d’un auteur qui souhaite citer le jeu de données, puis à attribuer un DOI à chaque copie archivée.

Le lien entre une copie archivée spécifique et les autres copies archivées peut se faire grâce aux métadonnées (par exemple la métadonnée RelatedIdentifier de DataCite).

Cas 3 : on souhaite identifier et citer la requête qui permet de sélectionner un sous-ensemble précis d’une base de données requêtable

Dans le cas de données volumineuses et dynamiques, archiver et identifier de manière régulière des sous-ensembles correspondant à des résultats de requêtes peut s’avérer coûteux. Partant de ce constat, le groupe  de travail (Data Citation of Evolving Data) de la Research Data Alliance (RDA) a produit des recommandations permettant d’archiver et d’identifier des requêtes en lieu et place des résultats correspondants : https://www.rd-alliance.org/system/files/RDA-DC-Recommendations_151020.pdf.

Cette approche consiste à archiver l’équation de la requête accompagnée des informations ci-dessous et à y associer un DOI :

  • Un timestamp correspondant au moment de l’exécution de la requête
  • La requête originale telle que exprimée par l'utilisateur
  • La requête originale modifiée dans le but de préserver les propriétés essentielles du jeu de données (exemple : tri)
  • Une clé de hashage du résultat de recherche pour permettre de vérifier à posteriori qu’il s’agit ou non de la même requête,  et éviter d’attribuer plusieurs fois un DOI à la même requête.  Les nouvelles requêtes reçoivent un nouvel identifiant DOI. De même, si les résultats d'une requête changent, un nouveau DOI doit être généré.
  • Des métadonnées descriptives telles que celles préconisées par DataCite

Mise en œuvre des recommandations RDA avec le DOI

Application à une base de données relationnelle

  • Versionner et historiser les données
    • Horodater chaque opération d'insertion, de modification et de suppression dans la base de données
    • Garder l’historique de toutes les insertions, modifications et suppressions dans la base de données
    • Stocker toutes les requêtes de sélection ayant vocation à être persistées et citées, plus éventuellement leurs équivalents incluant une opération de tri
    • Générer une clé de hashage pour le sous-ensemble de données résultant de la requête. Cette clé permet de vérifier plus tard que les résultats de la réexécution de la requête correspondent bien à ceux de la requête identifiée et citée.
    • Attribuer  un DOI à la requête pour l’identifier et la rendre citable.

Application à un jeu de données au format CSV

Importer les données au format CSV dans une base de données relationnelle et procéder comme dans le paragraphe précédent

A noter aussi que le groupe de travail RDA a développé le prototype d’une interface de requête Web permettant de capturer les opérations de création d’une requête (sélection, filtrage, tri) et de stocker ces informations  en les associant à un timestamp.

D’autres exemples d’application sont décrits par le groupe de travail dans son wiki : https://www.rd-alliance.org/groups/data-citation-wg/wiki/scalable-dynamic-data-citation-rda-wg-dc-position-paper.html#rdbms

Voir aussi

Certains entrepôts de données proposent un suivi de versions des jeux de données. C’est par exemple le cas des entrepôts de données réalisés avec la technologie Dataverse. Le futur portail des données de l’INRA est réalisé avec Dataverse et proposera cette fonctionnalité. Chaque jeu de données (fichiers de données + métadonnées) publié est associé à un DOI et une empreinte digitale permettant d’attester de la fiabilité (authenticité et intégrité) des données.

  • En cas de changements mineurs (ajout ou modification de métadonnées qui ne changent pas la citation), une version mineure du jeu de données est créée
  • En cas de changement majeur (ajout ou modification de métadonnées qui changent la citation, ajout ou suppression de fichiers de données), une version majeure du jeu de donnée est créée et est associée à une nouvelle empreinte digitale.
  • Dans tous les cas, le DOI ne change pas et renvoie vers la page descriptive de la version la plus récente du jeu de données ; l’entrepôt offrant la possibilité d’accéder aux versions antérieures du jeu de données à partir de cette page.
  • Exemple sur le portail Dataverse de Harvard : https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/SUCQ52

Recommandations RDA : https://www.rd-alliance.org/system/files/RDA-DC-Recommendations_151020.pdf et

Recommandations DataCite : https://schema.datacite.org/meta/kernel-4.0/doc/DataCite-MetadataKernel_v4.0.pdf

Recommandations DCC : http://www.dcc.ac.uk/resources/how-guides/cite-datasets#sec:versions