Services aux producteurs de données
Proposer une infrastructure distribuée de données et des services avancés
Le Pôle Océan ODATIS fédère au niveau national des activités de gestion des données et d'expertise scientifique pour promouvoir et faciliter l'utilisation des observations océanographiques. Les CD, centres partenaires du Pôle ODATIS offrent la garantie de services sur la gestion des données en terme de référencement, d'hébergement, de diffusion et d'interopérabilité.
L’enjeu est donc de définir des socles communs à l’ensemble des producteurs de données et de rendre interopérables les jeux de données afin que leurs ressources soient cohérentes, partageables, exploitables et dans une approche multidisciplinaire que requiert l'étude du système Terre, que les données soient capables d'être combinées entre elles.
Le Pôle Océan ODATIS propose plusieurs offres de services à destination des producteurs de données pour aider à l'implémentation des principes FAIR : contribuer à rendre les données plus visibles et accessibles en étant référencées dans le catalogue ODATIS, mieux tracées et citées via une identification unique (DOI) et préservées sur des entrepôts sécurisés (archivage hors ligne). Ces différents services sont résumés sur l'illustration ci-contre et accessibles dans les sous-pages de cette section.
Pour toute question relative à ces services de gestion et valorisation de la donnée, merci d'utiliser le formulaire "Contact".
Le pôle Océan ODATIS conseille plusieurs entrepôts capables d'attribuer des DOI en fonction des types de données et des situations. Toutefois, d'autres entrepôts spécifiques à un organismes, une thématique, une communauté peuvent être intéressants également. N'hésitez pas à solliciter l'équipe du pôle Océan ODATIS pour vous aider à trouver l'entrepôt le plus adapté à vos données.
Seanoe
Seanoe est un entrepôt de données marines. Il est recommandé d'utiliser cet entrepôt dans le cas de données inférieures à 100 gigas, plutôt de type données brutes (csv, images, …).
La création d'un compte pour le dépôt se fait de manière autonome et permet d'obtenir rapidement un DOI. Les dépôts de chercheurs français sont visibles dans le catalogue ODATIS.
Sextant
Sextant est un entrepôt et catalogue de ressources marines sur lequel repose le catalogue de données du pôle Océan ODATIS. Il est recommandé dans le cas de jeux de données d'un volume supérieur à 100 gigas et pour des données géographiques (Shapefiles, NetCDF, …). Sextant est également utile pour la création de DOI sur des ressources : logiciels, scripts, librairies, …
Pour publier des données dans Sextant, il est possible soit de créer des fiches de manière autonome grâce à un compte utilisateur, soit dans le cas de dépôt ponctuels, de renseigner un fichier qui sera utilisé pour la création d'une fiche. Dans les deux cas, veuillez contacter Clémence Cotten, responsable du catalogue ODATIS.
IPT Data Terra
L’Integrated Publishing Toolkit (IPT) proposé par Data Terra et hébergé par GBIF France, permet de publier des jeux de données biologiques vers le GBIF en format Darwin Core. Un DOI est alors créé sur le jeu de données avec une fiche de métadonnées en format EML qui est ensuite moissonnée par le portail international des données de biodiversité marine OBIS. Il est recommandé d'utiliser cet entrepôt pour des données standardisées de biodiversité (occurences, ADN environnemental, …).
Pour obtenir un compte permettant de déposer des données sur l'IPT Data Terra, contacter Clémence Cotten.
Outils et logiciels
L'expertise technique du Pôle Océan ODATIS permet d'offrir un ensemble d'outils et de logiciels, mis à disposition des producteurs de données et des utilisateurs afin de traiter, comparer, extrapoler, visualiser et valider un ensemble de données afin que ces dernières puissent être valorisées dans des publications de recherche et des rapports ou être introduites dans des modèles (visualisation à long terme, prévision climatique, etc.).
Plus d'information sur ces outils et logiciels
TREX - cluster de calcul du CNES
Le Centre de Calcul du CNES est doté d'un ensemble d'infrastructures et de services dédiés au développement et à l'exécution d'algorithmes de calcul intensif ou de traitement de données massives. Pour le calcul, la plateforme de traitement haute performance nommée TREX est composée de plus de 16 000 coeurs de calcul.
Cet ensemble, mis à la disposition des ingénieurs et chercheurs travaillant sur des projets spatiaux en lien avec le CNES, répond déjà aux besoins de plus d'un millier d'utilisateurs et de projets opérationnels. L'accès à cette plateforme et ses resssources est possible avec des partenaires extérieurs, et notamment pour des projets scientifiques du pôle ODATIS. Par exemple, des sessions de travaux pratiques organisées au cours d'ateliers techniques ODATIS ont bénéficié de cet accès.
Les utilisateurs peuvent s’appuyer sur un ensemble de logiciels déployés sur cette plateforme de calcul, tel Pangeo.
L'accès aux ressources du centre de calculs du CNES est possible sur description et motivation détaillées de votre projet en lien avec ODATIS. Nous vous remercions de prendre contact via ce formulaire; en précisant dans l'objet "HAL - calcul intensif".
Plus d'information:
- sur le site du CNES : Centre de calcul
- sur le site ODATIS, présentation de P.M. Brunet lors de l'atelier technique ODATIS, en octobre 2018: Présentation du projet Datalake CNES
DATARMOR - cluster de calcul de l'Ifremer
DATARMOR est la plateforme de traitement haute performance du Pôle de Calcul et de Données pour la Mer, notamment composée d'un cluster HPC de plus de 11088 cœurs et d'une capacité de calcul de 426 Tflops.
Plus d'information
- sur le site ODATIS: présentation de Julien Meillon lors de l'atelier technique ODATIS n°13, en juin 2022 : Services DATARMOR
- sur le site du Pôle de Calcul et de Données pour la Mer: équipement, données, exemples d'utilisation, ....
Support pour un plan de gestion de données
Le Pôle Océan ODATIS propose aux producteurs de données un accompagnement pour l’élaboration et la mise en pratique d'un plan de gestion de leurs données (en anglais, DMP pour Data Management Plan). Pour toutes questions relatives au plan de gestion des données, merci d'utiliser le formulaire Contact en précisant dans le champ Sujet: "Support pour un plan de gestion de données".
Objectif du DMP : Le plan de gestion de données est un élément clé pour la mise en œuvre de bonnes pratiques de gestion et rendre les données FAIR; il permet de définir et de mettre en place les actions indispensables pour gérer les données qui vont être collectées ou produites au cours d’un projet. Ces plans de gestion des données sont de plus en plus demandés dans les appels à projets financés sur fonds publics, notamment européens.
Et concrètement, un DMP prend quelle forme ? Il s'agit d'un document de quelques pages qui décrit comment les données produites sont obtenues, décrites, documentées, protégées, partagées, disséminées et conservées, tout au long du cycle de vie du projet. Les grands thèmes suivants sont décrits : Description des données et collecte; Documentation et qualité des données; Stockage et sauvegarde pendant le processus de recherche; Exigences légales et éthiques, codes de conduite; Partage des données et conservation à long terme; Responsabilités et ressources en matière de gestion des données.
Ce document est évolutif, modifiable au cours du projet et à l'issue du projet.
Plusieurs modèles adaptés peuvent être proposés en fonction des besoins propres des producteurs de données : modèle ANR, Horizon H2020, ... Votre propre organisme de rattachement peut aussi proposer un modèle pour rédiger le DMP.
Le site DMP Opidor offre un outil d'aide à la création en ligne et affiche les DMP publics.
Exemples de DMP: Parmi les DMP qui intéressent la communauté océanographique, les DMP rédigés par l'IR ILICO pour ses 9 services d'observation sont accessibles à partir du tableau ci-dessous.
Plus d'information
- Contactez le pôle ODATIS pour toutes questions relatives au plan de gestion des données : Contact
- Une formation de l'INIST est accessible en ligne pour se préparer à la rédaction d'un plan de gestion de données : enjeux et objectifs d’un PGD, contenu et rédaction, DMP OPIDoR : un outil d’aide à la rédaction de DMP. Durée : 1h30, sans niveau pré-requis. Les supports de cette formation sont téléchargeables : Bonnes pratiques de rédaction et outils (pdf, 25 pages).
Support sur les conditions d'utilisations des données
Les jeux de données référencées par le pôle ODATIS via son catalogue de données, sont soumis à des conditions d'utilisation : droits d'accès et licence d'utilisation.
Ces conditions d'accès sont choisies par chaque producteur de données.
Le groupe de travail Interpôles incluant le Pôle Océan ODATIS encourage la mise en place de la licence Creative Commons déterminant des conditions de réutilisation des données tout en apportant une sécurité juridique aux auteurs de ces données. Plusieurs options peuvent se combiner avec les éléments suivants : attribution-paternité (votre nom est cité lors de toute utilisation), partage dans les mêmes conditions, pas de modification, utilisation non-commerciale, ...
- Domaine public, pas de droits d'auteur (CC 0)
- Attribution (CC BY)
- Attribution + Pas d’Utilisation Commerciale (CC BY-NC)
- Attribution + Pas de Modification (CC BY-ND)
- Attribution + Pas d’Utilisation Commerciale + Pas de Modification (CC BY-NC-ND)
- Attribution + Partage dans les mêmes conditions (CC BY-SA)
- Attribution + Pas d’Utilisation Commerciale + Partage dans les mêmes conditions (CC BY-NC-SA).
Toutefois, chaque producteur de données peut également définir d'autres contraintes d'accès en fonction de ses propres besoins (non-responsabilité des auteurs, embargo ou moratoire, ...).
Pour toutes questions relatives à ces conditions d'utilisation, merci d'utiliser le formulaire Contact en précisant dans le champ Sujet: "Support sur les conditions d'utilisation des données".
Support pour la mise en conformité avec les standards de format
Le format d’un jeu de données est la manière dont les données sont structurées et mises à disposition des utilisateurs et des logiciels capables de les référencer, les manipuler et les visualiser. Pour garantir l'utilisation rapide et efficace des données, il convient que ces formats répondent à des standards. Le choix du format des données répond aussi aux enjeux des principes FAIR; un fichier qui enregistre les données dans un format standard, dont les métadonnées du fichier sont bien décrites par exemple, participe à l'intéopérabilité et à la réutilisation des données (le I et le R des principes FAIR).
Un support à la définition, au formatage informatique des fichiers de données et la vérification de ces standards peut être demandé par chaque producteur de données au Pôle ODATIS. Pour définir vos besoins, nous vous demandons de bien vouloir remplir le formulaire Contact en y décrivant la structure de votre jeu de données : les données en tant que telles mais aussi la structure permettant de les stocker ainsi que les métadonnées permettant de les identifier. Merci de spécifier dans le Sujet de ce formulaire : "Support pour la mise en conformité avec les standards de format".
Plus d'information
- Formats, attributs, conventions : page dédiée sur le site ODATIS, avec lien vers le paragraphe des formats de fichiers recommandés par le pôle.
- support "Utiliser NetCDF" organisé par le SIST, paragraphes Choisir NetCDF : pour l’Interopérabilité (FAIR) et pour la Réutilisabilité (FAIR), 2024
Support pour la production de données
Les missions des Centres de Données et Services (CDS) du Pôle Océan ODATIS intègrent notamment des services d'élaboration de la donnée:
- conception et validation de méthodes innovantes pour des thématiques particulières, et l’élaboration de produits qui en dérivent,
- support via des moyens informatiques pour produire la donnée à partir des mesures et algorithme fournis par le producteur de données,
- développement d’outils généraux (analyses, modèles…) en s'appuyant sur l'expertise spécifique des CDS (voir Outils et Logiciels),
- mise en oeuvre d’activités scientifiques communes du pôle ODATIS (mise en œuvre de moyens de mesures pour des opérations de calibration et validation de produits issus de données satellitaires, modèles et méthodes ; …),
Pour toute question sur ce support, merci d'utiliser le formulaire de la page "Contact" en précisant dans le sujet "Support pour la production de données" et en spécifiant vos besoins le plus précisément possible.
Publications accessibles en ligne
Archimer, l'archive ouverte de l'IFREMER permet d'accéder gratuitement à un ensemble de publications, de thèses, d'actes de congrès et de rapports internes. Cette réalisation s'inscrit dans le mouvement international Open Access qui cherche à rendre accessible, au plus grand nombre, la documentation scientifique en la diffusant gratuitement sur le Web.
Archimer - Archive institutionnelle
Archimer vous propose un accès à des milliers de documents dans tous les domaines liés à l'étude des mers et des océans (pêche, aquaculture, écologie marine, océanographie, géologie marine, biologie marine...).
