Atelier Accès aux données - octobre 2024

Accès aux données

Illustration de Lison Bernet pour Data Terra, ici, pour illustrer les services d'accès aux données (en jaune dans la partie illustrée). Crédits Data Terra/Lison Bernet

Organisation: Dimitry Khvorostyanov - Jean-François Piollé et équipe ODATIS

Date: du jeudi 10 octobre (début 9h30) au vendredi 11 octobre 2024 (fin à 16h)

Lieu : en présentiel dans une salle de l'Institut polaire français Paul-Émile Victor (IPEV), Technopôle Brest-Iroise, à Plouzané; et via visioconférence (lien Zoom)

Objectifs :

  • Avancer sur la standardisation des services de données dans les CDS, en lien avec DataTerra et les grandes infrastructures Européennes,
  • Construire une feuille de route et un plan d'implémentation des services à implémenter dans chaque CDS pour l'accès aux données par les utilisateurs externes ou au sein des infrastructures de calcul et environnements VRE,
  • Identifier les points de blocage

Les responsables des CDS et leurs référents techniques sont particulièrement sollicités pour cet atelier, afin d'évaluer la faisabilité (notamment temps/ ressources nécessaires) de la mise en place de ces services, et la coordination de leur implémentation.

Les organismes partenaires financeront directement les missions de cet atelier dans le cadre de leur engagement dans les activités du pôle ODATIS.

jeudi 10 octobre 2024

9h30 Introduction à l’atelier : objectifs, conclusions attendues, organisation - Dimitry Khvorostyanov
  Présentation de l’architecture Gaia Data - Joël Sudre
Exigences vis à vis des pôles
Analyse du « système » ODATIS
09h45 Restitution du questionnaire - Caroline Mercier, Jean-François Piollé
10h10 Analyse du catalogue Sextant - Mylène Lorre-Guidt
Analyse du niveau d’information fourni pour chaque entrée du catalogue sur l’accès aux données : disponibilité d’informations claires d’accès aux données numériques, accès direct ou pas, protocoles proposés,... 
Session Protocole d’accès interopérables
10h45 Protocole OpenDAP - Leo Le Lonquer
Intérêt, utilisation, revue des différentes solutions d’implémentation (ERDDAP, THREDDS, HYRAX,...), quelles solutions pour quels types de données, quelles limitations ...?
11h05 Protocole S3 - Cyril Germineaud
Intérêt, utilisation, déploiement, perspectives  
11h20 Protocoles OGC d’accès aux données (WMS/WCS/WFS/WMTS)  - Mickael Treguer 
Evolution vers OGC API - Dimitry Khvorostyanov
11h50 Benchmark - Gwenaël Caër
Analyse de l’accès et du subsetting de données via différents protocoles
12h10 Perspectives VRE - Jean-François Piollé
Intégration des données ODATIS au sein des environnements VRE
Pause déjeuner  
  Intégration VRE / Catalogue ODATIS - Clémence Cotten, Michael Treguer
Catalogue de services et outils; du catalogue au notebook, comment plonger le plus rapidement dans les données  ?
Session Implémentation 1
14h00

Revue des différents CDS ou SNO : Etat des lieux sur l’accès aux données, niveau d’information sur ce qui est nécessaire dans le cadre ODATIS / Gaia Data 
15h15

Discussions

  • choix (ou confirmation du choix) des protocoles pour permettre un accès 
  • analyse des difficultés d’implémentation, solutions possibles
  • réplication de données sur les infrastructures Ifremer ou CNES 
  • définition d’une roadmap

vendredi 11 octobre 2024

Session STAC
9h30

Présentation de STAC - Julie Le Vu, Cyril Germineaud, Gwenaël Caër
Présentation de la norme, utilisation d’un catalogue, illustration de quelques cas d’implémentation sur différentes collections de données (STAC statique), exemple d'utilisation du catalogue STAC de Copernicus Marine Service
10h00 Introduction à l’atelier STAC: objectifs, définition de la granularité, exercice, validation,...
10h10 Définition de l'atelier STAC
Il est demandé aux participants de définir un catalogue STAC statique correspondant à un jeu de données typique de chaque filière de données de son CDS.
  Restitution : catalogue STAC ODATIS
Intégration des différentes contributions de l’atelier dans une prototype de catalogue
  Discussion / Roadmap
  • complementarité/recouvrement avec le catalogue ODATIS : comment résoudre cela ?
  • implementation de serveurs dynamiques et mise à jour des inventaires
  • interconnection des serveurs dynamiques
 Session Catalogue ODATIS
  Modèle de landing page standardisée - Cyril Germineaud, Caroline Mercier
Quelles informations (communes et spécifiques à chaque CDS) afficher sur la landing page, quelle URL, quel bandeau représentative du pôle et CDS (image)  ... ?
Conclusion
16h00 Fin de l'atelier technique

Prérequis

Il est demandé à tous les distributeurs de données de remplir le questionnaire sur les accès aux données au plus tard le 5 Octobre, accessible depuis l'onglet "Questionnaire" ci-après.

Un autre pré-requis pour l’atelier pour les experts techniques des CDS est de se documenter sur les spécifications STAC  ("SpatioTemporal Asset Catalogs"). Une partie de l’atelier visera à décrire un prototype statique (au format json) de catalogue STAC, en  essayant notamment d’y décrire un ou des jeux de données type de votre  CDS. Le but est en particulier de déterminer le domaine d’applicabilité de ce standard mais aussi d’homogénéiser le niveau de détail et les pratiques pour des données relativement similaires. STAC permet d’éditer  un catalogue statique (c’est-à-dire un fichier YAML) qui est la configuration idéale pour du test, par rapport à l’API dynamique (qui s’appuie sur un index en base de données, Elasticsearch ou autre).

STAC ("SpatioTemporal Asset Catalogs") permet une description exhaustive de collections de données allant jusqu’aux fichiers composant cette collection, et aux autres ressources associées (quicklook, liens d’accès, services, …) suivant un format et une API standardisés (à la différence par exemple d’Opensearch). Il se précise comme service structurant dans GAIA DATA pour permettre aux utilisateurs la recherche de données.

Ressources utiles sur STAC

Un questionnaire a été soumis aux Centres de Données et Services en amont de cet atelier pour établir un état des lieux de chaque CDS en terme de stockage des données et des services ou protocoles déjà en place; ainsi que des questions pour évaluer la familiarité des gestionnaires de données avec le catalogue STAC. Ce questionnaire a fait l'objet d'une restitution pendant l'atelier.

  1. Bocande Stéphane
  2. Cariou Valérie
  3. Carval Thierry
  4. Chantal Ameline (excusée)
  5. Cotten Clémence
  6. Drouineau Ludovic
  7. Gatti Julie
  8. Germineaud Cyril
  9. Gwenaël Caër
  10. Hoebeke Mark
  11. Jarno Ronan
  12. Khvorostyanov Dimitry
  13. Le Lonquer Léo
  14. Le Vu Julie
  15. Lhuillier Romain
  16. Lorre-Guidt Mylène
  17. Marandel Florianne
  18. Merceur Fred
  19. Mercier Caroline
  20. Pertuisot Cécile
  21. Piel Steven
  22. Piollé Jean-François
  23. Pouvreau Nicolas
  24. Quimbert Erwann
  25. Sudre Joel
  26. Thomas Amandine
  27. Treguer Mickael
  28. Vernet Marine

© Odatis 2025   - Tous droits réservés