Réunions tous les mardi des semaines impaires !

LES OUTILS DE CHEMHOUSE
- Espaces partagés :
Espaces collaboratifs

TODO list :

Réunion ChemHouse 10/09/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Alexandre Mallet, Matthieu Lesnoff, Virginie Rossard, Gilles Chaix, Eric Latrille, Céline Chauvergne, Maxime Metz, Martin Ecarnot, Valentin Avit (en cesure avec Martin E à AGAP).
Visio : JM Roger, Silvia Mas

ODJ :
- internationalisation  CheMoocs
- NIRS et R CIRAD
- point page wikipedia

1. Wikipedia/chimiométrie
https://fr.wikipedia.org/wiki/Chimiom%C3%A9trie
En août, il y a eu de nombreuses contributions du groupe.
Un point important est la nécessité de mettre de nombreuses citations libres et accessibles. On peut ajouter facilement des références de façon automatique oou de manuellement. Il faut seulement que les références soient vraiment accessibles. Apparemment, des robots font cette vérification.

2. Accueil de Silvia Mas
Nouvelle chargée de recherche recrutée à ITAP dès octobre 2019 et qui rejoint le groupe ChemHouse.
Spécialiste MCR-LS et dans les méthodes de résolution en modélisation.

3. Chemflow : codes source
Plus de fichiers sur le projet chemflow sur source-up (forge RENATER).
Question : ne vaudrait il pas le coup de mettre les sources sur Git-Hub (groupe INRA) et dans le Git de l'INRA.
L'idée rendre publique les codes (publiés mais pas utilisés, exemple  CovSel)
La méthode  CovSel a été publié mais sans donner le lien vers les sources.
La librairie SPA disponible dans le cran de R, est beaucoup plus utilisée que covsel, alors que beaucoup moins bien ;-) .

4. Discussion interpolation de spectres : simufilter / quid cm-1 vs. nm / choix du filtre gaussien
Constat : changer d'un appareil, logiciel on a des spectres en nm, cm-1, résolution différente
L'acquisition en IRTF se fait en cm-1, puis éventuellement interpolée en nm
Les microspectro + spectro en barrette de diode/ réseaux en nm
La résolution peut varier selon la gamme
Pour simulfilter, il faut se baser sur la résolution optique de l'appareil.
-> améliorer chemflow : ajouter une bibliothèque de filtres en fonction des appareils utilisés.
Par exemple, avec un FOSS, qui génère un spectre avec un pas d'acquisition de 2 nm, c'est assez illusoire car dans le NIR on est plutôt autour de 10 nm.

5 . Mise en ligne des comptes-rendus des réunions ChemHouse : il n'y a pas eu de nouvelles mises à jour depuis septembre 2018 alors que nous avons fait un compte-rendu toutes les deux semaines, donc au moins 25 réunions !!! Pour éviter qu'il y ait trop de pages de compte-rendu ChemHouse sur le site https://wikis.cdrflorac.fr/wikis/Chemoocs/wakka.php?wiki=CReunions , je propose (Eric) qu'il n'y ait qu'une seule page de compte-rendu remise à jour arpès chaque réunion.






Réunion ChemHouse 27/08/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Matthieu, Jean Michel, Belal, Maxime, Gilles
Visio : Céline, Alexandre

ODJ prochaine réunion :
- demander à JC des éclaircissements sur planemo (être plus élaboré que trouver deux valeurs dans un fichier…)
- voir pour chemomics le pourquoi du manque de réactivité des métabo
- questions / HélioSpir (Gilles)
- page wikipedia
- article  ChemFlow

1- Demander à JC des éclaircissements sur planemo (être plus élaboré que trouver deux valeurs dans un fichier…)
En l'absence de Jean Claude point reporté à la prochaine réunion

2- Voir pour chemomics le pourquoi du manque de réactivité des métabo
En l'absence de Jean Claude point reporté à la prochaine réunion

Une des hypothèse c'est qu'il n'existe pas de communautés, de structurations comme pour la chimiométrie
Voir si il existe des communautés en analyse de données métabolomiques, apparemment non
Gilles contacte Bertrand Gakière , Françoise Gilard de http://ips2.u-psud.fr/fr/plateformes/spomics-interatome-metabolome-transcriptome/pmm-plateforme-metabolisme-metabolome.html

Quelques plateformes métabo :
https://www.pluginlabs-universiteparissaclay.fr/fr/entity/915200-ips2-plateforme-metabolisme-metabolome
https://www.lrsv.ups-tlse.fr/metatoul/
http://joliot.cea.fr/drf/joliot/Pages/Plateformes_et_infrastructures/Infrastructures_nationales_biologie_sante/METABOHUB.aspx
https://www.metabohub.fr/donnees/partenaires/copie-de-plateforme-exploration-du-metabolisme-pfem-clermont-ferrand.html

Plusieurs key notes speakers à trouver :
conf historique et conf pratique dans les deux domaines
1 historique en métabo
1 en étude de cas métabo

1 historique en chimiométrie - (Douglas)
1 RMN par chimio - (Douglas)
1 étude de cas en chimio - (JMR)

idées de tarifs:
140 € pour INRA  SupAgro Irstea
400 € autres organises publique recherche enseignement
800 € privés
Pour UMR CIRAD

3- Discussions sur la définition de la chimiométrie / Page wikipedia / article  ChemFlow
Ne pas définir la chimiométrie par les outils qu'elle utilise, mais par les questions scientifiques qu'elle se propose de résoudre

Spectro Infra-rouge (SPIR)
Variables peu sensibles (très corrélées)
Différentes sources de variations
Approches historiques : Réduction de dimension (recherche de la dimension réelle)
Progressivement : adapation d'approches connotées "machine learning"

ML : 3 pistes à étudier pour la LOCAL-PLS :
  • réglage des modèles
  • choix de la métrique / pondération (pertinence)
  • interprétation des modèles (examen des b-coeffs)


4- Questions / HélioSpir (Gilles)

https://docs.google.com/spreadsheets/d/142Gl3rE5T5ont54VfeLw5mTQ_uPOAAXizw09UWdjmiw/edit#gid=151538265

Premier jour :
  • présentations générales (matin)
  • tables rondes + TP (après midi)
Deuxième jour :
  • conférence classique
Dans les présentations générales, il y a des personnes qui seront chargées de faire un historique :
  • JMR la chimiométrie à travers les âges
  • Sylvie : applications industrielles
  • B Barthes : sols
  • Fabrice : Applis agro
  • Martin : Imagerie hyperspectrale
  • Ryad : Evolution des techno spectro
  • Denis Bastianelli : Applications animaux
  • Gilles Chaix : Applications bois


5-Autres points:

Maxime Ryckewaert pourrait faire une repet de sa thèse lors d'une réunion ChemHouse
Soutenance 7 novembre 2019.
Pan-sharpening
Objectif:
image RGB haute définition, dimension spectrale pauvre
image hyperpectrale basse définition, dimensions spectrale riche
fusion information, démélange, ASCA (plusieurs classes, spectres projetés sur le design)
application phénotypage mais (phénotypage avec camera moindre cout)



Réunion ChemHouse 13/08/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : JMR, Martin E, Belal
Visio : Alexandre M, Virginie R


ODJ :
- Divers
-  ChemoMics
-  ChemFlow
- Wikipedia
- thèse Maxime Ryckewaert

1.Chemomics
Lien vers les documents : https://drive.google.com/drive/folders/1hxPfFvQQh-sn1eW0UKfRrkpnf_l1HBsR
École chercheur, du lundi 18 14h au 21 12h novembre 2019 à Sètes (34) au Lazaret.
2 communautés vont se rencontrer : métabolomique et chimiométrie
But: apprendre sur l’autre communauté. Implique de bien connaître le sujet de sa propre communauté
Programme équilibré entre les 2 communautés.
Jour 1 aprem : mettre à niveau des personnes de l’autre communauté via des études de cas. On mise sur des présentation basée
sur la technologie emprunté aux 2 communautés comme la spectro de masse pour la métabo et côté chimiométrie le NIR. 1 cas
commun pourrait être étudié comme la RMN avec les différences d’approche entre les 2 communautés.
JMR peut faire une présentation sur l’étude de cas sur la chimiométrie et NIR.
Douglas est cibler pour une intervention "RMN et chimiométrie".
En attente du côté métabolomique.
Jours 2 et 3 : barcamp : discussion et réflexions sur 1 sujet pendant 2-3 heures. Faire le point de l’état de l’art. Normalement on ne
  • définit pas les sujets en avance mais pour attirer des gens à s’inscrire on va définir quelques grands sujets comme la sélection de variables,
  • les prétraitements, etc…

2 Keynotes : histoire de la chimiométrie (Douglas) et de la métabolomique (?)
Les personnes impliquées côté métabolomique : melanie.petera@inra.fr (même équipe que Franck), franck.giacomoni@inra.fr (métabolomique & bioinformatique),
  • marie.tremblay-franco@inra.fr (informaticienne admin sys métabolomique), Julien.Boccard@unige.ch (chimiométricien & métabolomicien),
  • yann.guitton@oniris-nantes.fr (métabolomicien & W4M galaxy)
Pourquoi pas intégrer Rémi Servien (mathématicien & métabolomicien) ?
Question à soulever lors de la prochaine réunion : Les collègues côté Metabolomique ne répondent pas beaucoup. Deux hypothèses :
  • La communauté “métabolomique” n’existe pas comme celle de chimiométrie ; c’est à dire qu’elle ne contient que des utilisateurs, des statisticiens et des informaticiens
  • Il existe une communauté, que l’on n’a pas bien identifiée

Article du journal Metabolomics:
https://link.springer.com/article/10.1007/s11306-019-1567-5
Discussion sur l’existence d’une communauté de métabolomiciens. Si elle existe, par quoi est-elle caractérisée
(outils, compétences, différences avec les chimiométriciens...).
Si elle n’existe pas, nécessité de la créer ?
Exemple d’articles métabolomiques :
Title : Symbiosis of chemometrics and metabolomics: past, present, and future
Editor : Journal of Chemometrics, May 2005
DOI : 10.1002/cem.941
Authors : Jan van der Greef, Age K. Smilde

https://onlinelibrary.wiley.com/doi/abs/10.1002/cem.941
Title : Harnessing the complexity of metabolomic data with chemometrics
Editor : Journal of Chemometrics, November 2013
DOI : 10.1002/cem.2567
Authors : Julien Boccard, Serge Rudaz

2. ChemFlow
Serveur (Virginie) : est en train de monter le nouveau serveur en écrivant un script d’installation. Problème pour gérer les différentes version d’OS.
Discussion sur le fait de n’utiliser qu’une version d’un OS, et également une version de chaque programme (Scilab, R, …) pour éviter de gérer les mises à jour.
Toulouse à Génotoul : plus de place fin 2019
EIC MTP : fin de service pour chemflow en dev
Strasbourg France Grille : jerome.pansanel@iphc.cnrs.fr : serveur en production actuelle
Montpellier France Grille : Nicolas.Clementin@umontpellier.fr : serveur en production future, clone ancien serveur, serveur en dev

Outils (Belal) :
travaille sur les tests des outils avec l’outil planemo : https://crs4.github.io/Galaxy4Developers/lectures/08.building_galaxy_tools/
Les prétraitements sont quasiment tous finis.
Belal fait une démo avec le wrapper MSC. Le test ne passe pas pour un problème de package R, semble t il.
REMARQUE : le test est basé sur l’occurrence de 2 valeurs dans le fichier de sortie. JM trouve que cela est très fruste.
Il faudrait mettre en place des procédures de test plus élaborées, respectant le cdc de la chimiométrie

Etude des différentes fonctions de tests dans galaxyproject : https://docs.galaxyproject.org/en/latest/dev/schema.html
Refaire des tests plus complexes qui permettent vraiment de tester nos programmes : JMR.
Outils à faire ou bogues à corriger : https://docs.google.com/spreadsheets/d/1OZ5q8fpRJfwkghXdwr2xeOlWBx6qMbvjXmNHX0Jm6tY/edit?usp=sharing
Article : https://docs.google.com/document/d/1c8xaya1sw5uakrKSXOcFbo_oeFNg8ofrI54zSB_uFmA/edit?usp=sharing
mail via chemflow + la prochaine fois

3.Wikipedia
https://fr.wikipedia.org/wiki/Chimiom%C3%A9trie
-Chacun d’entre nous prend en charge en paragraphe :
Virgie : logiciels / langages
Jean-Michel : prétraitements
Martin : méthodes non supervisées
Alexandre : Applications
RV dans 15 jours pour un premier résultat.

4.Divers :
- PAD en panne !!!! Virgie a envoyé un message à  SupAgro Florac :
Service Ressources & dynamiques collaboratives <supagro-agents-florac-ressources@supagro.inra.fr>
- Martin sera dans un comité de thèse de Pauline Robert (INRA Clermont) avec Vincent Segura ; il devrait arriver à la rentrée dans l’équipe vigne à Montpellier
Sélection génomique : prédire le rendement par les variables génétiques
Sélection phénomique : prédire le rendement par des variables spectrales, avec une calibration aussi robuste qu’une information génomique





Réunion ChemHouse 30/07/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Nathalie, Maxime, JC, Jean-Michel, JCB, Gilles, Mathieu, Belal
Visio : Éric, Alexandre, Céline, Virginie

ODJ :
  • retour sur la conférence "useR"
  • recensement des accueils, et plus généralement des indicateurs
  • subsides par le Département NUMM (demande de C Guizard)
  • controverse sur la définition de la chimiométrie / ce qu'elle contient...
- point Chemomics (JCB)
- avancées Chemflow (JCB)

1. Retour sur la conférence "useR"
  • Conférence à Toulouse, sur 3 jours, organisé en partie par Rémi Servien qui rejoint le LBE. 3 ateliers :
    • visualisation de données à haute dimension
    • les modèles non linéaires (global non linear models)
    • les réseaux bayésiens
  • Kevin et Alexandre feront un retour plus formel le 10 septembre
2. Recensement des accueils

3. Subsides par le Département NUMM (demande de C Guizard)
Le département NUMM propose des aides pour des animations de réseaux
Faire des propositions d'une présentation de ChemHouse (1 page) pour septembre
Demander un modèle vierge

4. Définition de la chimiométrie
Handbook of chemometrics de Douglas : la chimiométrie est souvent affiliée au NIR.
- nature des données = très important (spectro vibrationnelle: UV, VIS ,NIR, MIR, Terahertz, Raman, RMN, fluorescence)
- la chimiométrie peut être vue comme un outil de traitement de signal utilisant de l'algèbre linéaire (ou des outils statistiques).

JMR : Y mesuré en fonction de Y pred
EL : Y pred en fonction de Y mesuré
D'une façon générale, l'erreur sur les Y n'est pas constante mais suit une loi qui dépend de Y. Une façon de faire de la PLS, en connaissant cette loi, serait de faire une PLS pondérée.
Nous pourrions le faire sur les données d'analyse de carbone dans le sol (données spectrasol).
Où en est-on de la page wikipedia sur la chimiométrie ?

JMR a déposé sur son compte Github une toolbox "chemhouse" qui regroupe les scripts d'une publi.

5. Chemomics
Deux réunions en juillet :
  • le petit groupe de chimio + correspondants en Metabo. Difficulté de construire un programme, car contraire aux barcamps
  • première journée : formations croisées. Présenter des exemples de traitement. Deux exemples sur des technos qui nous rassemblent (RMN), deux exemples qui nous singularisent (MS <-> NIRS).
  • 1 volontaire RMN haut champ et 1 données proche infrarouge 45 minutes d'exposé. Idée : inviter Douglas

RMN au champ : http://www.theses.fr/2018MONTS081
:-)








Réunion ChemHouse 24/07/2019, 16h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Jean-Michel, Maxime, Mathieu L, Lorraine,
Visio : Éric, Alexandre, JCB, Céline , Belal, Bastien

ODJ :
  • accueil doctorante de Rennes : Lorraine AWHANGBO

Sujet de thèse : Capteurs Optiques pour le suivi et le contrôle du procédé de METhanisation (COMET)

Paramètre le plus suivi en proche IR : AGV (PLS et ACP)
Deux méthodes d'acquisition: soit avec deux fibres (contact avec l'échantillon) ou sans contact avec l'échantillon avec une sonde polarisée
Mesures effectuées biologiquement : AGV, amonium, graisses...

Méthaniseur : problèmes survenus : lorsqu'il y a une forte augmentation d'AGV, il y a une rupture de la production de méthane (par ajout de substrats trop sucrés, trop gras...)
ERIC : attention : l'augmentation d'AGV diminue le pH, et cette diminution de pH donne la rupture de la production de méthane.
Si le pH était controlé, il n'y aurait peut-être pas de rupture de production de méthane malgré l'augmentation des AGV.
Attention : il faut faire la différence entre biogaz et méthane

Prédiction par PLS : séparation en jeu de validation et jeu de test : mauvaise prédiction
Analyse multiblocs : SO-PLS : avec la même séparation de jeux : prédiction largement améliorée mais est ce que le jeu de test a une influence ?

Surveillance du procédé : mesure du Q ou T² d'une ACP pour prévenir des anomalies :
  • ACP statique
  • WPCA (dynamique)
  • RPCA





Réunion ChemHouse 16/07/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Virginie, Céline, Éric, Jean-Michel, Alessandra, Belal, Maxime M, Gilles, JCB
Visio : Alexandre


ODJ :
  • good news
  • So-Covsel (Alessandra)
  • Accueil doctorante de Rennes : Lorraine
  • Mécénat : sanofi
  • Postes
  • recrutement poste permanent IRSTEA
  • GEOC : rencontre vendredi 19 juillet


1. Good news :
  • Alessandra va à l'Université de l'Aquila, à partir du 1er août, en tant que chercheuse en chimiométrie et en chimie analytique

2. SO-Covsel - Présentation d'Alessandra
SO-PLS : Thesis of Alessandra
C'est une méthode de sélection  CovSel pour le multi-block qui est sensible à l'ordre de présentation des blocks. C'est un avantage si on a un a priori sur un ou des blocs qu'on veut mettre en avant.
 CovSel : Method developped at Irstea

Scheme :
  • selection of N1 variables from block1
  • orthogonalization of the blocks 2... wrt the selected variables
  • selection of N2 variables from block2
  • etc.

Two examples :
  • Hazelnuts and NIRS
  • Health of aged peoples

Remarques :
  • * Why not to do MB- CovSel (nov 2019) or MB-MW-Covsel (nov 2020)
  • * JMR pourra nous parler de multiblock dont chaque bloc est constitué d'un pré-traitement particulier et différent

3. Accueil Lorraine AWHANGBO
Sa thèse : IR pendant la digestion anaérobie sur le digestat
https://chemom2019.sciencesconf.org/data/21_chemom2019_LorraineAwhangbo.pdf
doctorante avec Fabrice BELINE à Rennes, coencadré par Ryad Bendoula
multibloc IR
Multi tableaux : IR et analyses en ligne (débit, gaz)
Pas de traitement du temps.
Lorraine, que nous accueillerons à ChemHouse, présentera ses données et ses premiers résultats, le mercredi 24 à 16h. Une visio sera organisée.

4. Point mécénat
4.A. Rencontre avec SANOFI jeudi 4 juillet
Objet : demande de mécénat d'entreprise
5 personnes de SANOFI, de services différents. A priori intéressés.
Géraldine Penarié : innovations, analyse données
Jean Hollier : caractérisation état solide, 3D
Marion Berger
Marylin Calderane: génie pharmaceutique, changement d'échelle
Olivier Monnier: sécurité procédés, mise au point procédés, IR, Raman, colorimétrie, analyse en ligne, intégration données
- une piste évoquée : prendre sur le budget formation
- mécénat de compétence : peut être si temps partiel
Sont en période de restructuration...

4.B. Autres
Buchi ?
Brucker : mail par un contact, Régis, puis téléphoner l
Tonnellerie Radoux : niet
Total ? IFP-EN ?
Master OPEX : Yves Lijour

5. Evolution ChemHouse

5.A. Fusion Irstea INRA
ChemHouse dans l'INRAE ? rattaché à COMIC - ITAP donc du département scientifique NUMM, futur département MIA (Mathématiques et Informatique Appliquées).
JM a parlé à H Monod, qui est Ok pour que NUMM abrite l'atelier inrae de chimiométrie.
ONIRIS avec Mohammed ? Rattaché à BIA.

5.B. Postes
Silvia Mas, chargé de recherche IRSTEA 1er Octobre 2019
Florent Abdelghafour (IAE IRSTEA) sur imagerie, dont hyperspectral - début 2020
Rémi Servien - CR INRA (depuis 2011, mathématicien - métabolomique RMN) - EA : 1 septembre 2019 : exposé de son projet (avec ses compétences) + un autres exposé scientifiques comme sPLS.
Travaille avec nous depuis longtemps sur  TyPol : typologie des micropolluant : classif + pls avec mixomics avec NA et des y avec 7 à 10 variables.
Thèse sur  TyPol au LBE : Kevin Bonnot
Pour la prochaine réunion ChemHouse, retour de la conférence "useR" par Alexandre et Kevin B.

6. GEOC, Galaxy Extra  OmiCs
Groupe de travail autour de galaxy à l'INRA : réunion à clermont ferrand vendredi 19 juillet
ODJ :

  • * mode de fonctionnement de GEOC

  • plein d'argent (pour 2 ans) : 40000€, mais pas du CDD

  • moitié Toulouse, moitié Narbonne

  • à Toulouse, ils vont sous traiter

  • à Narbonne, il faut trouver quelqu'un qui pourrait travailler chez Ondalys, ITE ou avec la personne de Toulouse qui travaillera sur Record.

  • * livrables de GEOC et soustraitance / stagiaires.

  • Ateliers

  • * les paquets Conda et le toolshed

  • * dockorisation et dépôt sur dockerHub. L'exécution se fait en Singularity par une conversion à la volée de l'image docker en image Singularity.

  • * les interactives environnement sur Galaxy : quel type d'infrastructure est-il nécessaire d'avoir afin d'avoir les ressources suffisantes pour faire fonctionner en simultanée plusieurs utilisateurs ?


7. Atelier  ChemFlow
Installation d 'une VM planemo









Réunion ChemHouse 02/07/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents :Bela, Maxime, Jean-Claude, Jean-Michel, Berenice Houinsou Houssou, Alex, Giles C.
Visio : Virginie, Céline

ODJ:
  • présentaiton Berenice Houinsou Houssou sur des données spectrales

1) Berenice Houinsou Houssou- TGU BIA à Nantes
technicienne INRA Nantes

  • > protéines végétales / casquette spectroscopie (plutôt MIR mais aussi Fluo/Vis/NIR)

projet Greenprotein: quantité de protéine de Rubisco, extraite pure = WR
Pic de proteines confondu / polyphenol : protéine=max280nm, avec impuretés = max 260nm
les contaminants = polyphénols
en dessous de 230nm: saturation -> zone non utilisée
Donc comment extraire le signal des proteines
packages mdatools, R pour faire l'ACP et hyperspec
séparation de sources: NMF non negative matrix factorization
polyphénols: max à 260nm
protéines: max à 280nm


100 spectres 10 mélanges (taux de protéines variable) de 10 variétés
MCR sur les 100 spectres pour avoir les spectres purs, et concentration / confrontées aux données connues
CLS


2) point Chemomics
Annonce Save the Date
- Réunion le 5/07 ; écouter les demandes spécifiques des collègues Metabo pour en tenir compte dans le programme
Se concentrer sur les sujets de la première journée

- JCB a vu Robert Sabatier ; intéressé par Chemomics. Participera à la réunion du 5.

3) programme chemflow de demain: on fait quoi ?





Réunion ChemHouse 18/06/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Maxime, Belal, Alexandra, Gilles, JCB, Mathieu, Martin
Visio : Virginie, Alex, Eric, Céline


ODJ :
  • exercices pour  CheMoocs
  • retour Minorque :
  • chemomics



1. Retour Minorque - Maxime
TPLS parait interessante
Jeu de données avec des nombres de variable et d'individus différents
En gros des tableaux avce des données manquantes. Ca serait intéressant de comparer à l'algo NIPALS qui fait des régressions sur données manquantes.
Local  SoPLS (F. Marini)
So- CovSel (Alessandra)
-Ajout de certains poster de la conférence chimiométrie de Minorque à l'espace rénatere.

2. Chemomics
JCB: Discussion avec J Bocard 13/06 pour Chemomics (+ C Lebegue)
Nouveau RDV pour le 5 juillet pm, avec F Giacomoni
voir le cas des régressions locales non implémentées dans Chemflow
D'ici le 5, faire un modèle de présentation de Chemomics-> projet Virginie+JC
Lundi: cours, rappels
Le mardi -mercredi, les personnes proposent des sujets et travaillent dessus ensemble (2-4) personnes

Thèmes proposés:
  • Validation croisée
  • OPLS (beaucoup utilisée en Metabolo)
  • Sparse PLS
  • Faire des calculs avec des données manquantes
  • Estimer un intervalle de confiance des prédictions.

  • Groupes de développement de wrappers pour rendre les outils  ChemFlow et W4M compatibles pour le format des données.

  • Approches locales (régression, discrimination) : potentiellement utile pour metabolomique ?

  • Réseaux de neurones : est-ce que les approches locales sont compétitives avec le deeplearning.


Suivant Alexandre Dehne Garcia, il y aurait une personne du LIRMM qui ferait une évaluation pour les bornes wifi. Prévoir une visite du Lazaret.
Organiser une visite JCB : courant Septembre au plus tard juste après HélioSpir le 15 octobre.
Voir serveur de secours (pc portable) voir avec W4M :: est-ce qu'Alexandre le fournit ou est-ce qu'on achète cette machine à 2000€ environ ? EL

3. Exercices de Chemoocs.

- données: publier, avec un DOI. Il faut reprendre les données de  ChemProject et vérifier que les auteurs sont d'accord.
- il faut aussi reprendre les données des challenges de P.Dardenne : JCB a déjà une dizaine de jeux de données.
Nous avons prévu la date du 16 juillet pour faire un atelier de démarrage des publications des données.
Sur le pad de chemoocs, il y a déjà la liste des données de  ChemProject, il faut la compléter des données des challenges.

- Nouveaux exercices pour le MOOC
Concerne seulement les exercices de compréhension.
Il parait nécessaire de toujours accompagner les consignes d'aides pour la réalisation sous  ChemFlow
Gilles propose un excercice d'ACP sur du bois
Pad chemoocs : http://pad.cdrflorac.fr/p/chemoocs



Réunion ChemHouse 04/06/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Belal, Matthieu, Jean-Claude, Maxime, Eric L, Céline C
Visio : Virginie, Alex, Jean-Michel

ODJ :
- exposé scientifique: simulation des données (Maxime M)
- retour sur les journées du réseau NIRS-INRA des 27 et 28 mai 2019 à Lusignan (VR, CC, EL, JMR, Gilles ?)
- Implication de ChemHouse dans l'initiative de comparaison interlabo Nirs INRA/IRSTEA/CIRAD (Eric L, Virginie R) : coordination et traitement des données, notamment transfert d'appareils et repfile.
-> Possibilité de prendre un stagiaire UTC ou master OPEX à partir de septembre 2019 (Myriam Huart).
- AG MIA
- début des inscriptions le 4 juin 2019 de Chemoocs 4° saison chapitre 1 qui commencera le 30 septembre 2019. : VENDREDI 7 juin 2019 15h au LBE et visio
- Recrutement d'un CDD de 6 mois dans le cadre de GEOC (Galaxy Extra Omic Community) pour coder des wrappers (EL, VR, JCB) : REPORTE
- point sur  ChemoMics : REPORTE


1. Exposé scientifique: simulation des données (Maxime M) pour le congrès chemomiometricum à Minorque du 12 au 14 juin
http://www.chemiometricum2019.org/
Comparer des méthodes de simulation
Simuler pour comparer des méthodes de chimiométriques par ex PLS avec MLR.
But : simulation de spectres pour avoir + de spectres pour construire un modèle

2. Retour sur les journées du réseau NIRS-INRA des 27 et 28 mai 2019 à Lusignan
Pub pour ChemHouse, conséquence : demande de Berenice pour avoir de l'aide à analyser ses données : MIR
Financement = 100% sponsors 0% INRA
Même besoin en chimiométrie -> Chemhouse = équivalent du réseau NIRS INRA ?
LBE va être rattaché au département CEPIA futur Transform
Nouvelle recrue au LBE : Rémi Servien mathématicien (département INRA- AlimH) arrive en septembre : http://www.biostat.envt.fr/remi-servien/
Jean Paul Charpentier a initié de faire une comparaison interlabo Nirs INRA/IRSTEA/CIRAD : coordination et traitement des données, notamment transfert d'appareils et repfile.Ce serait l'objectif du réseau Nirs INRA pour 2 ans
Coordination par ChemHouse + GEVES Le Magneraud Patricia Lem ?
-> Possibilité de prendre un stagiaire UTC ou master OPEX à partir de septembre 2019 (Myriam Huart).
Echantillons stables ... en coupelles scellées ?
Chaque labo a des modèles donc tous les appareils sont la références : orthogonalisation.
Les modèles sont détenus par d'autres partenaires voir des privés.
1er but : faire une BD d'échantillons.
Chaque labo pourrait faire l'acquisition des spectres; échantillons "stables" il n'a pas été évoqué la question des cellules scellées -> un travail de préparation est nécessaire
2 idées :
  • petit projet avec 30 échantillons basés sur le bénévolat pour voir si le projet est intéressant pour faire un projet à plus grande échelle
  • grand projet avec 700 échantillons avec embauche d'un CDD
Stockage des spectres : jdx avec métadonnées sur  ChemProject ou  ChemFlow
Echantillons avec les valeurs de références Y
L'intérêt global de ce projet est de partager des données afin de rendre plus robustes les modèles et de développer des stratégies de regroupement d'informations d'origines diverses.
But : produire des erreurs de prédiction.
Céline, financée par BFF, est en train de faire un transfert d'appareils entre LBE Narbonne, SELMET Baillarguet et IJPB Versaille.

=> Nous pourrions nous contenter de faire évoluer  ChemFlow en ajoutant  RepFile et toutes les méthodes de transfert de spectres et de modèles.
Nous pourrions le faire faire par le CDD GEOC de 6 mois.

Patricia prendra en charge d'animation des test et la sélection des échantillons.

3. AG MIA
Hervé Monod CD de MIA (NUMM) -> Chemhouse peut être inter-département, piloté par le département NUMM
collègues de Nantes (Mohamed, Evelyne, Benoit) : pas vus à MIA-NUMM; ils pourraient se raccrocher à Chemhouse


4. Début des inscriptions de Chemoocs 4eme saison (4 juin 2019) qui commence le 30 septembre 2019
Réunion vendredi 7 juin à 15H pour la préparation (JCB, EL, VR, JMR, AM, CC) en visio



Réunion ChemHouse 21/05/2019, 9h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : JMR, Belal G, Alessandra, Maxime M, Virginie R, JCB, Alex M, Gilles C, Matthieu L, Alice C, Martin E, Jordane L, Eric L, Celine Chauvergne
Visio : Abderamane A, Bastien Z

ODJ : séminaire incertitudes
  • SP->JMR : Exposé introductif de Sébastien (biblio, expressions analytiques, ...)
  • ML : MSEPs : Intro sur les concepts généraux et application à la sélection de modèles
  • JMR : Méthode de propagation d'erreur dans les modèles
  • ML : L'approximation du  Chi2 pour la distribution du Msep_test
  • JMR : Application aux images hyperspectrales
  • JMR : Lecture commentée de l'article UNCERTAINTY ESTIMATION AND FIGURES OF MERIT FOR MULTIVARIATE CALIBRATION

1. SP : Exposé introductif de Sébastien Preys et Jordane (biblio, expressions analytiques, ...) en duo avec JMR
L'intérêt d'avoir une incertitutde pour faire du monitoring et de la décision.. Un autre intérêt est de calculer la limite de détection.
L'incertitude de la prédiction d'une nouvelle valeur est la somme de l'erreur sur le modèle et de l'erruer due à la mesure d'un spectre.
On a une équation simplifiée lorsque l'erreur de modèle est du même ordre de grandeur que l'erreur de mesure. On obtient une erruer qui est approximativement la différence entre le MSEC et SEL2.
Unscrambler utilise une formule simplifiée améliorée pour la prédiction d'une nouvelle valeur, en se basant sur le leverage du point.
Pour le calcul de l'erreur, on peut aussi utiliser des methodes de bootstrap et jack-knife qui sont des méthodes de rééchantillonnage qui évitent d'utiliser les formules analytiques.

2. ML : MSEPs : Intro sur les concepts généraux et application à la sélection de modèles
Dans la littérature, on trouve beaucoup de cadres théoriques complètement différents : risuqes quadratiques, Bayes, théorie de l'information.
De plus, il n'y a pas de vocabulaire standardisé et commun : les notations ne sont pas assez explicitées.
Il y a deux phases : premièreement, le MSEP pour faire de la comparaison de modèles et de la sélection de modèles. Ensuite, lorsque le modèle est choisi, on fait du modèle assessment (évaluation de modèle) pour estimer l'erreur d'une nouvelle prédiction.
Le MSEP est la somme d'une variance (SEL due à la mesure de référence) et d'un biai au carré.
Les performances des modèles sont basées sur les fonctions de perte (Loss function) conditionnellement à un training set (ensemble de points d'apprentissage).
On estime l'erreur avec le MSEP sur le training set dont l'estimateur est le MSECV.
Comparaison leave-one-out et k-fold validation croisée.
Le one standard-error rule en faisant de la repeated k-fold, mais il y a beaucoup d'hypothèses et de raccourcis.

3. JMR : propagation d'erreurs dans les modèles
On suppose une erreur de mesure des spectres due à des variations externes telles que la température, la présentation d'échantillons, la granulométrie, ...
On calcule une matrice de variance-covariance des spectres en répétant n fois le même échantillon. Cela permet de prendre vraiment en compte l'aspect multi-varié des modèles PLS.
On distingue la variation due à l'échantillonnage (sample specific error) de la variation due à la répétition de l'acquisition spectrale (repeatability error).
Par exemple, le pré-traitement dérivée seconde réduit les bruits additifs et réduit la structure de SIGMA(x) la variance-covariance des spectres.
En fait, les prétraitements permettent de réduire l'influence du bruit et de rendre plus prédictible l'intervalle de confiance d'une prédiction.

En conclusion, il faut faire des répétitions de spectres afin d'observer l'erreur : c'est un indicateur de la difficulté à prédire cet échantillon.

4. ML : L'approximation du  Chi2 pour la distribution du Msep_test
On cherche la distribution conditionnelle du MSEP.
Pour le calcul de l'intervalle de confiance, il y a différents choix suivant que la loi de distribution est symétrique ou pas. On peut s'en sortir avec une technique de bootstramp à la condition d'avoir assez d'échantillons pour être représentatif de la distribution sousjacente.
Une application du chi2 est la comparaison de modèles à différentes variables latentes en faisant le rapport de chi2, on obtient un Fisher. C'est correct car les modèles sont emboités.






Réunion ChemHouse 07/05/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Jean-Michel Roger, Gilles, Max, Belal, JCB, Martin
Visio : Alexandre, Virginie

  • ODJ :
    • mettre en pratique les méthodes présentées dans ChemHouse (ME)
    • mission au réseau NIRS (Virginie, demander à JCB carte 4G, BD spectres Nirs)
    • poster  HelioSPIR au réseau NIRS (Gilles & Virginie)
    • organisation de mardi 21 mai : séminaire incertitudes (JMR)
    • 14 juin 2019 "calcul as a service"⁩
    • news sur le mécénat
    • Exposé : analyses de données à conduire à ChemHouse (Gilles)

A FAIRE :
  • LBE => contacter Buchi : avoir un rdv !!!!

CR :

1. mettre en pratique les méthodes présentées dans ChemHouse (ME)
  • Mettre en pratique des nouveautés : Quand on présente une méthode, essayer de l'appliquer chacun à ses propres données puis mettre en commun.
  • > proposer un rebond aux exposés scientifiques :
    • après un séminaire scientifique, que chacun reparte avec du boulot. Par exemple, à l'issue d'une présentation méthodologique, quelqu'un pense avoir des données bien adaptées pour la tester, alors un groupe de travail se crée.
    • après la présentation de données, différentes méthodes sont appliquées à ces données.

2. organisation de mardi 21 mai : séminaire incertitudes sur les prédictions individuelles
Exposé de J Lallemand sur le bootstrap: incertitude sur les prédictions individuelles.
5 Exposés : Matthieu 2, JMR 1+1 publi, Sébastien 1
début 9h - fin 16h00 / Repas sur place, pâtes
Salle Bibliothèque ITAP
Programme (par exemple 20' exposé + 20' discussion):
  • SP : Exposé introductif de Sébastien (biblio, expressions analytiques, ...)
  • JMR : Lecture commentée de l'article UNCERTAINTY ESTIMATION AND FIGURES OF MERIT FOR MULTIVARIATE CALIBRATION
  • ML : MSEPs : Intro sur les concepts généraux et application à la sélection de modèles
  • JMR : Méthode de propagation d'erreur dans les modèles
  • JMR : Application aux images hyperspectrales
  • ML : L'approximation du  Chi2 pour la distribution du Msep_test

REPAS auberge espagnole : chacun amène sa sauce !! Dessert !
On fait des pâtes, chacun vient avec une sauce
Gilles Fromage
JC pain
Seb : sauce des pâtes : huile d’olive, anchois, persil.

3. Réseau NIRS-INRA 27 et 28 mai 2019 à Lusignan
On aura du  WiFi ; plus un répéteur. 50 participants => 25 par atelier.

Ateliers croisés, sur EPO d'un côté (JMR) et sur bases de données (EL) de l'autre (données spectrales accessibles sur internet existantes) :
  • EPO :
    • 30' de table ronde, 20' d'exposé théorique, 40' TP/Demo  ChemFlow
  • EL :
    • parlera des différents formats de stockage et des importations / exportations
    • animera un TP d'échange de données
    • TODO : envoyer vos liens urls si vous connaissez des accès aux données (vs FAIR) : INRA infoSol, dépôt CEPIA de spectres IR istockm, data des challenges IDRC, congès de chimiométrie,  ChemProject, zenodo !
Papier de JB Feret (IRSTEA) : Estimating leaf mass per area and equivalent water thickness based on leaf optical properties: Potential and limitations of physical modeling and machine learning.
Plusieurs bases pésentées:

Base de données challenge IDRC 2016 :

https://www.worldagroforestry.org/sd/landhealth/soil-plant-spectral-diagnostics-laboratory/soil-spectra-library

4. Poster  HelioSPIR au réseau NIRS (Gilles & Virginie)
Au dessus de structure :
  • logo Objectif : Société savante de la spectro proche infrarouge, OU promouvoir la spectro proche infrarouge
Dans un rond au dessus des tables rondes, autre rond avec stage master, Keynote speaker internationaux, constructeurs,

5. Point sur le mécénat
Revoir les adresses postales de la liste des contacts : https://docs.google.com/spreadsheets/d/1fizdvZWqNF-XVPmpfPnliu0jOljjIvI6DgCLlUL-YtM/edit?usp=drive_web&ouid=110481948775218102328
Téléphoner et aller voir les personnes !
Tel à Regis.Cinier de bruker puis à un contact.

si-ware : boite israelienne, botros.george@si-ware.com

LBE => Buchi : avoir un rdv !!!!

Douglas, JMR,

6. Journée INRA-IRSTEA Calcul as a service Vendredi 14 juin 2019 à Paris au siège de l'INRA

IRSTEA = solutions Microsoft pour le général + village Gaulois à Lyon qui met à dispo du calcul scientifique via une forge
A IRSTEA de Lyon, Virginie connait nicolas.raidelet@irstea.fr via le projet  SeqBase.
dire qu'on a besoin d'eux (ex: via Geoc)

Mail : "

  • Réservez votre date du 14 juin 2019, et rejoignez-nous à Paris (au siège de l'Inra), pour une journée Calcul que nous espérons riche en échanges et retours d'expériences. Les DSI Irstea et Inra, l'unité Inra Ingenum vous proposent une rencontre afin d'échanger autour de vos pratiques et besoins en calcul scientifique.


  • Depuis plusieurs années, l'Irstea met à disposition des ressources en calcul. Demain, le nouvel institut souhaite pouvoir apporter un meilleur service à l'ensemble de la communauté scientifique réunie.


  • D'ores-et-déjà, faites nous part de vos idées de sujets autour de cette thématique par retour de mail à l'adresse de la journée : calcul.14juin2019@irstea.fr !


  • Le comité d'organisation :

  • Gérard HENRY - Irstea - Responsable de la plateforme de calcul

  • Jérémy VERRIER - Irstea - Administrateur de la plateforme de calcul

  • Marc LELIEVRE - Irstea - DSIN - Responsable pôle infrastructures

  • Stéphane PARIS - Inra - DSI - Responsable des infrastructures collectives

  • Alexandre DEHNE GARCIA - Inra - INGENUM - Référent du pôle calcul

  • Caroline MARTIN - Inra - Adjointe à la Directrice des Systèmes d’Information

  • Eric MALDONADO - Irstea - Porteur de la mission Système d'Information Géographique


Objectif : témoigner et avoir qqch...
On a intérêt à montrer notre activité relative à  ChemFlow.
Participants : JCB + EL?

  • présenter un ppt sur  ChemFlow : bilan et besoins

Envoyer notre sujet à calcul.14juin2019@irstea.fr

Objectif : besoin commun en calcul scientifique en chimiométrie, métabolomique, etc. Il nous faut un poste !!

7. Exposé : analyses de données à conduire à ChemHouse (Gilles)








Réunion ChemHouse 23/04/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : JCB, Matthieu L, Belal G, Martin E, Maxime M, Karima M, Gilles C
Visio :
Tél : JMR

CR :
- Chemoocs: Comité de pilotage la semaine dernière:
  • 2 chapitres : automne 2018, et fevrier 2019, environ 1600 inscrits à chacune
  • Problème : Quiz à fort taux de mauvaises réponses : ajuster au niveau des apprenants
  • Session 4 prévue, meme formulation: non supervisé en octobre et supervisé en fevrier

  • Propositions d'amélioration: constituer des groupes d'apprenants. Pourquoi pas une "plateforme" pour que les gens sachent qui est proche géographiquement et se réunir


- Mécénat: aller voir des entreprises -> adresses
pour des actions type : innovation formation, chemooc, ... pouvoir prendre des CDD
JC + Eric -> Buchi
Gilles Chaix + JM -> Bruker
JC+JM+Eric -> Sanofi
Arvalis ?
Adisseo ?
Fabrice -> FOSS ?
réunion Chemhouse avec équipementiers lors d'Héliospir (14-15oct19)
Gilles voit Thomas Giordanengo (Radoux-Nicolas Mourey, Sciage du Berry)

Gilles -> changer d'équipe avec JL Verdeuil ; mais long
donc viendrait à Chemhouse pour y travailler -> le bienvenu :)
Gilles a des données à mettre à dispo : spectros Héliospir / CTIFL / nombreuses données sur bois.
Gilles fera une présentation lors d'une prochaine réunion sur les questions les plus brulantes qu'il souhaite traiter

- Chemomix : retour reçu ce matin même, réunion avec les Metabo le vendredi 26 au matin.

- Intervention de collègue CEFE-CNRS
Kevin Sartori (thèse) Justine Bresson (cdd) équipe Ecopar, Cyril Violle
w avec Martin depuis plusieurs années
Etalonnages de l'azote dans les feuilles d'Arabidopsis
Comparaison PLS, OSC, SVM





Réunion ChemHouse 09/04/2019, 10h
Lieu : IRSTEA salle ITAP ORIENT
Présents : JMR, Matthieu L, Karima M, Eric L, Virginie R, Martin E, Maxime M, Belal G JCB
Visio : Alex M, Bastien Z

Odj :
  • Chemomics
  • Tournage des vidéos  CheMoocs à Florac
  • ChemHouse: proposition d'intervention de collègue du CEFE-CNRS
  • conférence chimio2019 : dernière publication
  • Karima : presentation d'une revue bibliographique sur l’application de l’imagerie hyperspectrale appliquée aux cultures et produits RTB (Root, Tuber and Banana).
  • Eric L : point sur le réseau NIRS-INRA des 27 et 28 mai 2019 à Lusignan. Les interventions de JMR, EL et Ryad et les ateliers de travail. Avez-vous des idées pour le contenu des ateliers qui se feront en parallèle ?
  • Eric L : chantier des bases de données spectrales et des formats de données.
  • ME : Journée "Sélection phénomique multi-espèces" 5 avril à Clermont Ferrand
    • JC: Discussion autour de Chemflow :
      • Les publications évoluent. Avant, n'existaient que les publis papier où on trouvait tout : les données, les matériels et méthodes, les résultats.
      • Une première étape de dissociation est intervenue avec les documents joints, disponibles en ligne.
      • Avec l'accroissement du volume et de la quantité de données, couplé aux demandes d'une "science ouverte", il est expressement demandé de publier les données à part, de manière à ce qu'elles soient accessibles (FAIR). On peut même faire une publi avec uniquement les données: "data papers".
      • Entre les publis qui se concentrent sur les résultats et les datacenters qui regroupent les données, il manque un chainon : celui des outils qui permettent d'analyser les données pour refaire ce qui est décrit dans les publis. C'est particulièrement vrai pour les développements d'outils de chimiométrie.
      • Il y aurait certainement un créneau à prendre, avec une version dédiée de Chemflow dédiée à la chimiométrie.
      • Ref avec le dessus : Retour sur la journée d'hier à Toulouse "Les autorités des données" (FAIR, PGD, RGPD, CNIL, etc)

CR :

1. ChemHouse : Martin fait une proposition d'intervention de collègues du CEFE-CNRS (Route de Mende à Montpellier)
Collègues qui se débrouillent mais aimeraient avoir des retours de notre part
Spectres ASD d'arabidopsis : suivi temporel de la feuille au cours de sa croissance
Modèle d'azote et de la masse surfacique de la feuille avec PLS, SVM. Ils travaillent avec le logiciel R.
PLS local librairie resemble https://cran.r-project.org/web/packages/resemble/index.html
Il y a 1 CDD 18 mois Justine Bresson. Nous leur proposons de venir à 11h pendant une heure.

Dans le même ordre d'idée : un projet avec Ryad (CEA) avec une fibre optique sur la boue. Plan d'expérience avec température et l'humidité au cours du temps. Modèle de prédiction de la teneur en eau pendant le séchage. On attend environ 400 ou 500 spectres. ATTENTION le spoints sont hyper dépendant des uns et des autres. 5 températures différentes sur UNE SEULE boue. Données confidentielles.

2. Retour tournage des vidéos  CheMoocs à Florac
  • JC : en janvier et en mars 2019.
  • 4 grains enregistrés : STATIS (Robert), CCSWA (Julien Boccard), PARAFAC, ASCA (Philippe Courcoux)
  • Nouvelles vidéos donc nouveaux outils à coder dans  ChemFlow : presque prêt dans FACT. PARAFAC est déjà sous  ChemFlow (sur le serveur pfptools).
  • Mohamed, multi-tableau, code sous Matlab. Ce serait bien d'utiliser le format de graphe ; le format est difficile mais on pourrait le gérer en hdf5.
  • Est-ce que W4M utilise ce formet hdf5 ?
  • Le projet GEOC du Cati CODEX (INRA) a obtenu un financement en soutien d'état INRA-DTN. Il reste à être transformé en 1 an de CDD 2019-2020.

3.  ChemOmics du 18 au 21 novembre 2019 au Lazaret
  • Dernier mail 27/03/2019 à 20:24 pour caler une réunion à Clermont : pas de réponse !
  • Personnes W4M : Franck Giacomoni, Yann Guitton, Binta Dieme, Mélanie Petera, Marie Tremblay.
  • proposition: 1) demande de retour par VR et EL le 10 avril

  1. les rencontrer à Clermont entre le 21 et le 23 mai, journées RFMF

  • EL a rencontré Alexandre Dehne Garcia (INRA CBGP Montpellier, co-directeur Ingenum) vendredi dernier le 5 avril 2019 à Paris ; sollicité par EL pour l'infrastrucure informatique pour Chemomics : d'après lui, pas de bornes wifi.
  • Roue de secours 1 VM ( VirtualBox)  ChemFlow en routage locale : dimensionner la machine : 16 CPU, 32 Go RAM, 500 Go SSD ; pour Alexandra c'est un portable (environ 2500 euros). Connexion Wifi dépend du nombre de personnes : avec le LIRMM. Le défi est de soutenir plusieurs connexion simultanées. Alexandre va voir.

4.  Chimio2019

5. Présentation Karima
  • revue biblio sur l'application de l'HIS sur culture Roots, Tubers and Bananas

6. Réseau NIRS-INRA
NIRS INRA :  HelioSPIR de l'INRA. Beaucoup de gens des plantes et du sol. Animé par Myriam Huart. Réunions tous les 2 ans.

Ateliers croisés, sur EPO d'un côté (JMR) et sur bases de données (EL) de l'autre (données spectrales accessibles sur internet existantes) :
  • EPO : 30' de table ronde, 20' d'exposé théorique, 40' TP/Demo  ChemFlow
  • EL : envoyer vos liens urls si vous connaissez des accès aux données (vs FAIR). INRA infoSol, dépôt CEPIA de spectres IR istockm, data des challenge CAC, congès de chimiométrie,  ChemProject

LBE Narbonne départ dimanche aprem et retour mardi aprem.

Papier de JB Feret (IRSTEA) : Estimating leaf mass per area and equivalent water thickness based on leaf optical properties: Potential and limitations of physical modeling and machine learning.
Plusieurs bases pésentées:

Base de données challenge IDRC 2016 :

Accès au wifi !

7. Journée "Sélection phénomique multi-espèces" 5 avril à Clermont Ferrand
Tests sur jeux de données NIRS organisée par Renaud Rincent et Vincent Segura (vient à MTP) le vendredi 5 avril à l’INRA de Clermont-Ferrand.
L'idée est de mesurer l'expression du génome par NIRS...
Idée en cours, et discutée à Clermont la semaine dernière :
  • mesurer des spectres d'un même génotype dans plein de configs différentes
  • chercher le dénomminateur commun
  • faire un paralèlle avec le NAS ?


Réunion ChemHouse 26/03/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Ondalys (Sébastien, Jordane, Sandra, Alice) , JMR, JCB, Gillles Chaix, Alex. Mallet, Matthieu, Maxime M, Belal G, Martin
Visio : Virginie, Fabien, Abderramane

Odj :

  • école chercheurs avec nos collègues et amis de métabolomique

  • Méthodes de calcul de l'incertitude associée aux performances de modèles prédictifs (SP)

  • point communication


1 JCB : Chemomics
Idée : école chercheurs mixte Chimiométrie Métabolomique
J’ai sondé le COPIL de W4M et plusieurs collègues spécialistes en biostats seraient intéressés (Binta, Marie, Mélanie, Yann).
Je les ai ajoutés en copie à ton email.
Nous serions preneurs pour faire un point intermédiaire avant de se lancer sur la rédaction des demandes de financement.
dates fixées : 18-22 novembre 2019 - Lazaret (Sète)
18-20 midi école chercheur et éventuellement 21-22 heliospir
W4M : logiciel métabolomique (spectro de masse + RMN) +  UseMetabo : Mooc métabolomique
Principe : mise en commun de temps chercheurs pour faire émerger des idées
Programme :
  • journée 1 : remise à niveau croisée en se servant des Moocs.
  • journées 2 et 3 : barcamp, 2-3 heures de réflexion sur un sujet (ex: PLS locale), puis restitution aux autres groupes
  • Importance de faire des bar camp avec des sujets communs aux 2 communautés
  • exemple de barcamp :
    • sélection de variables. Comment fait on dans chaque communauté? Comment pourrait on croiser les approches / méthodes?
    • benchmarks ; challenges
Calendrier des TODO / Chemomics :
  • JCB, JMR, AAK, VR, EL? : rapidement (avant mi-avril) : réunion avec métabolomiciens
  • Ondalys, ME, JMR, VR : mettre en place le fonctionnement du premier jour :
    • sélection des grains du Mooc (sauter les choses déjà connues)
    • définition du fonctionnement spoc + tutorat
  • ML, JCB, JMR : identifier des sujets de barcamp, à voir plus tard

Présentation de l'outil W4M: https://workflow4metabolomics.org/
encapsulation de xcms dans Galaxy

2 Communication
Poster :
  • VR + Bastien Zennaro
  • beau design
  • chemdata -> à développer

Wikipedia :
  • appel à bonnes volontés
3 Présentation Ondalys :
  • quelle incertitude sur les SEP ?
  • deux techniques :
    • non paramétrique : bootstrap sur le vecteur des prédiction
    • paramétrique : avec distribution du Khi

Réunion ChemHouse 12/03/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : JMR, VR, JCB, MM, BG, GC, ME ,ML, AM
Visio : AAK, LL

Odj :

1. Poster ChemHouse > pour le nouveau département SEPIA (TRANSFORM) le 27 mars, réseau NIRS INRA 27 et 28 mai (Lusignan)
VR projette le poster en cours de construction
Ajouter Pellenc SA/ CIRAD / ...
- être plus synthétique sur le poster:

  • des icones / mots-clefs, pas de phrases

  1. au début il y avait  ChemProject :



  1. Avènement d'un troisième pilier de  ChemProject : ChemHouse

- QR code sur la plaquette
- sur chaque bulle (chemflow, chemhouse, chemoocs), mettre les infos : nombre de particpants chemhouse, date de creation, instituts représentés, lieu de rencontre pour chemhouse
A imprimer le 20 mars


2. André Marcelo de Souza (Embrapa, Brazilian Agricultural Research Corporation)
Mail envoyé à JMR: Solution technologique  SpecSoil
Il veut candidater pour un  PostDoc de l'Embrapa pour etre accueilli à Montpellier
JMR lui fait une réponse du genre :
  • on pourrait être intéressé pour tester nos algorithmes sur sa base de données et publier
  • quel est son projet ?
CV: http://buscatextual.cnpq.br/buscatextual/visualizacv.do?id=K4279250Y0
http://en.specsolo.com.br/specsolo_scan/

3. point école chercheurs, chemomics
JCB
  • lieu : Lazaret, à Sète
  • date : lundi 18 12h au jeudi 21 novembre 14h
  • suivi possiblement par  HelioSPIR
  • cout aux alentours de 700 € public, 1500 privés sauf intervenants
  • mixte avec Metabolomics : traitement de données

  • session barcamp

  • TODO : contacter les collègues metabo (groupe W4M avec le mooc qui va avec

  • prérequis : niveau en chimiométrie (application/développement méthode)

  • à priori : ~ 700 euros par personne / ~1500 euros pour les industriels


4.validation croisée (JMR)
Validation croisée répétée est bien répétable






Formation python 26/02/2019, 14h par Alexandre Mallet
Lieu : IRSTEA salle mosson batiment accueil
Présents : Alex, Maxime, Bastien, Martin, Virginie, Bilal, Sebastien, Sylvie, Jordan, Alice + 2 pers Indatech : Davinia, Fabien
A distance via You Tube : Abderrahmane, Denis Loisel (INRA-LBE)

Suivre la réunion via You Tube : http://youtu.be/57Vv7_Dsg0I

Les documents de la formation sur le groupe chemhouse de renater dans documents partagés

Python commence sa numérotation à 0 comparé avec Matlab où c'est 1.

Pour résoudre des problème en échnage d'argent : https://www.kaggle.com/competitions
Souvent gagné par xgboost https://xgboost.readthedocs.io/en/latest/

Rechercher dans vos applications de votre PC "jupyter notebook" (sous windows, loupe et écrire jupyter)
Décompresser le zip sous vos documents windows (C:\Users\Virginie\Documents\)
Cliquer sur le lien ; ne pas se préoccuper du message d'erreur
cliquer sur "chemometrics_examples.ipynb"
from sklearn. et l'outil vous proposes toutes les fonctions de cette bibliothèque

1 cellule 1 exécution

Dans la bibliothèque sklearn : il a une représentation standard des modèles toujours fit, transform (apply) et predict

X. TOUCHE TABULATION pour avoir les suggestions

Jupyter Hub pour avoir jupyter notebook version serveur

En cross validation préféré la KFold_repeated :
https://scikit-learn.org/stable/modules/cross_validation.html#cross-validation




Réunion ChemHouse 26/02/2019, 10h
Lieu : IRSTEA salle Bibliothèque Minea
Présents : Virginie, Alex, Bastien, Maxime, Maxime, Belal, Martin, Matthieu, JMR
Visio : Eric L, JCB, Abderrahmane

Odj :
  • accueil Kevin Alazet, Pellenc ST
  • journée nirs à Lusignan les 27 et 28 Mai 2019
  • site web Chemhouse
  • poster chemhouse pour fin mars CEPIA
  • prochaine réunion avec Marion Berger Sanofi le 12 mars 2019 !
  • Chemoocs
  •  ChemFlow
  • École Chercheurs
  • exposé : PAN Sharpening (MR)

1. Accueil dans le groupe ChemHouse Kevin Alazet, Pellenc ST
1er mecene  SupAgro Fondation de chemproject.
Kevin est à Pertuis dans le Luberon à Pellens ST (150 employés).

2. Journée nirs à Lusignan les 27 et 28 Mai 2019
Ce réseau nirs INRA est un lieu de rencontre des utilisateurs de la spectro infra-rouge à l'INRA.
Au menu de ses 4e rencontres :
-Les thèmes abordés :
  • *La problématique de la gestion des bases de données (Eric Latrille)
  • *La fiabilité et répétabilité des spectres et des prédictions associées : quels en sont les facteurs de variabilité ?
  • *La SPIR en milieu liquide et l’orthogonalisation (Jean-Michel ROGER)
-Des communications orales des membres du réseau seront programmées
-Des posters seront à découvrir lors des pauses et du buffet dinatoire en présence des équipementiers.
-une AG : le futur de notre réseau avec la fusion INRA /IRSTEA, les membres de l’IRSTEA seront invités à ces 4e rencontres.

Pouvons nous former un groupe autour des BD spectrales pour initier l'activité de chemdata ?
  • BD existante, utilisable (oui, non, pourquoi ?)
  • partage d'expérimentations (Ref  SpectraSol)
  • BD personnelle de spectre
  • publication des données,  DataServe: dataverse, github, etc
  • CIRAD : BD commune pour faire le transfert de spectres entre unités sur les fourages. L'idée était de centraliser toutes les données spectrales. Ils ont juste recenser l'équipement au CIRAD. Car plusieurs problèmes frainent cette avancée :
Problème technique : problème de métadonnées standardiser sur quelle référence, le transfert,
Problème humain : chercheur ne veut pas partager,
Problème copyright : qui est propriétaire de la donnée ; il faut anonymiser.
Si on automatise, les gens feront moins de calibration...
  • Solutions de fournisseurs de spectro
  • JMR travaille pour la fondation de "Sucrerie"
  • FOSS calibrator (ni plus ni moins qu'un  WinIsi centralisé) + FOSS Monitor qui gère chaque année les différents spectro et cela fonctionne dans le monde du lait et des céréales.
  • Expérience du CRA-W sur les transferts d'étalonnage et de la gestion des données de blé.
réseau Authentnet: http://www.authent-net.eu/ traçabilité des produits au niveau Européen
- Limagrain : il ré-étalonne à chaque spectro.
Faire un tableau d'avantages et inconvénients de toutes ces solutions de transfert.
Quand on a suffisemment de données on ré-étalonne mais le problème en recherche pas forcément le cas.
  • autre acteur:  BioEnTech qui a un site de dépôt de spectres et qui calcule des prédictions
    • base de données sol de Infosol et les autres bases de données INRA :
https://agroenvgeo.data.inra.fr/geonetwork/srv/fre/catalog.search#/metadata/9cbb5079-9e54-455e-8a9b-7c6477f6ed63
http://www.gissol.fr/

Groupe de travail ? p.ex. page wiki Renater pour réfléchir sur les bdd, exposer des solutions différentes avec avantages/inconvénients
Personnes impliquées : Eric, Martin, Virginie, Alex
Contacter : Gilles, Denis
Position paper : voir avec Pierre Dardenne

3. Poster ChemHouse
Occasion : journée du département scientifique INRA Transform du 25 mars et inscription et séminaire CEPIA 26-28 Mars
+ recycler au réseau INRA nirs en mai
Il faudrait présenter ChemHouse comme on voudrait que ce soit. Une auberge espagnole de traitements de données ou un lieu de séminaire.
Ce n'est pas un lieu où on traite des données mais un endroit où les gens viennent traiter leurs données.
Actuellement, il n'y a personne pour traiter les données des autres : c'était le rôle qu'aurait du faire l'ingénieur INRA prévu par le département EA. Mais, ce poste n'a pas été ouvert.
Forge de  CheMoocs et  ChemFlow : ce sont les choses concrètes qui sortent de ChemHouse.
Le replacer dans le cadre de  ChemProject

Réseau, facilitateur d'échange, conseils et traitement de données :
NIVEAU 1 : aide sous forme de webinaire : 5min de présentation sur ses données puis 15min de discussion avec chemhouse.
NIVEAU 2 : accueil de stagiaires / thésards / chercheurs : on peut aussi accueillir la personne avec ses données dans nos bureau Chemhouse pendant 1 semaine. Retour : article ou argent ou rien.
NIVEAU 3 : sous forme d'ateliers : 26 février formation python, 26 mars atelier chemflow.
Animation scientifiques + Recherche avec les thésards.
Constitution d'un réseau : se servir de chemouse comme facilitateur de réseau, pour monter des projets.

Relecture des articles !

Groupe : Bastien, Virginie, Eric.
Des dessins comme le teaser de Chemoocs.

4. Site Web Chemhouse