Analyse et reproduction d'article scientifique

Objectifs

Ce travail cherche à évaluer votre capacité à exercer un esprit critique et méthodologique en mobilisant les concepts abordés en cours et les connaissances et compétences acquises.

Dans ce but, vous aurez à produire un document d'analyse et de compte rendu expérimental correspondant au cahier des charges ci-dessous.

Démarche générale

  1. Identifier un article scientifique publiquement accessible (ou accessible à travers les abonnements de la BU)
  2. Valider que le niveau de complexité, que la problématique abordée et les techniques et méthodes utilisées sont en adéquation avec le cours.
  3. Valider que le code source et les données expérimentales sont accessibles et disponibles pour une reproduction expérimentale. À défaut, vérifier si le code n'est pas disponible sur papers with code ou des sites équivalents.
  4. Lire, analyser et comprendre l'article.
  5. Reproduire les résultats décrits ; comparer et analyser les résultats obtenus

À rendre

Le produit final à rendre est composé d'un rapport écrit et un dépôt git du code produit avec les scripts d'exécution et un mode opératoire technique (p.ex. comportant des instructions pour télécharger les données expérimentales) dans un fichier README.md à la racine du dépôt git.

Attentes sur le contenu du rapport

Le rapport écrit (en anglais ou français) doit comporter les parties suivantes :

  1. Une présentation générale de l'article étudié comportant

    • La référence citable avec DOI de l'article
    • une présentation des auteurs (affiliation, travaux significatifs antérieurs)
    • un résumé succinct de l'article (sujet abordé, techniques utilisés, contributions générales du travail) de type abstract

  2. Une analyse approfondie des algorithmes et architectures de réseaux de neurones utilisés avec description et étude du protocole expérimental décrit dans l'article :

    • que teste-t-on ?
    • quelles métriques/mesures sont effectuées ?
    • sur quelles données ?
    • effectue-t-on une étude d'ablation (dans le cas de réseaux de neurones profonds)

  3. Un compte rendu de la reproduction/réplication expérimentale des résultats décrits dans l'article, avec une analyse critique personnelle (le tout dans un dépôt git accessible).

    • description technique du fonctionnement global du code avec scripts de déploiement sur Romeo ;
    • description des difficultés rencontrées (modifications du code suite à des changements de versions de librairies, upgrade de certaines librairies et incompatibilités, nécessité de ressources spécifiques, temps d'exécution...);
    • description des ajustements ou modifications nécessaires pour faire fonctionner le tout ;
    • comparaison chiffrée et étude d'écart avec les résultats annoncés dans l'article.

  4. Conclusion et apports personnels du projet.