Organisation des données avec des feuilles de calcul

Last updated on 2026-11-07 | Edit this page

Overview

Questions

  • Comment organiser des données tabulaires ?

Objectives

  • Découvrez les feuilles de calcul, leurs points forts et leurs points faibles.
  • Comment mettre en forme les données dans des feuilles de calcul pour une utilisation efficace des données ?
  • Apprenez à reconnaître les erreurs courantes dans les feuilles de calcul et comment les corriger.
  • Organisez vos données selon les principes des données ordonnées.
  • Apprenez à utiliser des formats de feuilles de calcul textuelles tels que les formats séparés par des virgules (CSV) ou par des tabulations (TSV).

Cet épisode est basé sur la leçon Data Analysis and Visualisation in R for Ecologists de Data Carpentries.

Logiciels de feuilles de calcul

Question

  • Quels sont les principes de base pour utiliser des feuilles de calcul afin d’organiser efficacement les données ?

Objectif

  • Décrivez les bonnes pratiques pour organiser les données afin que les ordinateurs puissent tirer le meilleur parti des jeux de données.

Point clé

  • Une bonne organisation des données est le fondement de tout projet de recherche.

Une bonne organisation des données est le fondement de votre projet de recherche. La plupart des chercheurs disposent de données ou effectuent leur saisie dans des feuilles de calcul. Les logiciels de feuilles de calcul sont des interfaces graphiques très utiles pour concevoir des tableaux de données et gérer des fonctions de contrôle de la qualité des données très basiques. Voir également Broman and Woo (2018).

Plan de la feuille de calcul

Les feuilles de calcul sont adaptées à l’entrée de données. C’est pourquoi nous avons beaucoup de données dans des feuilles de calcul. Une grande partie de votre temps en tant que chercheur sera consacrée à cette étape de « manipulation des données ». Ce n’est pas le plus plaisant, mais c’est nécessaire. Nous vous apprendrons comment concevoir l’organisation des données ainsi que quelques pratiques pour une manipulation des données plus efficace.

Ce que cette leçon ne vous enseignera pas

  • Comment effectuer des statistiques dans une feuille de calcul
  • Comment réaliser des graphiques dans une feuille de calcul
  • Comment écrire du code dans des logiciels de feuilles de calcul

Si vous souhaitez faire cela, une bonne référence est Head First Excel, publié par O’Reilly.

Pourquoi n’enseignons-nous pas l’analyse de données dans des feuilles de calcul ?

  • L’analyse de données dans des feuilles de calcul nécessite généralement beaucoup de travail manuel. Si vous souhaitez modifier un paramètre ou effectuer une analyse avec un nouveau jeu de données, vous devez généralement tout refaire manuellement. (Il est bien sûr possible de créer des macros, mais voir le point suivant.)

  • Il est également difficile de retracer ou de reproduire des analyses statistiques ou de graphiques réalisées dans des logiciels de feuilles de calcul lorsque l’on souhaite revenir sur son travail ou que quelqu’un demande des détails sur son analyse.

De nombreux logiciels de feuilles de calcul sont disponibles. Comme la plupart des participants utilisent Excel comme logiciel de feuille de calcul principal, cette leçon s’appuiera sur des exemples Excel. Un autre logiciel de feuille de calcul gratuit utilisable est LibreOffice. Les commandes peuvent légèrement différer d’un programme à l’autre, mais le principe général reste le même.

Les logiciels de feuilles de calcul couvrent bon nombre des tâches que nous devons être capables d’accomplir en tant que chercheurs. Nous pouvons les utiliser pour :

  • Saisie de données
  • Organisation des données
  • Sélection et tri de données
  • Statistiques
  • Graphiques

Les logiciels de feuilles de calcul utilisent des tableaux pour représenter et afficher des données. Les données formatées sous forme de tableaux constituent également le thème principal de ce chapitre, et nous verrons comment organiser les données en tableaux de manière standardisée afin de garantir une analyse ultérieure efficace.

Discussion

Défi : Discutez des points suivants avec votre voisin

  • Avez-vous utilisé des feuilles de calcul, dans vos recherches, vos cours ou à la maison ?
  • Quel type d’opérations effectuez-vous dans des feuilles de calcul ?
  • Pour quelles tâches pensez-vous que les feuilles de calcul sont adaptées ?
  • Avez-vous déjà fait quelque chose par erreur dans un programme de feuille de calcul qui vous a frustré ou déprimé ?

Problèmes liés aux feuilles de calcul

Les feuilles de calcul sont adaptées à la saisie de données, mais en réalité, nous avons tendance à utiliser les logiciels de feuilles de calcul pour bien plus que cela. Nous les employons pour créer des tableaux de données destinés à des publications, pour générer des statistiques de synthèse et pour réaliser des figures.

Générer des tableaux pour des publications dans une feuille de calcul n’est pas optimal : souvent, lors de la mise en forme d’un tableau de données pour une publication, nous présentons des statistiques de synthèse clés d’une manière qui n’est pas vraiment destinée à être lue comme des données, et cela implique souvent un formatage spécial (fusion de cellules, création de bordures, embellissement). Nous vous conseillons d’effectuer ce type d’opération au sein de votre logiciel de traitement de texte.

Les deux dernières applications, la génération de statistiques et de figures, doivent être utilisées avec prudence : en raison de la nature graphique et par glisser-déposer des programmes de feuilles de calcul, il peut être très difficile, voire impossible, de reproduire vos étapes (et encore moins de suivre celles de quelqu’un d’autre), surtout si vos statistiques ou vos figures nécessitent des calculs plus complexes. De plus, lors de calculs dans une feuille de calcul, il est facile d’appliquer par erreur une formule légèrement différente à plusieurs cellules adjacentes. Lors de l’utilisation d’un programme statistique basé sur une ligne de commande comme R ou SAS, il est pratiquement impossible d’appliquer un calcul à une observation de votre jeu de données mais pas à une autre, à moins de le faire intentionnellement.

Utilisation des feuilles de calcul pour la saisie et le nettoyage des données

Dans cette leçon, nous supposerons que vous utilisez très probablement Excel comme programme de feuilles de calcul principal — il en existe d’autres (gnumeric, Calc d’OpenOffice), et leurs fonctionnalités sont similaires, mais Excel semble être le programme le plus utilisé par les biologistes et les chercheurs en biomédecine.

Dans cette leçon, nous allons aborder :

  1. Mise en forme des tableaux de données dans des feuilles de calcul
  2. Problèmes de mise en forme
  3. Exportation de données

Mise en forme des tableaux de données dans des feuilles de calcul

Questions

  • Comment mettre en forme les données dans des feuilles de calcul pour une utilisation efficace des données ?

Objectifs

  • Décrire les bonnes pratiques de saisie et de mise en forme des données dans des feuilles de calcul.

  • Appliquez les bonnes pratiques pour organiser les variables et les observations dans une feuille de calcul.

Points clés

  • Ne modifiez jamais vos données brutes. Effectuez toujours une copie avant d’apporter toute modification.

  • Consignez dans un fichier texte brut toutes les étapes que vous suivez pour nettoyer vos données.

  • Organisez vos données selon les principes des données ordonnées.

L’erreur la plus courante consiste à traiter les logiciels de feuilles de calcul comme des cahiers de laboratoire, c’est-à-dire à s’appuyer sur le contexte, des notes en marge, la disposition spatiale des données et des champs pour transmettre des informations. En tant qu’êtres humains, nous pouvons (généralement) interpréter ces éléments, mais les ordinateurs ne perçoivent pas l’information de la même manière et, à moins d’expliquer à l’ordinateur ce que chaque élément signifie (ce qui peut s’avérer difficile !), celui-ci ne pourra pas comprendre comment nos données s’articulent.

Grâce à la puissance des ordinateurs, nous pouvons gérer et analyser des données de manière bien plus efficace et rapide, mais pour exploiter cette puissance, nous devons préparer nos données afin que l’ordinateur puisse les comprendre (et les ordinateurs sont très littéraux).

C’est pourquoi il est extrêmement important de préparer des tableaux bien structurés dès le départ, avant même de commencer à saisir les données de votre toute première expérience préliminaire. L’organisation des données est le fondement de votre projet de recherche. Elle peut faciliter ou compliquer le travail avec vos données tout au long de l’analyse ; il vaut donc la peine d’y réfléchir lors de la saisie des données ou de la mise en place de l’expérience. Vous pouvez organiser vos données de différentes manières dans les feuilles de calcul, mais certains de ces choix peuvent limiter votre capacité à travailler avec les données dans d’autres programmes, ou compliquer leur utilisation par vous-même dans six mois ou par un collaborateur.

Note : les meilleures mises en page et les meilleurs formats (ainsi que les logiciels et les interfaces) pour la saisie et l’analyse des données peuvent différer. Il est important d’en tenir compte et, idéalement, d’automatiser la conversion de l’un à l’autre.

Suivi de vos analyses

Lorsque vous travaillez avec des feuilles de calcul, pendant le nettoyage ou l’analyse des données, il est très facile de vous retrouver avec une feuille de calcul très différente de celle avec laquelle vous avez commencé. Pour pouvoir reproduire vos analyses ou comprendre ce que vous avez fait lorsqu’un évaluateur ou un enseignant demande une analyse différente, vous devriez

  • créez un nouveau fichier contenant vos données nettoyées ou analysées. Ne modifiez pas le jeu de données d’origine, sinon vous ne saurez jamais par où vous avez commencé !

  • Gardez une trace des étapes que vous avez franchies lors du nettoyage ou de l’analyse. Vous devez suivre ces étapes comme vous le feriez pour toute étape d’une expérience. Nous vous recommandons de le faire dans un fichier texte brut stocké dans le même dossier que le fichier de données.

Voici un exemple de configuration de feuille de calcul :

SCreenshot of a spreadsheet and a README.txt file.
Spreadsheet example setip

Mettez ces principes en pratique dès aujourd’hui lors de vos exercices.

Bien que la gestion des versions ne fasse pas partie du programme de ce cours, vous pouvez consulter la leçon de Carpentries sur ‘Git’ pour apprendre à maintenir le contrôle de version de vos données. Consultez également cet article de blog pour un tutoriel rapide ou Perez-Riverol et al. (2016) pour un cas d’utilisation davantage axé sur la recherche.

Structurer les données dans des feuilles de calcul

Les règles fondamentales de l’utilisation des logiciels de feuilles de calcul pour les données :

  1. Placez toutes vos variables dans des colonnes — ce que vous mesurez, comme « poids » ou « température ».
  2. Placez chaque observation dans sa propre ligne.
  3. Ne combinez pas plusieurs informations dans une seule cellule. Parfois, cela semble n’être qu’une seule chose, mais demandez-vous si c’est la seule façon dont vous souhaiteriez pouvoir utiliser ou trier ces données.
  4. Laissez les données brutes brutes — ne les modifiez pas !
  5. Exportez les données nettoyées dans un format textuel tel que le format CSV (valeurs séparées par des virgules). Cela garantit que n’importe qui puisse utiliser les données, et est requis par la plupart des dépôts de données.

Par exemple, nous disposons de données concernant des patients ayant consulté plusieurs hôpitaux à Bruxelles, en Belgique. Ils ont noté la date de la visite, l’hôpital, le sexe des patients, leur poids et leur groupe sanguin.

Si nous devions suivre les données de la manière suivante :

A table showing the blood and rhesus types encoded together in one column.
Multiple variable in a single column.

le problème est que les groupes ABO et Rhésus se trouvent dans la même colonne de type Blood. Ainsi, s’ils voulaient examiner toutes les observations du groupe A ou analyser les distributions de poids par groupe ABO, cela serait délicat avec cette configuration de données. Si, au lieu de cela, nous plaçons les groupes ABO et Rhésus dans des colonnes différentes, vous voyez que ce serait bien plus simple.

A table showing the blood and rhesus types encoded together in different columns.
Variables encoded in a single column each.

Une règle importante lors de la création d’une feuille de données est que les colonnes sont utilisées pour les variables et les lignes sont utilisées pour les observations :

  • les colonnes sont des variables
  • les lignes sont des observations
  • les cellules sont des valeurs individuelles
Discussion

Défi : Nous allons prendre un jeu de données mal structuré et décrire comment nous le nettoierions.

  1. Téléchargez un jeu de données mal structuré en cliquant sur ce lien.

  2. Ouvrez les données dans un programme de feuilles de calcul.

  3. Vous pouvez voir qu’il y a deux onglets. Les données contiennent diverses variables cliniques enregistrées dans différents hôpitaux de Bruxelles lors de la première et de la deuxième vague de COVID-19 en 2020. Comme vous pouvez le voir, les données ont été enregistrées de manière différente lors des vagues de mars et de novembre. Vous êtes désormais la personne responsable de ce projet et vous souhaitez pouvoir commencer à analyser les données.

  4. Avec la personne à vos côtés, identifiez ce qui ne va pas dans cette feuille de calcul. Discutez également des étapes que vous devriez suivre pour nettoyer les onglets des première et deuxième vagues, et pour les réunir toutes dans une seule feuille de calcul.

Important : N’oubliez pas notre premier conseil : créez un nouveau fichier (ou un nouvel onglet) pour les données nettoyées et ne modifiez jamais vos données originales (brutes).

Une fois que vous aurez effectué cet exercice, nous discuterons en groupe de ce qui ne fonctionnait pas dans ces données et de la manière dont vous les corrigeriez.

Discussion

Défi : Une fois les données nettoyées, répondez aux questions suivantes :

  • Combien d’hommes et de femmes ont participé à l’étude ?
  • Combien d’échantillons de chacun des groupes sanguins A, AB et B ont été testés ?
  • Comme ci-dessus, mais en ignorant les échantillons contaminés ?
  • Combien de sujets Rhesus + et - ont été testés ?
  • Combien de donneurs universels (O-) ont été testés ?
  • Quel est le poids moyen des hommes AB ?
  • Combien d’échantillons ont été testés dans les différents hôpitaux ?

Une excellente référence, notamment en ce qui concerne la programmation R, est l’article Tidy Data Wickham (2014).

Erreurs courantes dans les feuilles de calcul

Questions

  • Quels sont les défis courants liés au formatage des données dans des feuilles de calcul et comment peut-on les éviter ?

Objectifs

  • Reconnaître et résoudre les problèmes courants de mise en forme des feuilles de calcul.

Points clés

  • Évitez d’utiliser plusieurs tableaux au sein d’une seule feuille de calcul.
  • Évitez de répartir les données sur plusieurs onglets.
  • Enregistrez les zéros comme des zéros.
  • Utilisez une valeur nulle appropriée pour enregistrer les données manquantes.
  • N’utilisez pas de mise en forme pour transmettre des informations ou pour embellir votre feuille de calcul.
  • Placez les commentaires dans une colonne distincte.
  • Notez les unités dans les en-têtes de colonnes.
  • N’incluez qu’une seule information par cellule.
  • Évitez les espaces, les chiffres et les caractères spéciaux dans les en-têtes de colonnes.
  • Évitez les caractères spéciaux dans vos données.
  • Enregistrez les métadonnées dans un fichier texte brut distinct.

Il existe quelques erreurs potentielles auxquelles il convient de prêter attention, tant dans vos propres données que dans celles de vos collaborateurs ou provenant d’Internet. Si vous êtes conscient de ces erreurs et de leur impact négatif possible sur l’analyse ultérieure des données et l’interprétation des résultats, cela pourrait vous motiver, vous et les membres de votre projet, à tenter de les éviter. Apporter de légers ajustements à la manière dont vous formatez vos données dans des feuilles de calcul peut avoir un impact considérable sur l’efficacité et la fiabilité lors du nettoyage et de l’analyse des données.

Utilisation de plusieurs tableaux

Une stratégie courante consiste à créer plusieurs tableaux de données au sein d’une seule feuille de calcul. Cela confonde l’ordinateur, alors ne faites pas cela ! Lorsque vous créez plusieurs tableaux dans une seule feuille de calcul, vous établissez des associations erronées entre les éléments pour l’ordinateur, lequel considère chaque ligne comme une observation. Vous risquez également d’utiliser le même nom de champ à plusieurs endroits, ce qui rendra plus difficile le nettoyage de vos données pour obtenir une forme utilisable. L’exemple ci-dessous illustre ce problème :

A sheet with many subtable.
A sheet with many subtable.

Dans l’exemple ci-dessus, l’ordinateur verra (par exemple) la ligne 4 et supposera que toutes les colonnes A-AF se réfèrent au même échantillon. Cette ligne représente en réalité quatre échantillons distincts (l’échantillon 1 pour chacune des quatre dates de prélèvement différentes — le 29 mai, le 12 juin, le 19 juin et le 26 juin), ainsi que certaines statistiques de synthèse calculées (une moyenne (avr) et l’erreur-type de mesure (SEM)) pour deux de ces échantillons. Les autres lignes sont tout aussi problématiques.

Utilisation de plusieurs onglets

Mais qu’en est-il des onglets du classeur ? Cela semble être un moyen simple d’organiser les données, n’est-ce pas ? Eh bien, oui et non. Lorsque vous créez des onglets supplémentaires, vous ne permettez pas à l’ordinateur de percevoir les liens qui existent dans les données (vous devez introduire des fonctions spécifiques à l’application de feuille de calcul ou du scriptage pour garantir ce lien). Disons, par exemple, que vous créez un onglet distinct pour chaque jour où vous effectuez une mesure.

Ce n’est pas une bonne pratique pour deux raisons :

  1. vous êtes plus susceptible d’introduire par inadvertance des incohérences dans vos données si, à chaque mesure, vous commencez à enregistrer les données dans une nouvelle onglet, et

  2. même si vous parvenez à éviter toute incohérence, vous ajouterez une étape supplémentaire avant d’analyser les données, car vous devrez les réunir dans un seul tableau. Vous devrez indiquer explicitement à l’ordinateur comment combiner les onglets et, si ceux-ci sont formatés de manière incohérente, vous pourriez même devoir le faire manuellement.

La prochaine fois que vous saisissez des données et que vous souhaitez créer un autre onglet ou un autre tableau, demandez-vous si vous pourriez éviter d’ajouter cet onglet en ajoutant une autre colonne à votre feuille de calcul d’origine. Nous avons utilisé plusieurs onglets dans notre exemple de fichier de données désordonné, mais vous avez maintenant vu comment vous pouvez réorganiser vos données pour les regrouper entre les onglets.

Votre feuille de données peut devenir très longue au fil de l’expérience. Cela rend la saisie des données plus difficile si vous ne voyez pas vos en-têtes en haut de la feuille de calcul. Mais ne répétez pas votre ligne d’en-tête. Celles-ci peuvent facilement se confondre avec les données, ce qui posera problème par la suite. Au lieu de cela, vous pouvez geler les en-têtes de colonne afin qu’elles restent visibles, même lorsque votre feuille de calcul comporte de nombreuses lignes.

Ne pas renseigner les zéros

Il se peut que, lorsque vous mesurez quelque chose, la valeur soit généralement zéro, par exemple le nombre de fois où un lapin est observé lors de l’enquête. Pourquoi s’embêter à saisir le chiffre zéro dans cette colonne, alors qu’il s’agit pour la plupart de zéros ?

Cependant, il existe une différence entre un zéro et une cellule vide dans une feuille de calcul. Pour l’ordinateur, un zéro est en réalité une donnée. Vous l’avez mesuré ou compté. Une cellule vide signifie qu’elle n’a pas été mesurée et que l’ordinateur l’interprétera comme une valeur inconnue (également appelée valeur nulle ou manquante).

Les feuilles de calcul ou les programmes statistiques interpréteront probablement à tort les cellules vides que vous souhaitez considérer comme des zéros. En ne saisissant pas la valeur de votre observation, vous demandez à votre ordinateur de représenter ces données comme inconnues ou manquantes (nulles). Cela peut poser problème pour les calculs ou les analyses ultérieurs. Par exemple, la moyenne d’un ensemble de nombres comprenant une seule valeur nulle est toujours nulle (car l’ordinateur ne peut pas deviner la valeur des observations manquantes). C’est pourquoi il est très important de consigner les zéros comme des zéros et les données réellement manquantes comme des valeurs nulles.

Utilisation de valeurs nulles problématiques

Exemple : utiliser -999 ou d’autres valeurs numériques (ou zéro) pour représenter des données manquantes.

Solutions :

Il existe plusieurs raisons pour lesquelles les valeurs nulles sont représentées différemment au sein d’un jeu de données. Parfois, des valeurs nulles confuses sont enregistrées automatiquement par le dispositif de mesure. Dans ce cas, il n’y a pas grand-chose que l’on puisse faire, mais cela peut être traité lors du nettoyage des données avec un outil comme OpenRefine avant l’analyse. D’autres fois, des valeurs nulles différentes sont utilisées pour indiquer différentes raisons pour lesquelles les données manquent. Il s’agit d’informations importantes à recueillir, mais cela revient en réalité à utiliser une seule colonne pour enregistrer deux informations. Comme pour l’utilisation du formatage pour transmettre des informations, il serait judicieux ici de créer une nouvelle colonne telle que ‘data_missing’ et d’utiliser cette colonne pour enregistrer les différentes raisons.

Quelle qu’en soit la raison, il est problématique que des données inconnues ou manquantes soient enregistrées sous la forme de -999, 999 ou 0.

De nombreux logiciels statistiques ne reconnaîtront pas que ces valeurs sont destinées à représenter des valeurs manquantes (nulles). La manière dont ces valeurs sont interprétées dépendra du logiciel que vous utilisez pour analyser vos données. Il est essentiel d’utiliser un indicateur de valeur nulle clairement défini et cohérent.

Les cellules vides (dans la plupart des applications) et NA (pour R) sont de bons choix. White et al. (2013) présente dans son article des choix appropriés pour indiquer les valeurs manquantes dans différentes applications logicielles :

A table extracted from a paper showing commonly used null values.
Commonly used null values.

Utilisation de la mise en forme pour transmettre des informations

Exemple : mise en évidence de cellules, de lignes ou de colonnes à exclure d’une analyse, laisser des lignes vides pour indiquer des séparations dans les données.

A table showing several cells highlighted in yellow used to encode sample contamination.
Colours used to ecode information.

Solution : créer un nouveau champ pour coder les données à exclure.

Same table as above with a new variable encoding contambination.
A new variable encoding sample contamination

Utiliser la mise en forme pour embellir la feuille de données

Exemple : fusion de cellules.

Solution : Si vous n’y prenez pas garde, le formatage d’une feuille de calcul pour en améliorer l’aspect esthétique peut compromettre la capacité de votre ordinateur à identifier des associations dans les données. Les cellules fusionnées rendront vos données illisibles pour les logiciels de statistiques. Envisagez de restructurer vos données de manière à ne plus avoir besoin de fusionner des cellules pour les organiser.

Placer des commentaires ou des unités dans des cellules

La plupart des logiciels d’analyse ne peuvent pas lire les commentaires d’Excel ou de LibreOffice, et seraient confus par des commentaires placés dans les cellules de vos données. Comme décrit précédemment pour la mise en forme, créez un autre champ si vous devez ajouter des notes dans les cellules. De même, n’incluez pas d’unités dans les cellules : idéalement, toutes les mesures que vous placez dans une seule colonne doivent être dans la même unité, mais si pour une raison quelconque ce n’est pas le cas, créez un autre champ et précisez l’unité à laquelle appartient la cellule.

Saisir plus d’une information dans une cellule

Exemple : Enregistrer les groupes ABO et Rhesus dans une seule cellule, par exemple A+, B+, A-, …

Solution : Ne regroupez pas plusieurs informations dans une même cellule, car cela limite les possibilités d’analyse de vos données. Si vous avez besoin de ces deux mesures, concevez votre feuille de données pour les enregistrer séparément. Par exemple, prévoyez une colonne pour le groupe ABO et une autre pour le groupe Rhésus.

Utilisation de noms de champs problématiques

Choisissez des noms de champs descriptifs, mais veillez à ne pas inclure d’espaces, de chiffres ou de caractères spéciaux de quelque nature que ce soit. Les espaces peuvent être interprétés à tort par des analyseurs qui utilisent l’espace blanc comme délimiteur, et certains programmes ne supportent pas les noms de champs qui sont des chaînes de texte commençant par des chiffres.

Les tirets bas (_) constituent une bonne alternative aux espaces. Envisagez d’écrire les noms en camel case (comme ceci : ExampleFileName) pour améliorer la lisibilité. Gardez à l’esprit que des abréviations qui ont du sens aujourd’hui ne seront peut-être plus aussi évidentes dans six mois, mais n’exagérez pas non plus avec des noms excessivement longs. Inclure les unités dans les noms de champs évite toute confusion et permet aux autres de les interpréter facilement.

Exemples

Bon nom Bonne alternative Éviter
Max_temp_C MaxTemp Maximum Temp (°C)
Precipitation_mm Precipitation precmm
Mean_year_growth MeanYearGrowth Mean growth/year
sex sex M/F
weight weight w.
cell_type CellType Cell Type
Observation_01 first_observation 1st Obs

Utilisation de caractères spéciaux dans les données

Exemple : Vous traitez votre logiciel de feuille de calcul comme un traitement de texte lorsque vous rédigez des notes, par exemple en copiant des données directement depuis Word ou d’autres applications.

Solution : Il s’agit d’une stratégie courante. Par exemple, lorsqu’on rédige un texte plus long dans une cellule, on inclut souvent des sauts de ligne, des tirets longs, etc., dans sa feuille de calcul. De même, lors de la copie de données depuis des applications telles que Word, le formatage et des caractères non standard complexes (tels que des guillemets alignés à gauche ou à droite) sont inclus. Lors de l’exportation de ces données vers un environnement de programmation/statistique ou vers une base de données relationnelle, des problèmes dangereux peuvent survenir, comme la coupure de lignes en deux ou l’apparition d’erreurs d’encodage.

La bonne pratique générale consiste à éviter d’ajouter des caractères tels que des sauts de ligne, des tabulations et des tabulations verticales. En d’autres termes, traitez une cellule de texte comme un simple formulaire web ne pouvant contenir que du texte et des espaces.

Inclusion de métadonnées dans la table de données

Exemple : Vous ajoutez une légende en haut ou en bas de votre tableau de données expliquant la signification des colonnes, les unités, les exceptions, etc.

Solution : L’enregistrement des informations relatives à vos données (« métadonnées ») est essentiel. Vous connaissez peut-être par cœur votre jeu de données pendant que vous les collectez et les analysez, mais il est peu probable que vous vous souveniez, après quelques mois, un an ou plus, que la variable « sglmemgp » signifie membre unique d’un groupe, par exemple, ou de l’algorithme exact que vous avez utilisé pour transformer une variable ou en créer une dérivée.

Par ailleurs, il existe de nombreuses raisons pour lesquelles d’autres personnes pourraient souhaiter examiner ou utiliser vos données : comprendre vos résultats, les vérifier, examiner votre publication soumise, reproduire vos résultats, concevoir une étude similaire, ou même archiver vos données pour permettre l’accès et la réutilisation par d’autres. Bien que les données numériques soient par définition lisibles par machine, comprendre leur signification est une tâche réservée aux êtres humains. L’importance de documenter vos données durant la phase de collecte et d’analyse de votre recherche ne peut être surestimée, surtout si votre recherche doit faire partie du registre scientifique.

Toutefois, les métadonnées ne doivent pas figurer dans le fichier de données lui-même. Contrairement à un tableau dans un article ou à un fichier supplémentaire, les métadonnées (sous la forme de légendes) ne doivent pas être incluses dans un fichier de données, car ces informations ne sont pas des données, et leur inclusion peut perturber la manière dont les programmes informatiques interprètent votre fichier de données. Au lieu de cela, les métadonnées doivent être stockées dans un fichier distinct dans le même répertoire que votre fichier de données, idéalement au format texte brut, avec un nom qui l’associe clairement à votre fichier de données. Comme les fichiers de métadonnées sont au format texte libre, ils vous permettent également de coder des commentaires, des unités, des informations sur la manière dont les valeurs nulles sont codées, etc., lesquelles sont importantes à documenter mais peuvent perturber le formatage de votre fichier de données.

De plus, les métadonnées au niveau des fichiers ou de la base de données décrivent les relations entre les fichiers qui composent le jeu de données, leur format et s’ils remplacent d’autres fichiers ou ont eux-mêmes été remplacés. Un fichier readme.txt placé dans le dossier est le moyen habituel de recenser tous les fichiers et dossiers d’un projet.

(Le texte sur les métadonnées est adapté du cours en ligne Research Data MANTRA d’EDINA et de la Data Library de l’Université d’Édimbourg. MANTRA est sous licence Creative Commons Attribution 4.0 International License.)

Exportation de données

Question

  • Comment exporter des données à partir de feuilles de calcul de manière à ce qu’elles soient utiles pour des applications ultérieures ?

Objectifs

  • Stocker les données de feuilles de calcul dans des formats de fichiers universels.
  • Exporter des données depuis une feuille de calcul vers un fichier CSV.

Points clés

  • Les données stockées dans des formats de feuilles de calcul courants ne seront souvent pas lues correctement par les logiciels d’analyse de données, ce qui introduit des erreurs dans vos données.

  • L’exportation de données depuis des feuilles de calcul vers des formats tels que le CSV ou le TSV les place dans un format utilisable de manière cohérente par la plupart des programmes.

Stocker les données que vous allez utiliser pour vos analyses dans le format de fichier par défaut d’Excel (*.xls ou *.xlsx - selon la version d’Excel) n’est pas une bonne idée. Pourquoi ?

  • Parce qu’il s’agit d’un format propriétaire et qu’à l’avenir, la technologie permettant d’ouvrir le fichier pourrait disparaître ou devenir très rare, ce qui rendrait l’ouverture du fichier difficile, voire impossible.

  • D’autres logiciels de feuilles de calcul pourraient ne pas être capables d’ouvrir des fichiers enregistrés au format propriétaire d’Excel.

  • Différentes versions d’Excel peuvent traiter les données différemment, ce qui peut entraîner des incohérences. Les dates constituent un exemple bien documenté d’incohérences dans la conservation des données.

  • Enfin, un nombre croissant de revues et d’organismes de financement exigent que vous déposiez vos données dans un dépôt de données, et la plupart d’entre eux n’acceptent pas le format Excel. Elle doit être dans l’un des formats abordés ci-dessous.

  • Les points mentionnés ci-dessus s’appliquent également à d’autres formats, tels que les formats de données ouvertes utilisés par LibreOffice / Open Office. Ces formats ne sont pas statiques et ne sont pas analysés de la même manière par différents logiciels.

Le stockage des données dans un format universel, ouvert et statique aidera à remédier à ce problème. Essayez le format tabulé (valeurs séparées par des tabulations ou TSV) ou le format séparé par des virgules (valeurs séparées par des virgules ou CSV). Les fichiers CSV sont des fichiers texte brut où les colonnes sont séparées par des virgules, d’où le nom « valeurs séparées par des virgules » ou CSV. L’avantage d’un fichier CSV par rapport à un fichier Excel/SPSS/etc. est que nous pouvons ouvrir et lire un fichier CSV avec pratiquement n’importe quel logiciel, y compris des éditeurs de texte brut comme TextEdit ou le Bloc-notes. Les données d’un fichier CSV peuvent également être facilement importées dans d’autres formats et environnements, tels que SQLite et R. Nous ne sommes pas liés à une version spécifique d’un programme coûteux lorsque nous travaillons avec des fichiers CSV ; c’est donc un bon format pour garantir une portabilité et une pérennité maximales. La plupart des logiciels de feuilles de calcul peuvent enregistrer facilement dans des formats texte délimités comme le CSV, bien qu’ils puissent vous afficher un avertissement lors de l’exportation du fichier.

Pour enregistrer un fichier ouvert dans Excel au format CSV :

  1. Dans le menu supérieur, sélectionnez « Fichier » et « Enregistrer sous ».
  2. Dans le champ « Format », sélectionnez « Valeurs séparées par des virgules » (*.csv) dans la liste.
  3. Vérifiez à nouveau le nom du fichier et l’emplacement où vous souhaitez le enregistrer, puis cliquez sur « Enregistrer ».

Une note importante pour la rétrocompatibilité : vous pouvez ouvrir des fichiers CSV dans Excel !

Excel menu to export data in a csv format on MacOS
Saving an Excel file to CSV.

Note sur R et xls : Il existe des packages R capables de lire les fichiers xls (ainsi que les feuilles de calcul Google). Il est même possible d’accéder à différentes feuilles de calcul dans les documents xls.

Mais

  • certains d’entre eux ne fonctionnent que sous Windows.
  • cela revient à remplacer un export (simple mais manuel) vers csv par une complexité/des dépendances supplémentaires dans le code R d’analyse de données.
  • Les bonnes pratiques de mise en forme des données s’appliquent toujours.
  • Y a-t-il vraiment une bonne raison pour laquelle csv (ou un élément similaire) ne convient pas ?

Précautions concernant les virgules

Dans certains jeux de données, les valeurs elles-mêmes peuvent contenir des virgules (,). Dans ce cas, le logiciel que vous utilisez (y compris Excel) affichera très probablement les données de manière incorrecte dans des colonnes. Cela est dû au fait que les virgules faisant partie des valeurs de données seront interprétées comme des délimiteurs.

Par exemple, nos données pourraient ressembler à ceci :

species_id,genus,species,taxa
AB,Amphispiza,bilineata,Bird
AH,Ammospermophilus,harrisi,Rodent, not censused
AS,Ammodramus,savannarum,Bird
BA,Baiomys,taylori,Rodent

Dans le enregistrement AH,Ammospermophilus,harrisi,Rodent, not censused, la valeur de taxa contient une virgule (Rodent, not censused). Si nous tentons de lire ce qui précède dans Excel (ou un autre programme de feuille de calcul), nous obtiendrons quelque chose comme ceci :

A table illustrating ill-imported data that contained a comma in a cell. That cell has been split in two cells.
The risks of having commas inside comma-separated data.

La valeur de taxa a été divisée en deux colonnes (au lieu d’être placée dans une seule colonne D). Cela peut entraîner un certain nombre d’erreurs supplémentaires. Par exemple, la colonne supplémentaire sera interprétée comme une colonne contenant de nombreuses valeurs manquantes (et sans en-tête approprié). De plus, la valeur de la colonne D pour l’enregistrement de la ligne 3 (c’est-à-dire celui où la valeur de « taxa » contenait la virgule) est désormais incorrecte.

Si vous souhaitez stocker vos données au format csv et que vous prévoyez que vos valeurs puissent contenir des virgules, vous pouvez éviter le problème décrit ci-dessus en entourant les valeurs de guillemets (““). En appliquant cette règle, nos données pourraient ressembler à ceci :

species_id,genus,species,taxa
"AB","Amphispiza","bilineata","Bird"
"AH","Ammospermophilus","harrisi","Rodent, not censused"
"AS","Ammodramus","savannarum","Bird"
"BA","Baiomys","taylori","Rodent"

Désormais, l’ouverture de ce fichier en tant que csv dans Excel ne provoquera pas d’ajout de colonne, car Excel n’utilisera que les virgules situées en dehors des guillemets comme caractères de délimitation.

Alternativement, si vous travaillez avec des données contenant des virgules, vous devrez probablement utiliser un autre délimiteur lorsque vous travaillez dans une feuille de calcul1. Dans ce cas, envisagez d’utiliser des tabulations comme délimiteur et de travailler avec des fichiers TSV. Les fichiers TSV peuvent être exportés depuis des logiciels de feuilles de calcul de la même manière que les fichiers CSV.

Si vous travaillez avec un jeu de données existant dans lequel les valeurs ne sont pas entourées de “” mais qui utilisent des virgules à la fois comme séparateurs et comme éléments des valeurs, vous êtes potentiellement confronté à un problème majeur de nettoyage des données. Si le jeu de données que vous manipulez contient des centaines ou des milliers de lignes, les nettoyer manuellement (en supprimant les virgules des valeurs ou en plaçant les valeurs entre guillemets - ““) ne nécessitera pas seulement des heures et des heures, mais pourrait également entraîner l’introduction accidentelle de nombreuses erreurs.

Le nettoyage des jeux de données est l’un des problèmes majeurs dans de nombreuses disciplines scientifiques. L’approche dépend presque toujours du contexte particulier. Toutefois, il est recommandé de nettoyer les données de manière automatisée, par exemple en écrivant et en exécutant un script. Les leçons sur Python et R vous fourniront les bases nécessaires pour développer des compétences en matière de création de scripts adaptés.

Résumé

The tidy data analysis circle, iterating over data transformation, visualisation and modelling.
A typical data analysis workflow.

Un flux de travail typique d’analyse de données est illustré sur la figure ci-dessus, où les données sont à plusieurs reprises transformées, visualisées et modélisées. Cette itération est répétée plusieurs fois jusqu’à ce que les données soient comprises. Dans de nombreux cas concrets, cependant, la majeure partie du temps est consacrée au nettoyage et à la préparation des données, plutôt qu’à leur analyse et à leur compréhension effectives.

Un flux de travail d’analyse de données agile, comprenant plusieurs itérations rapides du cycle transformation/visualisation/modélisation, n’est réalisable que si les données sont formatées de manière prévisible et qu’il est possible de raisonner à partir d’elles sans avoir à les consulter et/ou à les corriger.

Key Points
  • Une bonne organisation des données est le fondement de tout projet de recherche.
Broman, Karl W., and Kara H. Woo. 2018. “Data Organization in Spreadsheets.” The American Statistician 72 (1): 2–10. https://doi.org/10.1080/00031305.2017.1375989.
Perez-Riverol, Yasset, Laurent Gatto, Rui Wang, et al. 2016. “Ten Simple Rules for Taking Advantage of Git and GitHub.” PLOS Computational Biology 12 (7): 1–11. https://doi.org/10.1371/journal.pcbi.1004947.
White, Ethan P., Elita Baldridge, Zachary T. Brym, Kenneth J. Locey, Daniel J. McGlinn, and Sarah R. Supp. 2013. “Nine Simple Ways to Make It Easier to (Re)use Your Data.” PeerJ PrePrints 1 (July): e7v2. https://doi.org/10.7287/peerj.preprints.7v2.
Wickham, Hadley. 2014. “Tidy Data.” Journal of Statistical Software, Articles 59 (10): 1–23. https://doi.org/10.18637/jss.v059.i10.

  1. Cela est particulièrement pertinent dans les pays européens où la virgule est utilisée comme séparateur décimal. Dans ce cas, le séparateur de valeurs par défaut dans un fichier CSV sera le point-virgule (;), ou les valeurs seront systématiquement mises entre guillemets.↩︎