Pour les généticiens du monde entier, Excel est un vrai cauchemar. Le logiciel est à l'origine d'un nombre important d'erreurs, car il convertit les noms de certains gènes, comme "MARCH1" en dates (1-Mar). Environ une publication scientifique sur 5 en fait les frais, et la solution la plus simple a donc consisté à renommer des dizaines de gènes.
Il suffit juste de modifier le format de la colonne, de la ligne voire de la cellule excel concernés en "Texte" en lieu et place du format "standard" voire "date".
Un simple paramétrage aurait évité de renommer des gènes. C'est ce changement qui est un cauchemar et pas Excel qui doit être utilisé correctement.
banneliv
Idem pour des nombres écrit en hexa !
Par exemple la valeur hexa 1E001 sera considéré comme étant égale à 10 au lieu de 122881
Cpt-Beurk
Témoignage prof.
Dans mon usine :
-1 on est mariés à microsoft
-2 un Mac? Même pas pourNoël, du hp de base, point.
-3 personne, sauf service info,
n'a des droits d'administrateur
-4 donc impossible de mettre un OS tournant sous Linux et encore moins installer un logiciel adapté à ses besoins
Bref, on "bricole" avec excel.
Exemple : "chasse" aux clients de plus 90 ans, souvent des clients décédés mais clôture dossier non faite=> 4 fois plus de centenaires que les stat. nationales ! LOL.
Pour travailler des dates de naissance antérieure à 1900, il faut saisir des téra brouettes de formule.
Tapez ITALIE=> transformée d'office en Italie. 150 étiquettes adresses à benner.
Les chercheurs ne sont pas idiots, mais n'ont ni le temps ni les moyens de fiabiliser. Ils font comme moi, ils s'adaptent, contournent et bricolent.
Tous les commentaires
Lflfelf
Depuis 20 ans et tu n'as pas encore découvert qu'une bonne solution doit forcément être idiot-proof dès qu'il y a beaucoup d'utilisateurs ? Tu dois faire des fichiers pour toi tout seul alors. Moi ça fait 20 ans que je choisis les solutions idiot-proof plutôt que les paramétrages avancés pour les fichiers destinés à être partagés et j'ai vu toutes sortes d'erreurs et je me suis bien gardé de blâmer les utilisateurs: j'en ai profité pour leur expliquer comment mieux utiliser l'outil... mais j'ai aussi retenu la leçon pour que mon fichier soit encore plus idiot-proof la fois suivante et que d'autres utilisateurs ne puissent pas tomber dans le même genre de piège. Ce n'est pas faute d'avoir exploré tous les paramétrages et fonctions d'Excel et de les utiliser pour moi, ni d'aimer aider mes collègues à les utiliser quand ils font des fichiers pour eux-mêmes. Mais l'expérience montre que ce n'est jamais bon quand un informaticien s'est fait plaisir en choisissant une solution inutilement compliquée alors qu'une astuce toute dimple convenait parfaitement, comme dans le cas de cette anecdote. Les ingénieurs en général et les informaticiens en particulier aiment bien les solutions compliquées, ils ne sont pas tous capables de mettre leur fierté de côté pour choisir ce qui est mieux pour les utilisateurs.
Lflfelf
(doublon à supprimer)
SebSebSebSeb
Généticien depuis presque 10 ans, je peux témoigner que cela ne m'est jamais arrivé.
Sleeperstyle
Tous les professionnels qui travaillent avec Excel ont été confronté à ces difficultés.
Il est a priori simple de gérer une feuille et une version du logiciel et des les configurer comme on le souhaite (je dis bien a priori). Mais dès lors qu'on multiplie le nombre d'intervenants, de feuilles, de version du soft, de version de sauvegarde, de langues.. tout se complique.
Dans cet exemple une grande quantité de données vont être traités par différents intervenants. Les fichiers vont être fusionnés, agrégés. Les données copier/coller. On ne peut absolument pas se reposer sur le formatage de cellules, feuilles, fichiers. On ne peut pas non plus imposer de règles aux utilisateurs qui travaillent pour différents organismes, sociétés, pays. Ils font tous au mieux de leur possibilités, capacités et connaissances.
Étant donné que la solidité d'une chaîne repose sur celle du plus faible de ses maillons il faut prendre le problème à la racine et mettre en place des solutions "idiot proof". Une sorte de nivellement par le bas. Pas super satisfaisant mais terriblement pragmatique et efficace.
Et un conseil aux jeunes qui se pensent plus malin que des professionnels aguerris.. humilité et remise en question ;)
Lflfelf
C'est formidable ! Les utilisateurs de ce site ont toujours des solutions pour tout. On se demande bien pourquoi les gens qui ont des problèmes ne posent pas d'abord la question sur ce site au lieu de perdre des années à chercher eux-mêmes des solutions concrètes en utilisant leur expérience, alors que les utilisateurs de ce site trouvent facilement des solutions après avoir découvert le problème 2 minutes avant et sans toute cette expérience et ces années d'essais !
Echino
Bon alors un scientifique ne travail que rarement sous Excel... Le plus souvent lorsqu'une étude est prévue et qu'il y a le budget, a ce moment un outil de recueil de donnée est créé par une cellule de data management. On appel cela le CRF (case report form). C'est un espèce de formulaire qui réunit toutes les variables de l'étude et chaque personne qui va recueillir des données va le compléter. ( souvent c'est l'attaché de recherche clinique qui s'en charge). Il y a des contrôles sur les champs pour éviter les erreurs de saisies. Mais ça ressemble plus à un formulaire qu'à un fichier Excel. Donc ce n'est qu'une fois créé que l'on va lancer l'étude. Ensuite à la fin de l'étude la base de donnee est nettoyées, on va régler tout ce qui est étrange au niveau de la saisie, essayé de compléter tous les trous... C'est une étape assez longue... Enfin une fois que la base est clean elle est donnée au biostatisticien qui va faire les analyses statistiques pour la publication.
La donnée ne transite donc jamais entre les mains du chercheur responsable de l'étude. Lui ne fait que suivre les inclusions. Il intervient lors de la création du protocole, pour le suivi (inclusion, consultation) en s'assurant que les inclusions avancent bien, que les conditions de sécurités soient respectées, et pour la publication finale.
RJV1
Première analyse et étonnement, puis lecture des commentaires : des dizaines de millions de données provenant de plusieurs centaines de labos situés plusieurs dizaines de pays. La normalisation se fait naturellement avec le logiciel le plus employé au monde.
oursgris
vache tu es bien éloigné des considérations de récupération de données
étant informaticien je peux te dire que d'une part le format csv, c'est pas terrible du tout
il regroupe plusieurs formats non normés, problématiques de format de date, de guillemets, de séparateur, de caractères d’échappements
c'est bien pratique comme format quand il reste fixe, mais avec des milliers d'utilisateurs c'est difficile
et même si c'est un seul émetteur, regarde une fois ce qui se passe avec les chiffres covid du moment, santé publique france a plusieurs fois changé de format de date
concernant l'utilisation, une des problématiques principales quand tu fais ce genre de fichiers c'est le bruit, les erreurs de chiffres anormalement trop grand, trop faibles tout simplement parce qu'il y a trop de données
t'es pas obligé de rajouter des soucis avec des pb d'utilisation surtout si tu peux le corriger facilement
ensuite dans l'administration, libre office est utilisé, cependant le leader reste excel et souvent tu ne peux pas installer un autre logiciel. d'ailleurs les saisies peuvent être faites par des gens n'ayant pas d'intérêt financier, tu peux pas influer sur leur poste de travail
enfin bref avant de combattre la médiocrité des gens instruits, je t'invite à regarder la tienne.
cstotoro
Pour les traitements de données hétérogènes et en grandes quantité, il existe d'autres soft bien mieux adapté qu'Excel (qui n'est pas fait pour ça) powerBI ou tableau, certains sont même open source : RStudio et possedent leur propre langage. Apres, le problème peut apparaitre au sein des fichiers collectés et condolidés et là, seul un traitement pré intégration peut corriger et ça peut être long à préparer au cas par cas.
sevria
Le généticien est généticien, pas un peu ronde l’informatique.
Je vois les chercheurs autour de moi ben déjà ils font avec les logiciels que leur fournit l’employeur (interdiction souvent de matériel privé pour limiter les fuites/virus)
Ensuite ils prennent déjà bcp de
Temps à faire les recherches et écrire donc oui passer des heures à vérifier colonne per colonne le bon format c’est très vite infaisable (parce que le format date doit être utile sur d’autre colonne)
Lucas7
Il suffit juste de modifier le format de cellule, easy
Aldark
Solution ==> arrêter d'utiliser excel ?
Cpt-Beurk
Témoignage prof.
Dans mon usine :
-1 on est mariés à microsoft
-2 un Mac? Même pas pourNoël, du hp de base, point.
-3 personne, sauf service info,
n'a des droits d'administrateur
-4 donc impossible de mettre un OS tournant sous Linux et encore moins installer un logiciel adapté à ses besoins
Bref, on "bricole" avec excel.
Exemple : "chasse" aux clients de plus 90 ans, souvent des clients décédés mais clôture dossier non faite=> 4 fois plus de centenaires que les stat. nationales ! LOL.
Pour travailler des dates de naissance antérieure à 1900, il faut saisir des téra brouettes de formule.
Tapez ITALIE=> transformée d'office en Italie. 150 étiquettes adresses à benner.
Les chercheurs ne sont pas idiots, mais n'ont ni le temps ni les moyens de fiabiliser. Ils font comme moi, ils s'adaptent, contournent et bricolent.
TybsXckZ
Cet article explique un peu mieux le problème : https://www.numerama.com/sciences/641575-il-etait-plus-simple-de-renommer-des-genes-humains-que-de-mettre-a-jour-excel.html
Ce n'est pas 1 ou 2 gênes qui posent problème mais une vingtaine ayant des noms pouvant se transformer en date. Comme la nomenclature des gênes n'est pas si compliqué à changer et que le risque d'erreur est bien trop grand, il est plus simple de changer la nomenclature que de mettre à jour Excel ou trifouiller les données.
bibouk
En même temps des pro qui ne sont pas sous Mac ....
Lol
Kampaname
Il suffit juste de modifier le format de la colonne, de la ligne voire de la cellule excel concernés en "Texte" en lieu et place du format "standard" voire "date".
Un simple paramétrage aurait évité de renommer des gènes. C'est ce changement qui est un cauchemar et pas Excel qui doit être utilisé correctement.
banneliv
Idem pour des nombres écrit en hexa !
Par exemple la valeur hexa 1E001 sera considéré comme étant égale à 10 au lieu de 122881
mosebema
Est-ce impossible de supprimer la conversion implicite et de la faire uniquement lorsque cela est désiré ?
Kampaname
banneliv
Cpt-Beurk