Technology

Business Intelligence, Clients, Company, Data Governance, Data Marketing, Data Mining and Data Integration, Data Quality Management, Data Regulations, Data visualisation, Data Warehouse, Machine Learning, Technology

SQL basique: quézako ?

Pendant très longtemps réservé aux personnes averties et techniques du service informatique, le SQL n’était pas à la portée de n’importe quelle entité ou service d’une société. Rôle exclusivement réservé au service IT de l’entreprise auparavant. Désormais, la vulgarisation de « l’informatique » a permis à de nombreux services d’accéder aux données de leur entreprises via le SQL pour interroger leurs bases de données tels que les départements marketing, la comptabilité, le contrôle de gestion, les ressources humaines et bien d’autres encore !

Vous êtes une entreprise spécialiste du commerce électronique, de la santé, du retail ou tout simplement une PME / PMI? Vous avez un ensemble de données stockées dans une base de données?

Il est indispensable de connaître les éléments basiques du langage de requêtes structurées (SQL) pour vous permettre d’avoir rapidement des réponses à vos interrogations.

DEFINITION

Le SQL, ou Structured Query Language (Langage de Requête Structurée), est un langage de programmation spécialement conçu pour la gestion et la manipulation de bases de données relationnelles.

Il offre une interface standardisée permettant aux utilisateurs de communiquer avec les bases de données, d’effectuer des opérations telles que l’insertion, la mise à jour, la suppression et la récupération de données de manière efficace.

LES BASES DU SQL

Rappelons que le SQL n’est rien d’autre qu’un moyen de lire le contenu d’une base de données relationnelle pour remonter les informations dont un utilisateur a besoin pour répondre à un besoin.

STRUCTURATION DES DONNEES

Le SQL se base sur le modèle relationnel, qui organise les données sous forme de tables. Chaque table est composée de colonnes (champs) représentant des attributs spécifiques, et de lignes contenant les enregistrements

La structure des tables :

Dans le monde du SQL, la structure des tables est cruciale. Chaque table est définie par des colonnes, où chaque colonne représente un attribut particulier des données que vous stockez. Par exemple, une table « employés » pourrait avoir des colonnes telles que « nom« , « prénom« , « âge« , etc. Ces tables sont reliées par des clés, qui peuvent être des identifiants uniques pour chaque enregistrement, facilitant ainsi les relations entre différentes tables.

Les principales opérations (ou commandes / requêtes SQL basiques)

SELECT : Utilisé pour extraire des données d’une ou plusieurs tables. La clause SELECT permet de spécifier les colonnes à récupérer, les conditions de filtrage et l’ordre de tri. Cette clause est l’une des plus fondamentale du SQL. La clause WHERE, souvent utilisée avec SELECT, permet de filtrer les résultats en fonction de conditions spécifiques. Par exemple, vous pourriez vouloir récupérer uniquement les employés dont l’âge est supérieur à 30 ans, ou comme dans l’exemple ci-dessous uniquement les employés du service des ventes.

SELECT nom, prenom FROM employes WHERE service = Ventes;

INSERT : Permet d’ajouter de nouvelles lignes dans une table

INSERT INTO clients (nom, prenom, email) VALUES (‘Doe’, ‘John’, ‘john.doe@email.com);

UPDATE : Permet d’ajouter de nouvelles lignes dans une table

UPDATE produits SET prix = prix * 1.1 WHERE categorie = ‘Electronique‘;

DELETE : Permet de supprimer des lignes d’une table en fonction de certaines conditions

DELETE FROM commandes WHERE date_commande < 2023-01-01;

Filtrage et tri

Pour filtrer les résultats, le SQL utilise la clause WHERE, permettant de spécifier des conditions pour sélectionner les données. De plus, la clause ORDER BY permet de trier les résultats selon une ou plusieurs colonnes.

Le filtrage et le tri sont des opérations essentielles dans le langage SQL, permettant de récupérer des données spécifiques et de les organiser de manière significative. Explorons ces concepts avec des exemples pratiques

Filtrage avec la Clause WHERE

La clause WHERE est utilisée pour filtrer les résultats d’une requête en spécifiant des conditions. Cela permet de sélectionner uniquement les données qui répondent à ces critères.

–Sélectionner les employés avant un salaire supérieur à 50000

SELECT nom, prenom, salaire

FROM employes

WHERE salaire > 50000;

Dans cet exemple, seuls les employés dont le salaire est supérieur à 50000 seront inclus dans les résultats.

Filtrage avec la Clause ORDER BY

La clause ORDER BY permet de trier les résultats d’une requête en fonction d’une ou plusieurs colonnes. Vous pouvez spécifier l’ordre de tri (croissant ou décroissant)

–Sélectionner les clients et trier par ordre alphabétique du nom

SELECT nom, prenom, email

FROM clients

ORDER BY nom ASC;

Dans cet exemple, les résultats seront triés par ordre alphabétique croissant du nom du client

Filtrage et Tri peuvent être combiné également, à savoir la combinaison entre la clause WHERE et la clause ORDER BY pour filtrer les résultats en même temps

–Sélectionner les produits de la catégorie ‘Electronique’ et trier par prix décroissant

SELECT nom_produit, prix

FROM produits

WHERE categorie = ‘Electronique’

ORDER BY prix DESC;

Il existe d’autres filtrages et tri avec des opérateurs mais cela devient du SQL qui n’est plus basique mais devient pour un public plus averti.

En comprenant ces concepts de filtrage et de tri, vous serez en mesure d’extraire des données spécifiques de vos bases de données SQL de manière ciblée et organisée.

Les jointures

Les jointures sont essentielles pour combiner des données provenant de plusieurs tables.

Les types courants de jointures incluent INNER JOIN, LEFT JOIN, RIGHT JOIN et FULL JOIN, chacun offrant des méthodes spécifiques pour associer des lignes entre différentes tables.

Exemple de jointure simple :

SELECT client.nom, commandes.date

FROM clients

INNER JOIN commandes ON clients.id_client = commandes.id_client;

Les types de jointures :

INNER JOIN : Renvoie les lignes lorsque la condition de jointure est vraie dans les deux tables.

LEFT JOIN (ou LEFT OUTER JOIN) : Renvoie toutes les lignes de la table de gauche et les lignes correspondantes de la table de droite.

RIGHT JOIN (ou RIGHT OUTER JOIN) : L’inverse du LEFT JOIN.

FULL JOIN (ou FULL OUTER JOIN) : Renvoie toutes les lignes lorsque la condition de jointure est vraie dans l’une des deux tables.

Contraintes pour l’intégrité des données et Index pour optimiser les performances

Les contraintes jouent un rôle crucial dans la garantie de l’intégrité des données. Les clés primaires assurent que chaque enregistrement dans une table est unique, tandis que les clés étrangères établissent des liens entre différentes tables. Les contraintes d’unicité garantissent qu’aucune valeur dupliquée n’est autorisée dans une colonne spécifiée

Les index sont des structures de données qui améliorent les performances des requêtes en accélérant la recherche de données. En créant un index sur une colonne, vous facilitez la recherche, mais il est essentiel de les utiliser judicieusement, car ils peuvent également augmenter la taille de la base de données

Conclusion

Le SQL est un outil puissant et universel pour travailler avec des bases de données relationnelles. Comprendre ses bases permet aux développeurs et aux analystes de données d’interagir de manière efficace avec les systèmes de gestion de bases de données, facilitant ainsi la manipulation et la récupération d’informations cruciales. Que ce soit pour des tâches simples ou des opérations plus complexes, le SQL reste un incontournable dans le domaine de la gestion de données

Il offre une panoplie d’outils pour interagir avec les bases de données relationnelles de manière puissante et flexible. En comprenant ces concepts de base, vous serez mieux équipé pour manipuler efficacement les données, créer des rapports personnalisés et répondre à des questions complexes à partir de vastes ensembles de données. Que vous soyez un développeur, un analyste de données ou un administrateur de base de données, la maîtrise du SQL est un atout inestimable dans le monde de la gestion de données.

Cet article vous a inspiré ?
Business Intelligence, Company, Data Governance, Data Marketing, Data Mining and Data Integration, Data Quality Management, Data Regulations, Data visualisation, Data Warehouse, L'entreprise, Machine Learning, Self-service Analytics, Technology

Entrepôts de Données vs Lacs de Données : plongée comparative dans le monde de la Technologie

Dans le monde de la technologie, en constante évolution, deux termes font des vagues :

les Entrepôts de Données (Data Warehouses) et les Lacs de Données (Data Lakes).

Tous deux sont des outils puissants pour le stockage et l’analyse des données, mais ils servent à des fins différentes et possèdent des forces et faiblesses uniques. Plongeons dans le monde des données pour explorer ces deux géants technologiques.

Les Entrepôts de Données existent depuis un certain temps, offrant un moyen structuré et organisé de stocker des données. Ils sont comme une bibliothèque bien organisée, où chaque livre (donnée) a sa place. Les avancées récentes les ont rendus encore plus efficaces. Par exemple, la convergence des lacs de données et des entrepôts de données a mené à une approche plus unifiée du stockage et de l’analyse des données. Cela signifie moins de mouvements de données et plus d’efficacité – un double avantage !

De plus, l’intégration de modèles d’apprentissage automatique et de capacités d’IA a automatisé l’analyse des données, fournissant des insights plus avancés. Imaginez avoir un bibliothécaire personnel qui non seulement sait où chaque livre se trouve mais peut aussi prédire quel livre vous aurez besoin ensuite !

Cependant, chaque rose a ses épines. Les entrepôts de données peuvent être complexes et coûteux à mettre en place et à maintenir. Ils peuvent également avoir du mal avec les données non structurées ou le traitement des données en temps réel.

Mais ils brillent lorsqu’il est nécessaire d’avoir des données structurées, historiques pour le reporting et l’analyse, ou lorsque les données de différentes sources doivent être intégrées et cohérentes.

D’autre part, les lacs de données sont comme un vaste océan de données brutes, non structurées. Ils sont flexibles et évolutifs, grâce au développement du Data Mesh. Cela permet une approche plus distribuée du stockage et de l’analyse des données. De plus, l’utilisation croissante de l’apprentissage automatique et de l’IA peut automatiser l’analyse des données, fournissant des insights plus avancés.

Cependant, sans une gestion adéquate, les lacs de données peuvent devenir des « marécages de données », avec des données devenant désorganisées et difficiles à trouver et à utiliser.

L’ingestion et l’intégration des données peuvent également être longues et complexes. Mais ils sont le choix par excellence lorsqu’il est nécessaire de stocker de grands volumes de données brutes, non structurées, ou lorsque le traitement des données en temps réel ou quasi temps réel est requis.

En profondeur

ENTREPOTS DE DONNEES

Les avancées

  1. Convergence des lacs de données et des entrepôts de données : Cela permet une approche plus unifiée du stockage et de l’analyse des données, réduisant le besoin de mouvements de données et augmentant l’efficacité.

  2. Streaming plus facile des données en temps réel : Cela permet des insights plus opportuns et une prise de décision plus rapide.

  3. Intégration de modèles d’apprentissage automatique et de capacités d’IA : Cela peut automatiser l’analyse des données et fournir des insights plus avancés.

  4. Identification et résolution plus rapides des problèmes de données : Cela améliore la qualité et la fiabilité des données.

Les limites

  1. Les entrepôts de données peuvent être complexes et coûteux à mettre en place et à maintenir.

  2. Ils peuvent ne pas convenir aux données non structurées ou au traitement des données en temps réel.

 

Meilleurs scénarios pour l’implémentation :

  1. Lorsqu’il est nécessaire d’avoir des données structurées, historiques pour le reporting et l’analyse.

  2. Lorsque les données de différentes sources doivent être intégrées et cohérentes.

LACS DE DONNEES

Les avancées

  1. Développement du Data Mesh : Cela permet une approche plus distribuée du stockage et de l’analyse des données, augmentant la scalabilité et la flexibilité.

  2. Utilisation croissante de l’apprentissage automatique et de l’IA : Cela peut automatiser l’analyse des données et fournir des insights plus avancés.

  3. Outils favorisant une approche structurée de développement-test-publication pour l’ingénierie des données : Cela peut améliorer la qualité et la fiabilité des données.

Les limites

  1. Les lacs de données peuvent devenir des « marécages de données » s’ils ne sont pas correctement gérés, avec des données devenant désorganisées et difficiles à trouver et à utiliser.

  2. L’ingestion et l’intégration des données peuvent être longues et complexes.

Meilleurs scénarios pour l’implémentation :

  1. Lorsqu’il est nécessaire de stocker de grands volumes de données brutes, non structurées.

  2. Lorsque le traitement des données en temps réel ou quasi temps réel est requis.

 

En conclusion, les entrepôts de données et les lacs de données ont tous deux leurs avantages et limites. Le choix entre eux dépend des besoins spécifiques et des circonstances de l’organisation.

C’est comme choisir entre une bibliothèque et un océan – les deux ont leur charme, mais le choix dépend de ce que vous recherchez. Ainsi, que vous soyez un passionné de technologie ou un leader d’entreprise, comprendre ces deux outils peut vous aider à prendre des décisions éclairées dans le monde de la technologie.

Après tout, dans le monde des données, la connaissance, c’est le pouvoir !

Cet article vous a inspiré ?
Artificial Intelligence, Business Intelligence, Clients, Data Governance, Data Marketing, Data visualisation, L'entreprise, Machine Learning, Self-service Analytics, Technology

Maîtriser Vos Données : l’essence et l’impact du catalogue de données décryptés

Dans le monde hyperconnecté d’aujourd’hui, où les données sont considérées comme le nouvel or, savoir les gérer et les exploiter s’avère essentiel pour les entreprises souhaitant prendre des décisions éclairées et rester compétitives. Le concept de « Data catalog », ou catalogue de données, émerge comme une réponse clé à ce défi, offrant une boussole dans l’océan vaste et souvent tumultueux des données.

Cet article vise à éclairer les enjeux et les avantages des data catalog, ces bibliothèques modernes où les metadonnées ne sont pas seulement stockées, mais rendues compréhensibles et accessibles. À travers l’automatisation de la documentation des metadonnées et la mise en place d’une gouvernance des données collaborative, les catalogues de données transforment la manière dont les organisations accèdent, comprennent et utilisent leurs précieuses informations.

En facilitant la découverte et le partage des données fiables, ils permettent aux entreprises de naviguer avec assurance vers une stratégie véritablement pilotée par les données.

Mais encore…

Un Data catalogue est un outil centralisé conçu pour gérer efficacement les données au sein d’une organisation. Selon Gartner, il maintient un inventaire des données actives en facilitant leur découverte, description et organisation.

L’analogie basique serait de dire qu’il s’agit d’un répertoire, une sorte d’annuaire où les lecteurs trouvent les informations dont ils ont besoin sur les livres et où ils se trouvent : titre, auteur, résumé, édition et avis des autres lecteurs.

Le but d’un data catalogue est de rendre la gouvernance des données collaborative, en améliorant l’accessibilité, l’exactitude et la pertinence des données pour l’entreprise. Il soutient la confidentialité des données et la conformité réglementaire grâce à un traçage intelligent du lignage des données et un suivi de la conformité​​.

Voici 5 raisons pour vos équipes data d'utiliser un data catalogue :

Data analysts / Business Analysts

Ils utilisent le data catalogue pour trouver et comprendre les données nécessaires à leurs analyses. Cela leur permet d’avoir accès rapidement aux données pertinentes, d’appréhender leur contexte et de garantir leur qualité et leur fiabilité pour les rapports et les analyses.

 

Data Scientists

Le data catalogue est essentiel pour localiser les datasets nécessaires à leurs modèles de machine learning et d’intelligence artificielle. Il facilite également la compréhension des métadonnées (provenance des données et les transformations qu’elles ont subies) ce qui est capital pour le pré-traitement des données.

 

Data Stewards (gestionnaires de données)

Ce sont eux qui sont responsables de la qualité, de la disponibilité et de la gouvernance des données. Ils utilisent le data catalogue pour documenter les métadonnées, gérer les standards de données, et surveiller la conformité et l’utilisation des données au sein de l’organisation.

 

Responsables de la conformité et de la sécurité

Le data catalogue les aide à assurer que les données sont gérées et utilisées conformément aux réglementations en vigueur, comme le RGPD pour la protection des données personnelles. Ils peuvent l’utiliser pour suivre l’accès aux données sensibles et auditer l’utilisation des données.

 

Architectes et ingénieurs de données

Ces techniciens s’appuient sur le data catalogue pour concevoir et maintenir l’infrastructure de données. Il leur fournit une vue d’ensemble des données disponibles, de leur structure et de leur interrelation, facilitant ainsi l’optimisation de l’architecture de données et l’intégration de nouvelles sources de données.

Attention il est important de noter que les utilisateurs métiers ne sont pas moins en reste de cet outil. En effet bien qu’ils ne soient pas des utilisateurs techniques, ils profitent du data catalogue pour accéder aux informations et insights nécessaires à la prise de décision. Le répertoire leur permet de trouver facilement les données pertinentes sans nécessiter de connaissances techniques approfondies.

Ce qu'il faut retenir

Un data catalogue sert à :

 

  • Améliorer la découverte et l’accès aux données

 

  • Renforcer la gouvernance des données

 

  • Améliorer de la qualité et de la fiabilité des données

 

  • Faciliter la collaboration entre les équipes

 

  • Optimiser l’utilisation des ressources de données

 

Grâce aux Data catalogues, tout comme nous le faisons désormais avec notre propre solution révolutionnaire DUKE, naviguez dans le paysage complexe des données dès aujourd’hui, offrez-vous le luxe d’accéder efficacement, de gérer et d’exploiter les données pour soutenir la prise de décision éclairée et l’innovation en entreprise.

Faites brillez vos équipes Data dès aujourd’hui et plongez sans plus attendre au cœur de notre projet DUKE

Business Intelligence, Company, CRM, Data Governance, Data Marketing, Data Mining and Data Integration, Data visualisation, L'entreprise, Machine Learning, Self-service Analytics, Technology

OFFRE D’EMPLOI-CONSULTANT DATA ENGINEER H/F – CDI

En recherche d’un nouveau challenge ?

Votre mission :

Accompagner nos clients dans leurs projets de transformation numérique et d’analyse de données.

Partenaires majeurs des entreprises de l’océan Indien pour leurs projets autour de la donnée, Datanalysis dans le cadre de son expansion recrute un Data Engineer

Véritable actif stratégique des entreprises, la donnée est aujourd’hui au cœur des enjeux de performance économique et concurrentielle. Nos équipes maîtrisent parfaitement son cycle de vie et les leviers pour que cette donnée devienne une information précieuse. Pour nous aider à aller encore plus loin et pour offrir une expertise additionnelle à nos clients, nous recherchons un profil alliant expertises technologiques et savoir-faire métier pour participer à la réalisation des projets de Data.

Intégré dans une équipe de 17 consultants sénior spécialisés en BI Self-Service, en Data visualisation, Machine Learning et IA, votre poste vous amènera sur les tâches suivantes :

  • Conception et mise en place de pipelines de données pour collecter, stocker et traiter les données chez nos clients
  • Optimisation de la performance et de l’évolutivité des systèmes de stockage de données pour améliorer les processus de nos clients
  • Mise en place de processus pour assurer la qualité des données et ainsi aider nos clients à prendre des décisions informées
  • Collaboration avec les équipes de développement pour intégrer les données dans les applications de nos clients
  • Mise en place de systèmes de surveillance pour assurer la disponibilité et l’intégrité des données pour nos clients

Vous aimez relever de nouveaux challenges. Vous savez faire preuve d’engagement pour réussir et évoluez aisément dans un environnement dynamique.

Vous vous intéressez naturellement à vos clients pour savoir dans quelle mesure vous pouvez les aider à résoudre leurs problèmes.

Vous possédez un bon esprit d’analyse et de synthèse, un excellent relationnel.

 

VOUS PROFITEREZ PLEINEMENT DE CE POSTE SI…

 

  • Vous disposez d’une forte appétence pour les nouvelles technologies
  • Expérience professionnelle dans la conception et la mise en place de pipelines de données pour des clients
  • Connaissance des outils de stockage de données tels que Hadoop, Spark, et NoSQL pour les implémenter chez nos clients
  • Connaissance des outils de gestion de données tels que Airflow, NiFi, ou Talend pour les implémenter chez nos clients
  • Bonne connaissance de SQL et des bases de données relationnelles pour les implémenter chez nos clients
  • Bonne connaissance des méthodes d’analyse de données pour les implémenter chez nos clients
  • Bonne capacité à communiquer en anglais et en français pour travailler efficacement avec nos clients
  • Vous faites également preuve également de capacités de gestion de projet, de recueil de besoins

La curiosité, l’intérêt pour le monde de la donnée, de la data visualisation et de l’IA sont des vrais plus.

Enfin, et surtout, vous êtes chaleureux, souriant et dynamique ! Vous aimez rendre service en apportant du soin à la qualité de votre travail.

 

OÙ TRAVAILLEREZ-VOUS ?

Le poste est basé à Saint Paul de la Réunion. Des déplacements sur toute l’île, et potentiellement sur l’île Maurice et Madagascar sont à prévoir.

 

POURQUOI REJOINDRE DATANALYSIS ?

We are data people and we rock, like you !

Business Intelligence, Data visualisation, Self-service Analytics, Stage, Technology

LE STORYTELLING de Sephora Panchbaya

Passionnée par l’analyse de données, à la recherche d’un stage et investie dans un projet très innovant au sein de son école, sa candidature a très rapidement retenu notre attention. Aucun regret! Nous avons partagé ces derniers mois à ses côtés…pépite !
Elle vous en dit plus :

À la sortie de mon BAC S, j’ai fait une première année de cours préparatoires en mathématiques et physique dans l’optique de devenir ingénieure. Un an après, j’ai réalisé que les cours théoriques ne me convenaient plus et que je voulais faire autre chose.

Je me suis donc dirigée vers Epitech, une école en 5 ans qui forme des experts en technologies de l’information et je me suis orientée vers le développement de jeux vidéo. Après la première année, je me suis rendu compte que ce monde n’était pas pour moi non plus.

Ayant un fort attrait pour les mathématiques et les statistiques, j’ai pendant longtemps cherché ce que je pourrai faire dans l’avenir.

Je me suis donc penchée sur le domaine de l’analyse de données. J’ai toujours trouvé fascinant tout ce qui pouvait être révélé lorsque l’on prenait le temps de comparer et d’analyser des données. Cependant, il est aussi facile de les manipuler pour leur faire dire ce que l’on souhaite.

Pour pouvoir me conforter dans cette idée, j’ai souhaité réaliser un stage au cœur de ce domaine pour ma 3e année. C’est là que j’ai rencontré Datanalysis, une petite entreprise réunionnaise et à fond dans l’innovation.

Durant les 4 mois qui ont suivi, j’ai pu m’intégrer très vite à leur équipe, découvrir leur monde et ce qu’ils y font.

J’ai pu réaliser diverses missions en interne qui m’ont permis d’acquérir énormément de connaissances dans ce domaine en peu de temps et de manière autonome. J’ai par exemple, appris à maîtriser Tableau Software, un outil majeur dans la visualisation de données mais également plein d’autres outils qui me seront très utiles dans l’avenir.

A la suite de ce stage, je m’envolerai vers une université d’Irlande pour me spécialiser dans la Data Analytics !

Nous sommes fiers d’avoir pu travaillé à ses côtés et de lui avoir fait découvrir l’accessibilité et la transparence des données. Nous encourageons tous les futurs étudiants, les passionnés, les déterminés ou même personnes en reconversion à découvrir ce « monde » qui nous entoure !

Découvrir notre playground !
Artificial Intelligence, Business Intelligence, Data Governance, Data Marketing, Data visualisation, Machine Learning, Self-service Analytics, Technology

DATA : les 7 pièges à éviter. Ep 3/7 – Erreurs Mathématiques : comment sont calculées les données ?

Nous avons tous un jour exprimé notre incrédulité quant à l’intérêt des mathématiques dans notre vie quotidienne. A quoi ce sujet dense et complexe pouvait bien servir ? Et bien, dans un monde où les données sont présentes partout et infusent chaque décision stratégique des organisations, les mathématiques sont d’une importance vitale (nda : elles l’ont toujours été !)

Dans nos projets d’analyse de données, les erreurs mathématiques peuvent arriver dès lors qu’un champ calculé est créé pour générer des informations supplémentaires à partir de notre jeu de données initial. Ce type d’erreur peut être retrouvé par exemple lorsque :

  • On réalise des agrégations (somme, moyenne, médiane, minimum, maximum, comptage, comptage distinct etc.) à différents niveaux de détail
  • Nous faisons des divisions pour produire des ratios ou des pourcentages
  • Nous travaillons avec des unités différentes

Il s’agit évidemment d’une infime partie des types d’opérations où des erreurs peuvent se glisser. Mais au regard de notre expérience, ce sont les causes principales de problème que nous rencontrons.

Et, dans chacun de ces cas, il ne faut pas être un ingénieur ou scientifique de génie pour les corriger. Un peu d’attention et pas mal de rigueur sont nécessaires !

1. Les erreurs de traitement d’unité

Dans cet article, nous n’allons pas trop nous attarder sur cette erreur fréquente. En effet, il existe un nombre important d’articles et d’anecdotes qui illustrent parfaitement et en détail ce type de problématique (dont nous avons également parlé dans l’article précédent).

L’exemple le plus fameux, et coûteux, est le crash de la sonde « Mars Orbiter ». Si vous voulez en savoir plus alors cela sera par ici : Mars Climate Orbiter – Wikipedia

Vous pouvez arguer qu’aucun d’entre nous ne fait partie de la NASA et doit poser une sonde sur une planète lointaine et donc ne pas être concerné. Et bien, vous pouvez à votre mesure, vous retrouver nez à nez avec ce type d’erreur lorsque vous manipulez des données temporelles (heures, jours, secondes, minutes, années), financières (différentes devises), ou que vous gériez des stocks (unités, kilos, palettes, barres etc.).

2. Aggravation des agrégations

Nous agrégeons des données lorsque nous regroupons des enregistrements qui ont un attribut en commun. Il y a toutes sortes de regroupements de ce genre que nous traitons dans notre monde dès lors que nous pouvons établir des liens hiérarchiques ; le temps (jour, semaine, mois, années), la géographie (villes, région, pays), les organisations (employés, équipes, sociétés) etc.

Les agrégations sont un outil puissant pour appréhender le monde, mais attention, elles comportent plusieurs facteurs de risque :

  • Les agrégations résument une situation et ne présentent pas les informations détaillées. Tous ceux qui ont participé à une formation sur la datavisualisation avec nos équipes sont familiers du quarter d’Anscombe :

Le résumé statistique est un exemple typique de ce que peuvent masquer des agrégats. Dans cet exemple les quatre jeux de données ont exactement les mêmes sommes, moyennes et déviation standards sur les deux coordonnées (X,Y). Lorsque l’on représente chacun des points sur des courbes, il est aisé de constater que les 4 histoires sont significativement différentes.

Dès lors que des données sont agrégées, nous essayons de résumer une situation. Il faut toujours se rappeler que ce résumé masque les détails et le contexte qui l’expliquent. Alors soyez prudent lorsque, lors d’une discussion, vos interlocuteurs ne parlent que de valeurs moyenne, de sommes ou de médiane sans entrer dans le détail de ce qui a pu engendrer ce scénario précis.

  • Les agrégations peuvent également masquer les valeurs manquantes et induire en erreur. En effet, selon la façon dont nous représentons des informations, il est possible que le fait que des données soient manquantes ne soit pas clairement visibles de prime abord.

Prenons par exemple un jeu de données dans lequel nous observons pour une compagnie aérienne le nombre d’impacts d’oiseaux sur des avions.

Notre objectif est de déterminer le (ou les) mois de l’année où le plus d’incidents ont été relevés. Cela donne :

Le mois de juillet semble être le mois où le nombre d’impacts décomptés a été le plus important. Toutefois, si nous regardons le détail par année, nous nous rendons compte que l’agrégation choisie pour répondre à notre interrogation ne permettait pas de déterminer que les saisies pour l’année 2017 s’arrêtaient lors de ce fameux mois de juillet :

La réponse à notre question était donc le mois d’Août si nous excluons les données de l’année pour laquelle nous n’avions pas tous les enregistrements.

  • Totaux et agrégations :

Dernier exemple de problématiques liées aux agrégations que nous allons découvrir dans cet article. Il s’agit d’une des erreurs « favorites » de l’auteur de cet article. D’aucun pourrait même parler de spécialité !

Elle intervient lorsqu’il est nécessaire de compter les individus distincts dans une population donnée. Mettons que nous regardons notre base client et cherchons à savoir combien d’individus uniques sont présents dans celle-ci.

Le comptage des id distincts pour l’ensemble de la société nous donne un décompte de nos clients uniques :

Mais si l’on regarde par ligne de produit et affichons une somme sans y prêter attention :

Nous trouvons 7 clients de plus !

Cela arrive simplement car il existe dans la clientèle de la société étudiée des clients qui prennent à la fois des prestations ET des licences, et qui finissent par être comptés deux fois dans le total !

Il s’agit d’un problème ayant des solutions simples dans tous les logiciels modernes de datavisualisation et de BI mais celui-ci à tendance à se cacher au détour d’une série de calculs et d’agrégations, causant des écarts parfois surprenants en bout de chaîne.

3. Panique à bord, un ratio !

Nous allons illustrer ce point avec un exemple sorti de l’un des dashboards que nous avons fait pour un de nos clients. Avec toute notre expertise, il nous arrive aussi de sauter à pieds joints dans ce type d’erreurs :

Et oui, il s’agit d’un taux d’occupation qui excède « légèrement » les 100% !

Comment est-ce possible ? Un simple oubli !

La somme des divisions n’est pas égale à la division des sommes…

En effet, dans ce cas précis, nous avions un jeu de données similaire à celui ci-dessous :

Est-ce que le taux d’occupation est égal à :

  • La somme des taux d’occupation individuels ? FAUX !

Cela nous donne un total de 30 % + 71 % + 100 % + 50 % + 92 % +70 % soit 414 %.

Et c’est exactement l’erreur que nous avons faite sur un jeu de données encore plus vaste…

  • Ou le ratio du total des passagers sur le total de la capacité disponible ? 125/146 = 86%. C’est plus juste !

Remarque : la moyenne des taux d’occupation individuels serait également fausse.

En résumé, dès lors que l’on manipule un ratio, il s’agit de diviser le total des valeurs du numérateur et du dénominateur pour éviter ce type de soucis.

Il s’agit dans ce cas précis d’un seul exemple d’erreur liée au ratio. Des mentions honorables peuvent être attribuées au traitement des valeurs NULL dans un calcul, ou à la comparaison de ratios qui ne sont pas calculés avec les mêmes dénominateurs.

Dans le prochain article, nous allons explorer le 4ème type d’obstacle que nous pouvons rencontrer lorsque nous utilisons les données pour éclairer le monde qui nous entoure :

Les dérapages statistiques. (Spoilers : « There are lies, damned lies and statistics » B.Disraeli)

Cet article est inspiré fortement par le livre ” Avoiding Data pitfalls – How to steer clear of common blunders when working with Data and presenting Analysis and visualisation” écrit par Ben Jones, Founder and CEO de Data Litercy, édition WILEY. Nous vous recommandons cette excellente lecture!

 Pour retrouver l’intégralité des sujets qui seront abordés au cours de cette série par ici : https://www.datanalysis.re/blog/business-intelligence/data-les-7-pieges-a-eviter-intro/

Business Intelligence, Change and Project Management, Clients, Data Marketing, Data Mining and Data Integration, Machine Learning, Self-service Analytics, Technology

OFFRE D’EMPLOI-CONSULTANT SÉNIOR BI & DATA VISUALISATION H/F – CDI

En recherche d’un nouveau challenge ?

Votre mission :

Accompagner nos clients dans leurs projets de transformation numérique et d’analyse de données.
Partenaires majeurs des entreprises de l’océan Indien pour leurs projets autour de la données, DATANALYSIS dans le cadre de son expansion recrute un Consultant Sénior BI & Data Visualisation.

Véritable actif stratégique des entreprises, la donnée est aujourd’hui au cœur des enjeux de performance économique et concurrentielle. Nos équipes maîtrisent parfaitement son cycle de vie et les leviers pour que cette donnée devienne une information précieuse. Pour nous aider à aller encore plus loin et pour offrir une expertise additionnelle à nos clients, nous recherchons un profil alliant expertises technologiques et savoir-faire métier pour participer à la réalisation des projets de Business Intelligence de nos clients.

Intégré à une équipe de 8 consultants sénior spécialisés en BI Self-Service, en Data visualisation, Machine Learning et IA, votre poste vous amènera à :
• Participer au cadrage des besoins des entreprises,
• Être force de proposition quant à la réalisation de solutions décisionnelles, en mode Agile,
• Proposez des analyses visuelles claires et génératrices de valeur pour leurs utilisateurs,
• Exploiter vos compétences techniques dans le traitement et la valorisation des données.

Vous aimez relever les nouveaux défis et vous savez faire preuve d’engagement pour réussir et évoluez aisément dans un environnement dynamique.

Vous vous intéressez naturellement à vos clients pour savoir dans quelle mesure vous pouvez les aider à résoudre leurs problèmes.

Vous possédez un bon esprit d’analyse et de synthèse, un excellent relationnel.

Skills incontournables :
  • Dataviz (Tableau ou Power BI ou Qlik)
  • Base de données
  • ETL (Talend, SSIS, etc)

 

VOUS PROFITEREZ PLEINEMENT DE CE POSTE SI…

• Vous disposez d’une forte appétence pour les nouvelles technologies.
• Vous avez des compétences avancées dans l’une ou plusieurs des technologies suivantes :
o 3-5 ans d’expérience minimum sont attendus en développement sur Qlikview/Qliksense
o Des compétences Tableau Software sont un vrai plus
• Vous faites également preuve également de capacités de gestion de projet, de recueil de besoin,
La curiosité, l’intérêt pour le monde de la donnée, de la data visualisation et de l’IA sont des vraies plus.

Enfin, et surtout, vous êtes chaleureux, souriant, dynamique et vous avez un bon esprit d’équipe. Vous aimez rendre service en apportant du soin à la qualité de votre travail.

 

OÙ TRAVAILLEREZ-VOUS ?

Le poste est basé à la Saline, commune de Saint Paul, la Réunion. Des déplacements sur toute l’île, et potentiellement sur l’île Maurice et Madagascar sont à prévoir.

 

POURQUOI REJOINDRE DATANALYSIS ?

We are data people and we rock, like you !

Technology

International Girls in ICT Day

 

Expand Horizons, Change Attitudes!

International Girls in ICT Day is celebrated every year on the fourth Thursday of April and was celebrated on 25 April 2019​.

This year Business Lab Consulting is the proud sponsor of Girls in ICT Day in Mauritius. We participated in the workshops to bring awareness of the power and possibilities a career in technology can offer to young girls and women across schools, universities, ICT companies and government offices.