Data Governance

Artificial Intelligence, Business Intelligence, Data Governance, Data Marketing, Data visualisation, Machine Learning, Self-service Analytics, Technology

DATA : les 7 pièges à éviter. Ep 3/7 – Erreurs Mathématiques : comment sont calculées les données ?

Nous avons tous un jour exprimé notre incrédulité quant à l’intérêt des mathématiques dans notre vie quotidienne. A quoi ce sujet dense et complexe pouvait bien servir ? Et bien, dans un monde où les données sont présentes partout et infusent chaque décision stratégique des organisations, les mathématiques sont d’une importance vitale (nda : elles l’ont toujours été !)

Dans nos projets d’analyse de données, les erreurs mathématiques peuvent arriver dès lors qu’un champ calculé est créé pour générer des informations supplémentaires à partir de notre jeu de données initial. Ce type d’erreur peut être retrouvé par exemple lorsque :

  • On réalise des agrégations (somme, moyenne, médiane, minimum, maximum, comptage, comptage distinct etc.) à différents niveaux de détail
  • Nous faisons des divisions pour produire des ratios ou des pourcentages
  • Nous travaillons avec des unités différentes

Il s’agit évidemment d’une infime partie des types d’opérations où des erreurs peuvent se glisser. Mais au regard de notre expérience, ce sont les causes principales de problème que nous rencontrons.

Et, dans chacun de ces cas, il ne faut pas être un ingénieur ou scientifique de génie pour les corriger. Un peu d’attention et pas mal de rigueur sont nécessaires !

1. Les erreurs de traitement d’unité

Dans cet article, nous n’allons pas trop nous attarder sur cette erreur fréquente. En effet, il existe un nombre important d’articles et d’anecdotes qui illustrent parfaitement et en détail ce type de problématique (dont nous avons également parlé dans l’article précédent).

L’exemple le plus fameux, et coûteux, est le crash de la sonde « Mars Orbiter ». Si vous voulez en savoir plus alors cela sera par ici : Mars Climate Orbiter – Wikipedia

Vous pouvez arguer qu’aucun d’entre nous ne fait partie de la NASA et doit poser une sonde sur une planète lointaine et donc ne pas être concerné. Et bien, vous pouvez à votre mesure, vous retrouver nez à nez avec ce type d’erreur lorsque vous manipulez des données temporelles (heures, jours, secondes, minutes, années), financières (différentes devises), ou que vous gériez des stocks (unités, kilos, palettes, barres etc.).

2. Aggravation des agrégations

Nous agrégeons des données lorsque nous regroupons des enregistrements qui ont un attribut en commun. Il y a toutes sortes de regroupements de ce genre que nous traitons dans notre monde dès lors que nous pouvons établir des liens hiérarchiques ; le temps (jour, semaine, mois, années), la géographie (villes, région, pays), les organisations (employés, équipes, sociétés) etc.

Les agrégations sont un outil puissant pour appréhender le monde, mais attention, elles comportent plusieurs facteurs de risque :

  • Les agrégations résument une situation et ne présentent pas les informations détaillées. Tous ceux qui ont participé à une formation sur la datavisualisation avec nos équipes sont familiers du quarter d’Anscombe :

Le résumé statistique est un exemple typique de ce que peuvent masquer des agrégats. Dans cet exemple les quatre jeux de données ont exactement les mêmes sommes, moyennes et déviation standards sur les deux coordonnées (X,Y). Lorsque l’on représente chacun des points sur des courbes, il est aisé de constater que les 4 histoires sont significativement différentes.

Dès lors que des données sont agrégées, nous essayons de résumer une situation. Il faut toujours se rappeler que ce résumé masque les détails et le contexte qui l’expliquent. Alors soyez prudent lorsque, lors d’une discussion, vos interlocuteurs ne parlent que de valeurs moyenne, de sommes ou de médiane sans entrer dans le détail de ce qui a pu engendrer ce scénario précis.

  • Les agrégations peuvent également masquer les valeurs manquantes et induire en erreur. En effet, selon la façon dont nous représentons des informations, il est possible que le fait que des données soient manquantes ne soit pas clairement visibles de prime abord.

Prenons par exemple un jeu de données dans lequel nous observons pour une compagnie aérienne le nombre d’impacts d’oiseaux sur des avions.

Notre objectif est de déterminer le (ou les) mois de l’année où le plus d’incidents ont été relevés. Cela donne :

Le mois de juillet semble être le mois où le nombre d’impacts décomptés a été le plus important. Toutefois, si nous regardons le détail par année, nous nous rendons compte que l’agrégation choisie pour répondre à notre interrogation ne permettait pas de déterminer que les saisies pour l’année 2017 s’arrêtaient lors de ce fameux mois de juillet :

La réponse à notre question était donc le mois d’Août si nous excluons les données de l’année pour laquelle nous n’avions pas tous les enregistrements.

  • Totaux et agrégations :

Dernier exemple de problématiques liées aux agrégations que nous allons découvrir dans cet article. Il s’agit d’une des erreurs « favorites » de l’auteur de cet article. D’aucun pourrait même parler de spécialité !

Elle intervient lorsqu’il est nécessaire de compter les individus distincts dans une population donnée. Mettons que nous regardons notre base client et cherchons à savoir combien d’individus uniques sont présents dans celle-ci.

Le comptage des id distincts pour l’ensemble de la société nous donne un décompte de nos clients uniques :

Mais si l’on regarde par ligne de produit et affichons une somme sans y prêter attention :

Nous trouvons 7 clients de plus !

Cela arrive simplement car il existe dans la clientèle de la société étudiée des clients qui prennent à la fois des prestations ET des licences, et qui finissent par être comptés deux fois dans le total !

Il s’agit d’un problème ayant des solutions simples dans tous les logiciels modernes de datavisualisation et de BI mais celui-ci à tendance à se cacher au détour d’une série de calculs et d’agrégations, causant des écarts parfois surprenants en bout de chaîne.

3. Panique à bord, un ratio !

Nous allons illustrer ce point avec un exemple sorti de l’un des dashboards que nous avons fait pour un de nos clients. Avec toute notre expertise, il nous arrive aussi de sauter à pieds joints dans ce type d’erreurs :

Et oui, il s’agit d’un taux d’occupation qui excède « légèrement » les 100% !

Comment est-ce possible ? Un simple oubli !

La somme des divisions n’est pas égale à la division des sommes…

En effet, dans ce cas précis, nous avions un jeu de données similaire à celui ci-dessous :

Est-ce que le taux d’occupation est égal à :

  • La somme des taux d’occupation individuels ? FAUX !

Cela nous donne un total de 30 % + 71 % + 100 % + 50 % + 92 % +70 % soit 414 %.

Et c’est exactement l’erreur que nous avons faite sur un jeu de données encore plus vaste…

  • Ou le ratio du total des passagers sur le total de la capacité disponible ? 125/146 = 86%. C’est plus juste !

Remarque : la moyenne des taux d’occupation individuels serait également fausse.

En résumé, dès lors que l’on manipule un ratio, il s’agit de diviser le total des valeurs du numérateur et du dénominateur pour éviter ce type de soucis.

Il s’agit dans ce cas précis d’un seul exemple d’erreur liée au ratio. Des mentions honorables peuvent être attribuées au traitement des valeurs NULL dans un calcul, ou à la comparaison de ratios qui ne sont pas calculés avec les mêmes dénominateurs.

Dans le prochain article, nous allons explorer le 4ème type d’obstacle que nous pouvons rencontrer lorsque nous utilisons les données pour éclairer le monde qui nous entoure :

Les dérapages statistiques. (Spoilers : « There are lies, damned lies and statistics » B.Disraeli)

Cet article est inspiré fortement par le livre ” Avoiding Data pitfalls – How to steer clear of common blunders when working with Data and presenting Analysis and visualisation” écrit par Ben Jones, Founder and CEO de Data Litercy, édition WILEY. Nous vous recommandons cette excellente lecture!

 Pour retrouver l’intégralité des sujets qui seront abordés au cours de cette série par ici : https://www.datanalysis.re/blog/business-intelligence/data-les-7-pieges-a-eviter-intro/

Business Intelligence, Clients, Company, CRM, Data Governance, Data Marketing, Data Mining and Data Integration, Data Quality Management, Data visualisation, Data Warehouse, Machine Learning, Self-service Analytics

DATA: les 7 pièges à éviter. Ep 2/7 – Erreurs techniques : comment sont créées les données?

Après avoir défini quelques concepts primordiaux au regard de la donnée, nous pouvons nous plonger dans les sujets techniques qui peuvent être source d’erreur. Cet article traite des problématiques liées au process permettant d’obtenir les données qui seront par la suite exploitées. Il s’agit de la construction des fondations de nos analyses.

Et il est évident que nous ne souhaitons pas bâtir un château de cartes sur du sable !

Pour rester dans cette métaphore de la construction, si des problèmes de cette nature existent, ceux-ci seront cachés et peu visibles dans l’édifice final. Il est donc nécessaire d’apporter un soin particulier lors des étapes de collecte, de traitement, de nettoyage des données. Ce n’est pas pour rien que l’on estime que 80% du temps passé sur un projet de data science est consommé sur ce type de tâches. 

Afin d’éviter de tomber dans ce piège et de limiter la charge nécessaire à la réalisation de ces opérations qui peuvent être fastidieuses, il faut accepter trois principes fondamentaux :

  • Virtuellement tous les jeux de données ne sont pas propres et doivent être nettoyés et mis en forme
  • Chaque transition (formatage, jointure, liaison, etc.) lors des étapes de préparation est source potentiel d’une nouvelle erreur
  • Il est possible d’apprendre des techniques pour éviter la création des erreurs issues des deux premiers principes.

Accepter ces principes n’enlève pas l’obligation de passer par ce travail préalable à toute analyse mais, bonne nouvelle : savoir identifier ces risques et apprendre au fur et à mesure de nos projets, permet de limiter la portée de ce deuxième obstacle.

1. Le piège des données sales.

Les données sont sales. Je dirais même plus, toutes les données sont sales (voir premier principe énoncé précédemment), problématique de formatage, de saisie, d’unités incohérentes, de valeurs NULL etc.

Quelques exemples de ce piège sont très connus

Nous pouvons citer le crash de la sonde Mars Climate Orbiter de la NASA en 1999, par exemple. Une erreur à 125 millions de dollars qui a été causée par un double système d’unité : unités impériales et unités issues du système métriques. Cela a occasionné un calcul erroné qui a joué sur la puissance envoyée aux propulseurs de la sonde et à la destruction de celle-ci.

Heureusement, toutes les erreurs de cette nature ne vont pas nous coûter autant d’argent ! Mais elles auront malgré tout des impacts significatifs sur les résultats et le ROI des analyses que nous sommes amenés à mener.

Ainsi, chez DATANALYSIS, nous menons actuellement plusieurs projets spécifiquement sur la qualité de données dans le cadre de sujet de DATA Marketing et nous faisons face à deux types de sujet :

  • La validation des données qui visent à essayer d’améliorer la qualité de celle-ci grâce aux traitements des données, en :

-Normalisant les champs (numéro de téléphone, email etc.) : +262 692 00 11 22 / 00262692001122 / 06-92-00-11-22 correspondent à la même ligne et nous pouvons grâce à des traitements adaptés automatiser une grande partie de ce travail ;

– Complétant des champs vides grâce aux autres données présentes dans la table. Nous pouvons par exemple déduire le pays de résidence à partir des indicatifs téléphoniques, des codes postaux, des villes etc.

 

  • La déduplication, en :

-Cherchant à identifier grâce à des règles adaptées des lignes potentiellement identiques. Deux enregistrements ayant le même mail, ou le même numéro de téléphone, ou le même identifiant pour les entreprises ;

-Cherchant grâce à des algorithmes de calcul de distance à définir les valeurs proches en termes d’orthographe, de prononciation, de caractères communs etc.

Au regard de ces quelques exemples et de nos propres expériences, il est possible de constater que ce type d’erreur provient principalement des processus de saisie, de collecte ou de « scrapping » des données qu’ils soient mis en œuvre automatiquement ou par des humains. Ainsi outre les solutions que l’on peut mettre en œuvre dans les traitements de préparations de données, l’amélioration de ces étapes préalables permettra également d’améliorer grandement la qualité des données à traiter, et cela passe par l’éducation, la formation et la définition de règles et de normes clairement connues et partager (la data gouvernance n’est jamais loin).

Enfin, il convient également de se demander au regard de cette étape, quand nous pouvons considérer comme suffisamment propre. En effet, nous pouvons toujours faire plus et mieux, mais souvent les coûts engendrés peuvent dépasser les retours espérés.

2. Le piège des transformations des données

Dans le monde informatique, il existe une image visant à résumer ce type de problématique :

Souvent l’erreur se situe entre l’écran et le siège !

Et oui, même les meilleurs data scientists, data analysts ou data engineers peuvent se tromper dans les étapes de nettoyage, de transformation et de préparation des données.

Fréquemment, nous manipulons plusieurs fichiers issus de différentes sources, de différentes applications, ce qui multiplie les risques liés aux problématiques de données sales et les risques lors de la manipulation des fichiers en eux-mêmes :

  • Niveaux de granularités différents
  • Jointure sur des champs dont les valeurs ne sont pas exactement identiques (ST-DENIS vs SAINT DENIS par exemple)
  • Périmètre couverts différents sur les fichiers.

Et ce problème peut être également rendu plus complexe en fonction des outils utilisés dans le cadre de nos analyses :

  • Dans Tableau par exemple nous pouvons faire des jointures, des relations ou des liaisons de données pour lier plusieurs jeux de données entre eux. Chaque type d’opération a ses propres règles, contraintes.
  • Dans Qlik, il est nécessaire de bien comprendre comment fonctionne le moteur associatif et les règles de modélisation associées qui diffèrent de celles d’un modèle décisionnel traditionnel.

Il s’agit dans ce cas souvent de contraintes techniques liées au métier même de préparation de données et prendre le temps d’appréhender les risques et les processus en place permettra de gagner un temps important sur la mise à disposition d’analyse de données fiables et performantes.

Dans le prochain article, nous allons explorer le 3ème type d’obstacle que nous pouvons rencontrer lorsque nous utilisons les données pour éclairer le monde qui nous entoure : Les Erreurs Mathématiques

Cet article est inspiré fortement par le livre ” Avoiding Data pitfalls – How to steer clear of common blunders when working with Data and presenting Analysis and visualisation” écrit par Ben Jones, Founder and CEO de Data Litercy, édition WILEY. Nous vous recommandons cette excellente lecture!

 Pour retrouver l’intégralité des sujets qui seront abordés au cours de cette série par ici : https://www.datanalysis.re/blog/business-intelligence/data-les-7-pieges-a-eviter-intro/

Artificial Intelligence, Business Intelligence, Clients, Company, Data Governance, Data Marketing, Data Mining and Data Integration, Data visualisation, Machine Learning

DATA : les 7 pièges à éviter. Ep 1/7 – Erreurs Epistémologiques : comment pense-t-on aux données ?

Commençons par définir ce qu’est l’épistémologie.

L’épistémologie (du grec ancien ἐπιστήμη / epistémê « connaissance vraie, science » et λόγος / lógos « discours ») est un domaine de la philosophie qui peut désigner deux champs d’étude : l’étude critique des sciences et de la connaissance scientifique (ou de l’œuvre scientifique).

Autrement dit, il s’agit de la manière dont nous construisons nos connaissances.

Dans le monde de la donnée, il s’agit d’un sujet central et critique. En effet, nous avons été familiarisés avec le processus de transformation de la donnée, en informations, en connaissance et en élément de sagesse :

Ici le problème trouve sa source dans la manière dont nous considérons notre point de départ : les données ! En effet, l’utilisation de celle-ci et sa transformation au cours des étapes suivantes relèvent de procédés et processus conscients et maîtrisés :

==>Je nettoie ma donnée, la traite dans un ETL / ELT, la stocke, la visualise, communique mon résultat et le partage etc. Cette maîtrise nous donne le contrôle sur la qualité des étapes. Toutefois, on aura tendance à se lancer dans ce travail de transformation de notre ressource primaire en omettant un point crucial, source de notre premier obstacle :

LA DONNEE N’EST PAS UNE REPRESENTATION EXACTE DU MONDE REEL !

En effet, il est excessivement simple de travailler avec des données en pensant aux données comme étant la réalité elle-même et pas comme des données collectées à propos de la réalité. Cette nuance est primordiale :

  • Ce n’est pas la criminalité, mais les crimes déclarés
  • Ce n’est pas le diamètre d’une pièce mécanique mais le diamètre mesuré de cette pièce
  • Ce n’est pas le sentiment du public par rapport à un sujet mais le sentiment déclaré des personnes qui ont répondu à un sondage

Entrons dans le détail de cet obstacle avec quelques exemples :

1. Ce que nous ne mesurons pas (ou ce que nous ne mesurions pas)

Regardons ensemble ce dashboard présentant l’ensemble des impacts de météorites sur la Terre entre -2500 et 2012. Pouvez vous identifiez ce qu’il y a d’étranges ici ?

Les météorites semblent avoir évité soigneusement certaines parties de la planète, une large part de l’Amérique du Sud, de l’Afrique, de la Russie, du Groenland etc. Et si l’on se concentre sur le graphique montrant le nombre de météorites par années, que celles-ci ont eu tendance à tomber plutôt dans les 50 dernières années (et presque pas sur l’ensemble de la période couvrant -2055 à 1975).

Est-ce qu’il s’agit bien de la réalité ? Ou plutôt de défauts dans la manière dont les données ont été collectées

  • Nous avons commencé à collecter systématiquement ces informations récemment et nous basons sur l’archéologie pour essayer de déterminer les impacts du passé. L’érosion et le temps faisant leurs œuvres, les traces de la grande majorité des impacts ont ainsi disparu et ceux-ci ne peuvent donc plus être comptabilisés (et non, les météorites n’ont pas commencé à pleuvoir en 1975).
  • Pour qu’un impact de météorite soit intégré dans une base de données, il faut que celui-ci soit enregistré. Et pour cela, il faut une observation, et donc un observateur et que celui-ci sache à qui remonter cette information. Deux biais impactant largement la collecte et permettant d’expliquer les larges zones de Terre qui semblent avoir été épargnées par la chute de météorite.

2. Le système de mesure ne fonctionne pas

Parfois, la cause de cet écart entre la donnée et la réalité peut être expliqué par un défaut du matériel de collecte. Malheureusement, tout ce qui est fabriqué par un être humain en ce bas monde est susceptible d’être défaillant. Cela vaut pour les capteurs et les instruments de mesure évidemment.

Que s’est-il passé les 28 et 29 avril 2014 sur ce pont ? Il semblerait qu’il y ait un énorme pic de traversée du pont de Fremont par des vélos mais uniquement dans un seul sens (courbe bleue).

Source : 7 datapitfalls – Ben Jones

Série temporelle du nombre de vélos traversant le pont de Fremont

On pourrait penser qu’il s’agissait d’une magnifique journée d’été et que tout le monde est passé sur le pont en même temps ? D’une course de vélos n’empruntant celui-ci que dans un sens ? Que tous les pneus de toutes les personnes ayant traversé le pont à l’aller ont crevé avant le retour ?

Plus prosaïquement, il s’avère que le compteur bleu avait un défaut ces jours précis et ne comptait plus correctement les traversées du pont. Un simple changement de batterie et du capteur et le problème a été résolu.

Maintenant, posez vous la question du nombre de fois où vous avez pu être induit en erreur par des données issues d’un capteur ou d’une mesure défaillante sans que cela n’ait été perçu ?

3. Les données sont trop humaines

Et oui, nos propres biais humains ont un effet important sur les valeurs que nous enregistrons lors de la collecte d’informations. Nous avons par exemple tendance à arrondir les résultats des mesures :

Source : 7 datapitfalls – Ben Jones

Si l’on s’en fit à ses données, le changement des couches se fait plus régulièrement toutes les 10 minutes (0, 10, 20, 30, 40, 50) et parfois sur certains quarts d’heure (15, 45). Cela serait assez incroyable n’est-ce pas ?

Il s’agit bien d’un récit incroyable. En effet, il faut se pencher ici sur la manière dont les données ont été collectées. En tant qu’être humain, nous avons cette tendance à arrondir les informations lorsque nous les enregistrons, notamment lorsque nous regardons une montre ou une horloge : pourquoi ne pas indiquer 1:05 lorsqu’il est 1 :04 ? ou encore plus simple 1:00 car c’est plus simple encore ?

On retrouvera ce type de simplification humaine dans toutes les collectes de mesures : poids, tailles, etc.

4. Le Cygne Noir !

Dernier exemple que nous souhaitons mettre en avant ici, et ce que l’on appelle l’effet « Cygne Noir ». Si nous pensons que les données dont nous disposons sont une représentation exacte du monde qui nous entoure et que nous pouvons en sortir des affirmations à graver dans le marbre ; alors nous nous trompons fondamentalement sur ce qu’est une donnée (cf. précédemment).

Le meilleur usage des données est d’apprendre ce qui n’est pas vrai à partir d’une idée préconçue et de nous guider dans les questions que nous devons nous poser pour en apprendre plus ?

Mais revenons à notre cygne noir :

Avant la découverte de l’Australie, toutes les observations de cygne jamais faite pouvaient conforter les européens que tous les cygnes étaient blancs, à tort ! En 1697, l’observation d’un cygne noir a remis intégralement en question cette préconception commune.

Et le lien avec les données ? De la même manière que l’on aura tendance à croire qu’une observation répétée est une vérité générale ; à tort ; on peut être amener à inférer que ce que nous voyons dans les données que nous manipulons peut s’appliquer de manière générale au monde qui nous entoure et à toute époque. C’est une erreur fondamentale dans l’appréciation des données.

5. Comment se prémunir de l’erreur épistémologique ?

Il suffit pour cela d’une légère gymnastique mentale et d’un peu de curiosité :

  • Comprendre clairement comment ont été définies les mesures
  • Comprendre et représenter le processus de collection des données
  • Identifier les limites et erreurs de mesure possibles dans les données utilisées
  • Identifier les changements dans la méthode et les outils de mesure dans le temps
  • Comprendre les motivations des personnes ayant collecté les données

Dans le prochain article, nous allons explorer le 2ème type d’obstacle que nous pouvons rencontrer lorsque nous utilisons les données pour éclairer le monde qui nous entoure : Les Erreurs Techniques 

Cet article est inspiré fortement par le livre « Avoiding Data pitfalls – How to steer clear of common blunders when working with Data and presenting Analysis and visualisation” écrit par Ben Jones, Founder and CEO de Data Litercy, edition WILEY. Nous vous recommandons cette excellente lecture!

Pour retrouver l’intégralité des sujets qui seront abordés au cours de cette série par ici : https://www.datanalysis.re/blog/business-intelligence/data-les-7-pieges-a-eviter-ep-1-7/

Business Intelligence, Data Governance, Data Marketing, Data Mining and Data Integration, Data visualisation

DATA : les 7 pièges à éviter. L’introduction.

DATA ! DATA ! Partout des DATA !

De nos jours, la donnée est partout, mise en avant dans tous les nouveaux projets et toutes les stratégies d’entreprise. C’est la clé de la performance dans une époque pleine d’incertitudes. Chez Datanalysis, nous en sommes les premiers convaincus car il s’agit d’un outil puissant et accélérateur de performance… lorsque celle-ci est bien utilisée, bien comprise et bien maîtrisée !

Dans cette nouvelle série d’articles, nous allons donc parler du grand méchant loup ; du diable qui se cache dans le détail (ou qui se révèle parfois au grand jour) et évoquer avec vous les 7 principaux types de pièges posés par la donnée et son usage. Nous tâcherons autant que possible de les illustrer par un exemple de notre propre expérience car en tant qu’experts nous avons eu la chance de faire face dans nos missions à chacun d’entre eux…

Remarque : Ces pièges sont ceux évoqués dans le livre de Ben Jones, « 7 data pitfalls » que nous vous conseillons chaudement !

Trêve de suspense, dévoilons à présent les 7 familles de péchés capitaux de la DATA que nous allons explorer plus en détail pendant les 7 prochaines semaines :

1. Erreurs Epistémologiques : comment pense-t-on aux données ?

Souvent nous utilisons les données avec le mauvais état d’esprit ou des préconceptions erronées. Ainsi, si nous nous attaquons à un projet d’analyse en pensant que les données sont une représentation parfaite de la réalité ; que nous établissons des conclusions définitives sur la base de prédiction sans les remettre en question ; ou que nous cherchons dans les informations disponibles tout ce qui pourrait confirmer une opinion déjà faite ; alors nous pouvons créer des erreurs critiques dans les fondations même de ces projets.

2. Erreurs Techniques : comment sont traitées les données ?

Les enjeux techniques et technologies sont souvent une source importante d’erreurs dans le monde de la donnée. Une fois que l’on a identifié les informations dont on a besoin se dresse devant nous une série importante d’obstacles à franchir. Est-ce que mes capteurs sont fonctionnels ? Est-ce que mes traitements ne génèrent pas des doublons ? Est-ce que mes données sont propres ou bien mises à niveau ? Des enjeux complexes dans nos projets ! En effet, ne dit-on pas qu’un data analyst passe la majeure partie de son temps et de son énergie à préparer et nettoyer ses données ?

3. Erreurs Mathématiques : comment sont calculées les données ?

Et voilà, vous savez maintenant à quoi vous servent vos cours de mathématiques de vos années d’école, de collège et de lycée ! Il y en a pour tous les niveaux et pour tous les goûts ! Que celui qui n’a jamais associé des données qui ne sont pas au même niveau de détail, qui ne s’est pas trompé dans le calcul de ses ratios, ou qui n’a pas oublié qu’il ne faut pas mélanger carottes et bananes, nous jette la première pierre !

4. Erreurs Statistiques : comment les données sont mises en relation ?

Comme le dit l’adage, « Il y a des mensonges, des maudits mensonges et des statistiques ». Il s’agit là du piège le plus complexe à appréhender car de sacrées compétences sont nécessaires pour en bien comprendre les enjeux. Toutefois, dans un monde où le machine learning, le datamining et l’IA sont rois, c’est une famille d’erreurs qui ne fait que devenir plus fréquente !

Les mesures de tendance centrale ou de variation que nous utilisons nous égarent-elles ? Est-ce que les échantillons sur lesquels nous travaillons sont représentatifs de la population que nous voulons étudier ? Est-ce que nos outils de comparaison sont valides et significatifs statistiquement ?

5. Aberrations analytiques : comment sont analysées les données ?

Règle d’or: nous sommes tous des analystes (que l’on porte ce titre ou non).

Dès lors que nous utilisons des données pour prendre des décisions alors nous sommes des analystes et nous sommes donc sujets à prendre des décisions sur des analyses aberrantes. Connaîssez-vous par exemple les ‘vanity metrics’ ? Ou avez-vous déjà fait des extrapolations qui ne font aucun sens au regard des données utilisées ?

Ces deux derniers sujets nous tiendront encore plus à cœur que les précédents car nous sommes gaga de Data Visualisation et donc nous avons un grand nombre d’exemples de gaffes graphiques ou de ratés esthétiques !

6. Gaffes graphiques : comment sont visualisées les données ?

Contrairement aux erreurs statistiques ou aux aberrations analytiques, les gaffes graphiques sont bien connues et facilement identifiables. Pourquoi ? Parce que celles-ci se voient (et souvent de loin). Avons-nous choisi un type de graphique adapté à notre analyse ? Est-ce que l’effet que je souhaite montrer est clairement visible ?

7. Dangers esthétiques : le beau peut être l’ennemi du bien ?

Quelle différence avec les gaffes graphiques ?

Ici nous parlons du design général du produit final et des interactions que nous avons définies dans celui-ci pour que l’auditoire que nous cherchons à convaincre aient l’expérience la plus ergonomique et esthétique possible ! Est-ce que le choix des couleurs qui a été fait rend l’analyse confuse ou au contraire la simplifie ? Est-ce que nous avons utilisé de notre créativité pour rendre nos dashboards agréables à l’œil et avons-nous utilisé l’esthétique pour apporter de l’impact à l’analyse qui est faite ? Est-ce que le produit final est simple à utiliser, ergonomique ou les interactions sont complexes et poussives ?

Etes-vous prêts à nous suivre dans les méandres de tout ce qui peut mal se passer sur vos projets d’analyse de données et ainsi ne pas tomber dans ces pièges ?

Alors à la semaine prochaine !

Cet article vous a inspiré ?
Business Intelligence, Data Governance, Data Marketing, Data Mining and Data Integration, Data Warehouse, Machine Learning

Vous avez dit Data Engineer ??

La Data Engineering (ingénierie des données) c’est quoi ?

Encore un mot tendance ? On ne partage pas cet avis !

Bien que l’ingénierie des données ne soit pas un domaine nouveau, cette discipline semble être aujourd’hui sortie de l’ombre et propulsée au-devant de la scène.

Nous avions justement envie de parler « métier » comme on dit dans le jargon. Vous apprendrez donc dans cet article en quoi consiste le métier de « Data Engineer », et par conséquent ce que fait une partie de notre équipe au quotidien.

Un jour, un métier : ingénieur de données

La Data Engineering consiste au développement, à l’exploitation et à la maintenance d’une infrastructure de données, sur site ou dans le Cloud (ou hybride ou multicloud), comprenant des bases de données et des pipelines pour extraire, transformer et charger des données.

Une définition, please ?

La Data Engineering étroitement liée à la Data Science, fait partie de l’écosystème du Big Data. Bien que les data engineers (ingénieurs de données) ne reçoivent pas le même niveau d’attention que les data scientists, ils sont essentiels au processus de la science des données. Leur rôles et responsabilités varient en fonction du niveau de maturité des données et de l’organisation de l’entreprise.

Cependant, certaines tâches comme l’extraction, le chargement et la transformation des données, sont fondamentales et incontournables dans le métier du data engineer.

En général en ingénierie des données, on déplace des données d’un système vers un autre, ou on transforme des données dans un format vers un autre. En d’autres termes, le data engineer interroge les données d’une source (extract/extraire), effectue des traitements sur ces données (transform/transformer), et enfin place ces données d’un niveau de qualité de production, à un emplacement où les utilisateurs peuvent y accéder (load/charger). Les termes Extract, Transform et Load (ETL) correspondent aux étapes du processus présent dans les logiciels appartenant à la catégorie des ETL (comme Talend, très connu dans le milieu).

Toutefois, cette définition de l’ingénierie des données est large et simpliste.

A partir d’un exemple, voyons plus en détails en quoi consiste le métier, ça vous parlera sûrement un peu plus :

Un site web de e-commerce de détail vend des gadgets « high-tech » dans une grande variété de couleurs. Le site fonctionne avec une base de données relationnelle, et chaque transaction est stockée dans la base de données.

La problématique du moment : combien de gadgets bleus le détaillant a-t-il vendus au cours du dernier trimestre ?

Pour répondre à cette question, vous pouvez exécuter une requête SQL sur la base de données (SQL : Structured Query Language ; langage de requête structuré. Il s’agit c’est le langage qui est utilisé pour dialoguer et faire des traitements sur les bases de données relationnelles). Il est clair que pour une tâche simple comme celle-ci, vous n’avez pas besoin d’un data engineer mais à mesure que le site se développe, exécuter des requêtes sur la base de données de production n’est plus pratique. De plus, il peut y avoir plus d’une base de données qui enregistre les transactions, et ces bases peuvent se trouver à différents emplacements géographiques.

Par exemple, le site de e-commerce pourrait très bien avoir une base de données en Amérique du Nord, une autre en Asie, une autre en Afrique et enfin une autre en Europe.

Dans le domaine de l’ingénierie des données (la data engineering) ce genre de pratique est courante !

Pour répondre à la question précédente concernant les ventes de gadgets « high-tech » de couleurs bleus, le data engineer va créer des connexions à chacune des bases de données réparties dans les différentes régions, extraire les données, et les chargera dans un entrepôt de données. A partir de là, l’ingénieur peut maintenant effectuer une requête pour compter le nombre de gadgets bleus vendus.

Plutôt que de trouver le nombre de gadgets bleus vendus, les entreprises ont plus souvent tendance à chercher des réponses aux questions suivantes :

  • Quelle région vend le plus de gadgets ?
  • Quelles sont les heures où on observe un pic des ventes sur ce type de produit ?
  • Combien d’utilisateurs mettent ce produit dans leur panier et le suppriment plus tard ?
  • Quels sont les gadgets vendus ensemble ?

Vous avez des problématiques similaires ?

Pour répondre à ces questions, il ne suffit pas d’extraire les données et de les charger dans un système. Une transformation est requise entre l’extraction et le chargement. Il y a aussi la différence de fuseaux horaires dans les différentes régions. Par exemple, les Etats-Unis ont à eux seuls quatre fuseaux horaires. Pour cela, il faudra transformer les champs de date dans un format normalisé. Il faudra également trouver un moyen de distinguer les ventes dans chaque région. Cela pourrait se faire en ajoutant un champ « région » aux données. Ce champ doit-il être spatial, en coordonnées, ou sous forme de texte, ou s’agira-t-il simplement de texte qui pourrait être transformé dans un traitement d’ingénierie des données ?

Dans ce cas présent, le data engineer devra extraire les données de chaque base de données, puis transformer ces données en y ajoutant un champ supplémentaire pour la région. Pour comparer les fuseaux horaires, le data engineer doit être familiarisé avec les normes internationales de standardisation des données. Aujourd’hui, l’Organisation Internationale de Normalisation (ISO) a la norme – ISO 8601 pour faire face à cette problématique.

Donc pour répondre aux questions précédentes, l’ingénieur devra :

  1. Extraire les données de chaque base de données
  2. Ajouter un champ pour localiser la région de chaque transaction dans les données
  3. Transformer la date de l’heure locale dans la norme ISO 8601
  4. Charger les données dans l’entrepôt de données.

La suite d’étapes (extraction -> transformation -> chargement) est réalisée par la création de ce qu’on appelle un Pipeline (ou encore Job). Ce pipeline est une série de traitements successifs qui récupère en amont les données « brutes », pouvant contenir des fautes de frappe ou des données manquantes. Au fur et à mesure des traitements, les données sont nettoyées de sorte qu’à la fin du processus, ces dernières sont stockées dans un entrepôt de données et prêtes à être exploitées. Le schéma suivant illustre le pipeline requis pour accomplir les quatre tâches précédentes :

Figure 1: Pipeline qui ajoute une région et modifie la date

Après ce petit tour d’horizon sur ce qu’est l’ingénierie des données et ce que font les ingénieurs de données, vous devriez commencer à avoir une idée des responsabilités et des compétences que les ingénieurs de données doivent acquérir. Vrai ?

Quelles sont les connaissances et compétences requises pour être Data engineer ?

L’exemple précédent montre bien que le data engineer doit être familiarisé avec différentes technologies, et nous n’avons même pas encore mentionné les processus ou les besoins de l’entreprise.

Pour démarrer la première étape du processus d’un pipeline (l’extraction), le data engineer doit savoir comment extraire des données depuis des fichiers pouvant être en différents formats, ou depuis différents types de bases de données. L’ingénieur doit donc connaître plusieurs langages de programmation tels que SQL et Python, afin de pouvoir effectuer ces différentes tâches. Lors de la phase de transformation des données, il devra également maîtriser la modélisation et les structures de données. De plus, il doit aussi être en mesure de comprendre les besoins de l’entreprise et les informations ou connaissances qu’elle souhaite extraire des données, afin d’éviter les erreurs de conception du ou des modèles de données.

Le chargement des données dans l’entrepôt de données nécessite aussi que le data engineer connaisse les bases de conception d’un entrepôt de données, ainsi que les types de bases de données utilisés dans leur construction.

Enfin, l’ensemble de l’infrastructure sur laquelle le pipeline de données s’exécute peut également être sous la responsabilité de l’ingénieur de données. Il doit savoir comment administrer des serveurs Linux, et comment installer et configurer des logiciels tels qu’Apache Airflow ou NiFi.

Les entreprises ont de plus en plus tendance aujourd’hui à migrer vers le cloud, et incitent donc les Data engineer à se familiariser avec la mise en place de l’infrastructure sur des plateformes cloud comme Amazon, Google Cloud Platform ou Azure.

Nous sommes heureux de vous avoir partagé le métier data engineers et on espère que vous y voyez plus clair désormais !

Cet article vous a inspiré ?
Business Intelligence, Data Governance, Data Marketing, Data Mining and Data Integration, Data Quality Management, Machine Learning

RETAIL : 4 règles pour devenir Data Driven // S3E4

Face à des freins culturels et organisationnels, il est difficile de déployer la culture de la donnée dans les entreprises du retail. Diffuser la culture de la donnée en magasin veut dire donner le pouvoir aux employés de mieux vendre. La question principale est donc de dépasser les obstacles, et d’accompagner le changement.

 

Voici les 4 règles clés à suivre durant votre transformation :

1. Soyez soutenu(s) par votre hiérarchie

Mettre la culture de la donnée au cœur de l’organisation est une prérogative du haut management. Il faut emmener l’ensemble de vos collaborateurs dans la transformation. Il y a parfois des freins culturels, les personnes non issues de l’ère numérique, conservent des réflexes. Du jour au lendemain, elles sont invitées à repenser leurs habitudes. Il est donc nécessaire d’adopter une conduite de changement.

2. La communication, c'est la clé

Tout lancement d’un nouveau projet implique forcément des changements de processus et des changements organisationnels. Pour réussir, il vous faut communiquer pendant toute la durée du projet.

Pour créer une culture de la donnée (dite « Data Driven culture ») vous devez penser votre projet pour que les données puissent être communiquées à des non-spécialistes. Gartner précise qu’une des caractéristiques fondamentales d’une culture de la donnée est la mise à disposition de la donnée de manière simple et claire à toutes les personnes en entreprise. Par exemple, utilisez une solution logicielle de tableau de bord « retail » ou de visualisation de données pour restituer de manière claire vos données. Et par conséquent, prendre des décisions éclairées !

Vous pouvez même raconter des histoires avec vos données en leur donnant du contexte grâce aux solutions de « data storytelling » comme dans Tableau Story.

Vous pouvez rendre vos tableaux de bord simples personnalisables. Par exemple, chaque point de vente devrait être en mesure de s’approprier et d’analyser ses données « retail ». Il appréciera de pouvoir changer l’angle de vue en fonction de ses besoins. Passer d’une vision par produit, à une vision par client (B2B), ou d’une vue « directeur de magasin » à une vue « team leader », ou d’une vue produit à une vision par zone géographique, etc. La personnalisation de l’angle de vue est fondamentale pour que la donnée soit vulgarisée et comprise par l’ensemble du personnel en magasin. D’autre part, vu le nombre d’informations auxquelles il est exposé, il est important de rester simple pour une communication efficace.

Simplicité, efficacité ; n’est-ce pas ?

3. Focus : les motivations personnelles de vos collaborateurs pour améliorer le taux d'adoption des outils

Vous devez intéresser le personnel de vos magasins par les données qui sont à sa disposition. Vos collaborateurs doivent voir des solutions à leurs problématiques métiers dans le projet ; c’est une étape essentielle pour un projet data réussi. Par exemple, la rémunération variable du personnel est souvent fonction des résultats des ventes du magasin. Lui donner des solutions concrètes pour mieux vendre est donc dans son intérêt.

Fournir des tableaux de bord retail personnalisés et simples, est un enjeu de votre projet. Imaginez un mini site internet fournissant au directeur du magasin le tutoriel sur la nouvelle disposition des articles en magasin, l’emploi du temps de la semaine, les performances de vente par produit…Une mini-plateforme personnalisée lui fournissant des informations pour lui et son équipe : le rêve !

Si vous souhaitez la réussite de votre organisation (on n’en doute pas une seule seconde !), vous devez penser « adoption par les collaborateurs » de votre projet.

4. Enfin : rendre toutes ces données actionnables et pertinentes !

Le défaut de nombreux projets data est qu’ils naissent sans être pensés pour des cas d’usage métier précis. La donnée est privilégiée au détriment de l’apport métier. Nous pensons que c’est une vision purement technique de voir les choses ! Avoir les données à disposition n’est pas le but du projet data. La finalité est de pouvoir fournir des informations actionnables à des professionnels et répondre à leurs problématiques.

La Data permet de réhabiliter l’efficacité des stratégies marketing en offrant aux retailers l’approche « ROIste » qu’ils réclament. Le Data Storytelling permet, lui, de légitimer et valoriser les choix en systèmes d’information qui récupèrent cette Data, en la racontant aux magasins. Ces derniers peuvent désormais prendre les meilleures décisions.

La Data est votre nouvelle monnaie. Mieux que de l’échanger, il faut la faire fructifier et la rendre exploitable. La question n’est plus « Pourquoi ?», mais « Quand ?». Faites-nous confiance, nous nous occupons du « Comment ?».

Nous espérons que cette mini-série spéciale « Data & Retail » vous a plu ! Nous vous encourageons à lire les articles précédents si ce n’est pas déjà fait…

Nous vous préparons la rentrée avec d’autres mini-séries à venir! Des thématiques que vous souhaiteriez voir abordées par ici ? Ecrivez-nous !

Cet article vous a inspiré ?
Business Intelligence, Data Governance, Data Marketing, Data Mining and Data Integration, Data Quality Management, Machine Learning

RETAIL: Data Science & Insights // S3E3

La Data Science est la science des données. C’est un ensemble de techniques et de méthodes qui permettent à une organisation d’analyser ses données brutes pour en extraire des informations précieuses permettant de répondre à des besoins spécifiques ou de résoudre des problèmes analytiques complexes.

La Data Science permet de découvrir des informations pertinentes au sein des ensembles de données

En plongeant dans ces informations à un niveau fin, l’utilisateur peut découvrir et comprendre des tendances et des comportements complexes. Il s’agit de faire remonter à la surface des informations pouvant aider les entreprises à prendre des décisions plus intelligentes.

Cette « fouille de données » peut se faire grâce à l’apprentissage automatique (Machine Learning). Ce dernier fait référence au développement, à l’analyse et à l’implémentation de méthodes et algorithmes qui permettent à une machine (au sens large) d’évoluer grâce à un processus d’apprentissage, et ainsi de remplir des tâches qu’il est difficile ou impossible de remplir par des moyens algorithmiques plus classiques.

La Data Science permet de créer un Data Product

Un data product est un outil qui repose sur des données et les traite pour générer des résultats à l’aide d’un algorithme. L’exemple classique d’un data product est un moteur de recommandation.

Moteur de recommandation

Il a été rapporté que plus de 35% de toutes les ventes d’Amazon sont générées par leur moteur de recommandation. Le principe est assez basique : en se basant sur l’historique des achats d’un utilisateur, les articles qu’il a déjà dans son panier, les articles qu’il a notés ou aimés dans le passé et ce que les autres clients ont vu ou acheté récemment, des recommandations sur d’autres produits sont automatiquement générées.

Optimiser votre gestion de stock

Un autre exemple de cas d’usage de la data science est l’optimisation de l’inventaire, les cycles de vie des produits qui s’accélèrent de plus en plus et les opérations qui deviennent de plus en plus complexes obligent les détaillants à utiliser la Data Science pour comprendre les chaînes d’approvisionnement et proposer une distribution optimale des produits.

Optimiser ses stocks est une opération qui touche de nombreux aspects de la chaîne d’approvisionnement et nécessite souvent une coordination étroite entre les fabricants et les distributeurs. Les détaillants cherchent de plus en plus à améliorer la disponibilité des produits tout en augmentant la rentabilité des magasins afin d’acquérir un avantage concurrentiel et de générer de meilleures performances commerciales.

Ceci est possible grâce à des algorithmes d’expédition qui déterminent quels sont les produits à stocker en prenant en compte des données externes telles que les conditions macroéconomiques, les données climatiques et les données sociales. Serveurs, machines d’usine, appareils appartenant au client et infrastructures de réseau énergétique sont tous des exemples de sources de données précieuses.

Ces utilisations innovantes de la Data Science améliorent réellement l’expérience client et ont le potentiel de dynamiser les ventes des détaillants. Les avantages sont multiples : une meilleure gestion des risques, une amélioration des performances et la possibilité de découvrir des informations qui auraient pu être cachées.

La plupart des détaillants utilisent déjà des solutions liées à la Data Science pour augmenter la fidélisation de la clientèle, renforcer la perception de leur marque et améliorer les scores des promoteurs.

Et vous, quand est-ce que vous ouvrez votre précieux sésame ?

Cet article vous a inspiré ?
Business Intelligence, Data Governance, Data Mining and Data Integration, Data Quality Management

RETAIL : meilleures Data, meilleurs résultats // S3E1

La stratégie « Data-driven » passe d’abord par une qualité de données irréprochable. La non qualité des données influe directement sur la qualité du pilotage de l’activité. Les données du client inexactes et multiples altèrent la connaissance client et par conséquent la relation client est impactée. Les indicateurs de performance d’un point de vente doivent être fiabilisés car ils sont exploités pour l’évaluation des équipes ou certaines décisions comme la fermeture, la relocalisation, la rénovation ou encore l’estimation du chiffre d’affaires prévisionnel.

Qu’entend-on par « données de qualité » ? 

On peut parler de données de qualité lorsque les 4 caractéristiques suivantes sont réunies :

  • Des données complètes: vous disposez d’informations complètes sur vos référentiels et vos données transactionnelles.
  • Des données disponibles: vous accédez sans problème et rapidement aux données dont vous avez besoin.
  • Des données à jour: des données de qualité impliquent un nettoyage régulier, ainsi que la mise à jour de vos référentiels… faute de quoi vous prenez des décisions basées sur des facteurs devenus obsolètes.
  • Des données utilisables : erreurs de remplissage de champs, fautes d’orthographe, coquilles, chiffres erronés… Des données de qualité impliquent de résoudre ces problèmes et de bien encadrer la terminologie utilisée.

Pourquoi avoir de meilleures data ?

Malgré la tendance qui met de plus en plus en avant l’importance de disposer de données fiables pour prendre les bonnes décisions stratégiques et commerciales, de nombreuses entreprises hésitent encore à véritablement investir dans ce sens et pensent avant tout à réduire leurs coûts.

pexels-karolina-grabowska-4210850 (1)

Est-ce votre cas ?

Si oui, dans ce cas, vous passez à côté de données précieuses pour augmenter vos ventes, attirer plus de clients et mettre de côté les dépenses inutiles.

Il ne suffit pas de consulter ses statistiques de CA et fréquentation pour assurer un véritable pilotage par la data.

La qualité des données est indispensable et permet d’optimiser plusieurs axes :

  • La croissance du chiffre d’affaires
  • La réduction, voire la suppression des dépenses non-pertinentes
  • Un meilleur management du risque
  • Une meilleur relation client

Des données bien paramétrées et prêtes à être analysées selon vos objectifs vous permettront par exemple d’identifier en un clin d’œil vos tendances de vente par produits, de mieux comprendre ce qui fonctionne auprès de vos clients, mais aussi de réduire les coûts de campagnes selon leur ROI, d’anticiper vos lancements et de limiter les risques…

Comment faire pour avoir de meilleures données ??

Les dirigeants les mieux informés reconnaissent l’importance d’établir et d’institutionnaliser les pratiques exemplaires pour améliorer l’utilisation des données. L’objectif premier est d’élever le niveau de qualité de l’information. Cependant, des problèmes peuvent apparaître si les entreprises entament des efforts sporadiques pour les nettoyer et les corriger. L’absence de processus exhaustifs réservés à la gestion de la « qualité de données » entraîne la multiplication des interventions, et de fait l’augmentation des coûts. Pire encore, cela entrave la distribution d’informations cohérentes auprès des utilisateurs métiers.

Il convient alors d’adopter une approche pragmatique afin d’aligner les pratiques disparates en termes de maintien de la qualité des données. Cette démarche permet de mettre en place un programme à l’échelle d’une société afin de relever ces deux défis. Au-delà du fait de se rapprocher de partenaires commerciaux, de développer des cas d’usage et d’élaborer une analyse du retour sur investissement, il faut lister les procédures essentielles à l’amélioration de cette « qualité de données ».

Voici les cinq procédures les plus pertinentes :

  1. Documenter les exigences et définir des règles de mesure

 Dans la majorité des cas, accroître la qualité des données consiste à améliorer la pertinence des informations commerciales. Pour ce faire, les organisations doivent commencer par collecter les besoins. Cela implique une collaboration avec les utilisateurs métiers afin de comprendre leurs objectifs commerciaux. Une fois cette étape finalisée, ces informations combinées à des expériences partagées sur l’impact commercial des problèmes liés à la qualité de données peuvent être transformées en règles clés. Celles-ci mesurent la fraîcheur, l’exhaustivité et la pertinence des données.

 

  1. Évaluer les nouvelles données pour créer un référentiel adapté

 Un processus reproductible d’évaluation des données permet de compléter l’ensemble des règles de mesure, en scrutant les systèmes sources à la recherche d’anomalies potentielles dans les nouvelles données. Les outils de profilage permettent de balayer les valeurs, les colonnes et les relations dans et entre les sources de données. Mener cette opération fréquemment facilite l’identification des valeurs aberrantes, les erreurs et renforce leur intégrité. Ces outils permettent également de renseigner les administrateurs quant aux types de données, la structure des bases de données, et sur les interactions entre les entités. Les résultats peuvent être partagés avec les métiers pour aider à élaborer les règles de validation de la qualité des données en aval.

 

  1. Mettre en œuvre des processus de gestion sémantique des données

 Au fur et à mesure que le nombre et la variété des sources de données augmentent, il est nécessaire de limiter le risque que les utilisateurs finaux des différentes divisions d’une organisation interprètent mal ce surplus d’informations. L’on peut centraliser la gestion des métadonnées (dictionnaire de données) commercialement pertinentes et engager les utilisateurs et le Chief Data Officer (Directeur des données) à collaborer. Il s’agit d’établir des standards afin de réduire le nombre de cas où de mauvaises interprétations entraînent des problèmes d’exploitation des données. Les métadonnées et les librairies associées peuvent être accessibles depuis le Catalogue de données dans le but de comprendre les informations disponibles.

 

  1. Vérifier la validité des données en continu

Ensuite, il est recommandé de développer des services automatisés pour valider les données enregistrées, services qui adopteront les règles de qualités préalablement définies. Un déploiement stratégique facilite le partage des règles et des mécanismes de validation à travers l’ensemble des applications et dans tous les flux informatiques, afin d’assurer une inspection continue et la mesure de la qualité des données. Les résultats peuvent être intégrés à divers systèmes de rapports tels que des notifications et des alertes directes envoyées aux responsables de la gestion des données pour traiter les anomalies les plus graves et les failles de données hautement prioritaires, ainsi que des tableaux de bord figurant des agrégats pour les collaborateurs non-initiés.

 

  1. Endiguer les problèmes liés à la mauvaise qualité des données

 En ce sens, il est pertinent de développer une plateforme pour enregistrer, suivre et gérer les incidents liés à la « qualité de données ». Il ne suffit pas de comparer les règles mises en place. En soi, cet effort n’entraîne pas d’amélioration à moins qu’il y ait des processus standards pour évaluer et éliminer la source des erreurs. Un système de gestion des événements peut automatiser les tâches de reporting, mettre en avant les urgences, alerter les responsables, assigner les tâches et suivre les efforts d’assainissement.

pexels-andrew-neel-2682452

Bien menées, ces méthodes de « Data Governance » constituent l’épine dorsale d’un cadre proactif de gestion de la qualité des données, assorti de contrôles, de règles et de processus qui peuvent permettre à une organisation d’identifier et de corriger les erreurs avant qu’elles n’aient des conséquences commerciales négatives. En fin de compte, ces procédures permettront une meilleure exploitation des ressources au bénéfice des entreprises qui les déploient.

Vous assurer des données de qualité ne devrait jamais être considéré comme une dépense, mais bien comme un investissement… rentable !

 

Comment la data peut-elle être véritablement utile aux retailers ?

Dans le prochain épisode, nous nous penchons sur des cas d’usage pour illustrer « l’intérêt de la Donnée dans le monde du retail ». Stay tuned.

Business Intelligence, Data Governance, Data Marketing, Data Mining and Data Integration, L'entreprise, Machine Learning, Self-service Analytics

Quand trop de Data tue la Data // S2E4

Alors ne nous méprenons pas, chez DATANALYSIS nous sommes de vrais DATA enthousiastes et nous vous aiderons à créer les meilleures solutions pour votre organisation et votre équipe ! Aujourd’hui, nous allons parler d’un écueil en particulier auquel vous pouvez faire face à toute étape de votre projet d’analyse de données : la « surrogation » ! (Surprise, nous ne parlerons pas cette fois-ci de biais cognitif ou de visualisations trompeuses ; chaque chose en son temps…).  
La « surroga-quoi » ??

Il s’agit d’un anglicisme, introduit en 2012, dérivé du verbe « To surrogate » (qui signifie « se substituer ») et qui indique la tendance à remplacer la stratégie par…des indicateurs. Il s’agit d’une pratique malheureusement assez répandue et qui peut être évitée en mettant en œuvre les outils de la gouvernance et de l’approche DATA DRIVEN que nous décrivons dans nos différents articles.

N’hésitez pas à aller checker ça si vous n’êtes pas encore à jour !

Toujours un peu obscur ? Voyons ensemble un exemple de « surrogation » :

1. Le cas emblématique de la surrogation : Wells Fargo

Au milieu des années 2010, la grande banque américaine Wells Fargo a été prise dans un scandale majeur lorsque les autorités se sont rendu compte (et ont sanctionné) l’ouverture de 3,5 millions de comptes de dépôts et de cartes de crédits réalisées sans le consentement des clients. Cette pratique frauduleuse a été mise en œuvre par les salariés de la banque dans le cadre de la « stratégie de ventes croisées ».

Concrètement, un programme de rémunération incitative mise en place pour améliorer les ventes croisées (« 8 is great », l’objectif étant de vendre 8 produits de la banque à chaque client) a été à l’origine des dérives et des problèmes de la Wells Fargo et a été soutenu par le système de mesure mise en œuvre pour évaluer le déploiement de cette stratégie. Dès lors que la banque a décidé de suivre activement les chiffres quotidiens des ventes croisées, les salariés se sont efforcés logiquement de maximiser leur score personnel pour obtenir les meilleures primes possibles. Evidemment, comme l’histoire nous l’a appris : sans se soucier des règles à suivre.

Outre le coût exorbitant des sanctions, les remboursements réalisés auprès de clients lésés, cela a terni l’image de l’entreprise et sa réputation pendant de très longues années et la confiance n’a pu être rétablie qu’au prix de lourds efforts et d’importants changements.

Toutes les situations de « surrogation » ne résultent pas toujours sur des scénarios aussi graves et catastrophiques. Si vous attendez d’obtenir le nouveau superbe dashboard de vos consultants avant de définir votre politique commerciale, alors vous êtes dans ce cas !

2. Que faire pour ne pas tomber dans ce piège ?

Avant toute chose, ne jetez pas tous vos indicateurs à la poubelle. Ils sont utiles lorsqu’ils sont utilisés à bon escient ! Ce qui est important ici, c’est d’évoquer l’importance d’une stratégie d’entreprise clairement définie et assimilée par tous les membres de l’organisation ; et d’aligner la stratégie DATA avec cette stratégie d’entreprise.

Daniel Kahneman, Prix Nobel d’Economie, indique qu’il existe 3 conditions pour que la « surrogation » opère :
  1. La stratégie est définie en des termes abstraits
  2. L’indicateur de mesure de la stratégie est concret et visible (et incitatif comme dans l’exemple de la Wells Fargo)
  3. L’indicateur étant plus simple à comprendre que la stratégie globale, les membres de l’organisation préfèrent se référer au premier qu’au second.
Dès lors que l’on sait ce qui peut déclencher cette problématique, il suffit de travailler sur chacune de ces sources potentielles pour que le piège disparaisse.

En tout premier lieu, il s’agit de rendre la stratégie de l’entreprise lisible et claire pour toutes les parties prenantes. Il ne s’agit pas de multiplier uniquement les sessions d’informations et les ateliers de présentation mais d’associer au maximum les responsables de son exécution à sa définition.

Pour éviter que l’indicateur soit le graal à atteindre par les employés, il est également nécessaire de limiter le lien entre celui-ci et les incitations. En effet, un indicateur aussi bien construit et défini soit il n’est que le reflet imparfait d’une réalité. Le simple fait de le mettre en lumière peut ainsi le faire varier positivement ou négativement.

Une définition plus claire de la stratégie d’entreprise permettra alors de définir plusieurs critères de succès permettant l’élaboration d’une série d’objectifs qualitatifs et quantitatifs, sur différentes temporalités et qui permettront de mieux suivre l’exécution de la stratégie (et limitera automatiquement la mise en œuvre de méthode de contournement par les employés).

3. Pourquoi est-ce important dans le cadre de la mise en œuvre de ma plateforme d’analyse ?

On a pu voir dans les articles précédents que le succès d’un projet analytique ne découle pas uniquement des performances technologiques des solutions mises en œuvre mais s’appuie sur la capacité de tous les membres de l’organisation à les utiliser pleinement afin d’atteindre LES objectifs stratégiques de l’organisation.

Remplacer la stratégie par des indicateurs ne rendra pas la plateforme analytique caduque. En effet, celle-ci fournira les résultats des dits indicateurs. Mais celle-ci ne permettra pas la génération de valeur ajoutée et pourra parfois, comme le cas de la Wells Fargo l’a démontré, être la source de sérieuse déconvenue pour celle-ci.

Il est donc crucial de se doter des bonnes méthodologies de travail pour profiter pleinement du potentiel de ses données, pour développer les bonnes solutions techniques, et doter vos équipes des atouts et des clés pour qu’elles puissent les utiliser dans le long terme et dans le cadre de votre stratégie d’entreprise. Notre offre DATA GOVERNANCE est là pour vous accompagner dans toutes les étapes de vos projets d’analyse de données.

Dans le prochain épisode, nous conclurons cette série avec un livre blanc : « L’analytique en self-service, le graal d’une organisation DATA-DRIVEN».
Cet article vous a inspiré ?
Business Intelligence, Clients, Data Governance, Data Marketing, Data Mining and Data Integration, L'entreprise, Machine Learning, Self-service Analytics

Période incertaine : comment engager ses clients grâce aux données ? // S2E3

La façon dont vous engagez les clients commence par l’écoute. Il est fort probable qu’après une période aussi complexe que la pandémie mondiale, leurs attentes, leurs envies et leurs besoins aient évolué drastiquement. Investissez dans la compréhension des nouvelles réalités de vos clients, cela sera à coût sûr un investissement payant alors que l’on n’a jamais été aussi proches d’une réouverture plus complète de l’économie.

Et comment mieux les écouter que de développer des plateformes analytiques mettant à disposition de tous les opérateurs des données fiables et disponibles simplement (et évidemment dans le respect de la RGPD) ?

Avant la COVID-19, l’un des objectifs majeurs pour les organisations était de devenir « Customer-Centric » (organisé autour des besoins, des enjeux, des attentes et des contraintes du client). Cet objectif est devenu d’autant plus critique. Il est nécessaire de penser son entreprise en repensant les processus, et donc les flux de données et les outils d’analyses associées autour de vos clients, et non en silos ou en département.

La clé sera de personnaliser vos expériences et communication et d’associer pleinement les différents départements et services à cet effort de changement. Pour ce faire, nous vous donnons quelques éléments clés autour de deux axes sur lesquels orienter votre réflexion :

1. Comprenez parfaitement les besoins changeants des clients

L’objectif principal ici est de savoir si vous disposez de toutes les informations qui vous permettent de comprendre vos clients. Avez-vous accès aux données externes à votre entreprise ? Savez-vous les récupérer ? Savez-vous les croiser avec les données dont vous disposez déjà ? Un investissement dans de nouvelles sources d’informations pour votre organisation sera probablement nécessaire pour atteindre vos clients et tâter leur pouls sur toutes les plateformes où ils peuvent discuter de vos produits.

Une fois que les données sont obtenues, traitées, intégrées et exploitables (de manière éthique et respectueuse de la vie privée) avec celles issues de vos outils traditionnels, il est important de pouvoir les utiliser simplement grâce à votre plateforme self-service d’analyse. Votre objectif sera d’identifier et comprendre les nouveaux besoins de vos clients : est-ce que vos segmentations ont bougé ? Est-ce que les comportements d’achats ont évolué (fréquence, montant, panier, remise, produits etc.) ? Comment est-ce que j’adapte mes opérations pour répondre à mon nouvel environnement ?

Cela vous donnera les moyens d’offrir une expérience optimale et personnalisée à vos clients et reconstruire un nouveau lien avec eux :
  • Capturez les besoins des clients grâce à l’acquisition de données extérieures à votre organisation (réseau Sociaux, sites de notations etc.). Intégrez ces nouvelles données à vos analyses marketing pour déterminer les nouvelles attentes de vos clients
  • Faites évoluer la stratégie de données en fonction des nouvelles exigences en matière de données pour garantir une expérience client optimale
  • Mettre en place un conseil consultatif sur l’utilisation éthique et des lignes directrices pour régir la santé et l’utilisation d’autres données sensibles
  • Adapter les propositions de valeur et les offres pour répondre à la demande du marché à court terme
  • Etablissez à nouveau la confiance grâce à des expériences personnalisées

2. Exploitez tout le potentiel de votre entreprise

Vous avez à disposition toutes les données vous permettant de comprendre les nouvelles attentes de vos clients, c’est très bien ! Mais il ne faut pas oublier d’organiser vos méthodes de travail et vos outils pour arriver à exploiter parfaitement ce nouveau gisement d’information.

Nous l’avons vu dans la série précédente sur la Data Governance, la clé pour qu’une solution d’analyse de données soit réellement efficiente, vous offre un véritable retour sur investissement, et permette à votre organisation d’exploiter son plein potentiel est de prévoir une organisation adaptée :

  1. Adéquation de votre stratégie DATA et votre stratégie d’entreprise
  2. Rôles et processus de tous les acteurs interagissant avec les données
  3. Environnement de Data Governance : DATA Catalogue, DATA Lineage, Compliance
  4. Solution analytique : Traitement des données, stockage, analyse visuelle, Machine Learning et IA
  5. Formation et établissement d’une DATA Communauté
Investir dans la mise en œuvre d’une vraie politique de Data Governance est la seule solution pour réellement engager ses clients dans le long terme. En clair et spécifiquement à cet enjeu :
  • Redéfinissez les processus métier pour qu’ils soient centrés sur le client
  • Créez une source unique de vérité client pour mettre toutes les équipes sur la même page en agrégeant plusieurs sources de données
  • Auditez systématiquement les moments clients en fonction du « travail à faire » pour identifier les points faibles et les opportunités de différenciation
  • Développer des processus et des composants réutilisables (ensembles de données, API) pour accélérer le développement d’applications grâce à une réutilisation maximale
  • Tirez parti des données de cas de service pour identifier les améliorations et les investissements les plus prioritaires

Comme souvent, on en revient toujours à une conclusion similaire. La clé pour pouvoir exploiter parfaitement les données et engager ses clients est à la fois dans l’établissement des capacités (construire la plateforme analytique et l’alimenter en données) et dans le développement des méthodes de travail (stratégie, rôles, processus, et formation) qui permettront de les exploiter et prendre les bonnes décisions.

Se concentrer sur un des aspects du problème et oublier le second est le meilleur moyen de ne pas être dans les « starting blocks » pour la réouverture prochaine et laisser ces concurrents prendre une avance non négligeable !

« Quand trop de DATA tue la DATA ? Quels sont les écueils à éviter ? ».

Rendez-vous dans notre prochain épisode !

Cet article vous a inspiré ?