La qualité des données ne se corrige pas en aval. Thomas Clavelloux, Head of Data @ Ankorstore, explique pourquoi elle se centralise au plus profond de la chaîne de collecte, et ce que coûte techniquement une gouvernance absente.
1. Centraliser la qualité le plus en amont possible
"Un point très important, c'est de centraliser la qualité très en amont dans la chaîne de collecte, ce qui veut dire le plus souvent au plus profond du backend, dans la façon dont tu conçois l'information."
2. Data stream ou data store, deux natures de donnée
"J'utilise beaucoup la métaphore du grain de sable dans la tuyauterie Data. Pour tout ce qui est data stream, donc tout ce qui est donnée streamée, événementielle, temps réel, tu es systématiquement dans un flux d'information avec un message qui comporte une certaine richesse d'information, très souvent instantanée et contextualisée. Par opposition à la data store où tu travailles sur ton Data Lake ou ton Data Warehouse et tu es sur un asset de données rémanent dans le temps."
3. La qualité démarre côté tech
Le rôle du backend. Les développeurs back end construisent le code qui permet à une base de données de communiquer avec une application. Ils maintiennent les bases et les serveurs. Ils assurent la cohérence et l'intégrité des données.
"Chez Ankorstore, c'est les commerçants qui sont inscrits, les marques qui proposent des produits, les catalogues au sein de ces marques, si le produit est rouge ou bleu ou vert, s'il y a un prix défini dans le temps qui a évolué par le passé. Toute cette matière brute, qui derrière fait la richesse de ta plateforme data, elle a besoin d'être centralisée côté backend et c'est à cet endroit que tu viens définir ta gouvernance."
"Il faut un gros niveau d'intimité avec le directeur technique, bien s'entendre avec les développeurs backend, avoir des convictions et savoir infuser ce niveau de discipline dans la façon dont est collectée la donnée. Il faut avoir l'humilité de poser des questions à un développeur backend."
4. Ce que coûte une gouvernance absente
1. Coût humain
Sans qualité en amont, les efforts se démultiplient en aval : transformation de la donnée, connaissance fonctionnelle, reprises.
2. Coût technique
Des tables sans indexation ni partitionnement rendent chaque requête coûteuse pour le warehouse. La plateforme s'alourdit et accumule de la dette.
3. Coût de changement
Une fois la dette installée, changer de source de vérité devient compliqué. Les coûts de compute montent, la lenteur s'installe.
"J'ai toujours été convaincu de la qualité de la donnée mais avec les années, je me suis rendu compte que plus tu investis en amont dans la qualité, et plus en aval tu en récoltes les fruits."