i

Description

Niveau à bulle circulaire dont la bulle centrée dans le cercle rouge indique que tout est d'aplomb.

Source

Dmeranda · page d’origine

Licence

PD Domaine public

Photo d’origine, non retouchée. L’arrière-plan en est une version stylisée par le site.

Auto-évaluation avec les matrices de maturité

Vous saurez conduire, pas à pas, une auto-évaluation d'équipe sur l'une des quatre matrices : préparer, collecter des preuves, noter, calibrer, pondérer, restituer.

En bref

• Vous saurez conduire, pas à pas, une auto-évaluation d'équipe sur l'une des quatre matrices : préparer, collecter des preuves, noter, calibrer, pondérer, restituer.
• Vous disposerez d'un gabarit de grille réutilisable (tableaux Markdown) pour chaque matrice, avec les codes de thèmes réels.
• Vous saurez animer un atelier de 2 heures, éviter la dérive du score (loi de Goodhart) et transformer l'écart entre l'état et la cible en plan de progression.
• Un exemple chiffré complet sur une équipe fictive BI/datamart de six personnes illustre chaque calcul, jusqu'à la restitution en radar décrit en texte.

Sur cette page

1. Principes et préparation
2. La méthode pas à pas
3. Gabarits de grille
   1. Grille par jalon (modèle unique)
   2. Grille par thème — PI, projet informatique
   3. Grille par thème — DL, développement logiciel
   4. Grille par thème — PD, conduite de projet data
   5. Grille par thème — BI, développement BI
4. Atelier de 2 heures
5. Calibrage entre évaluateurs
6. Pondération
7. Plan de progression
8. Détournement de la mesure et loi de Goodhart
9. Exemple chiffré complet
   1. Étape 1 — Un thème en détail : BI-TST (tests et fiabilité des chiffres)
   2. Étape 2 — Les douze thèmes
   3. Étape 3 — Scores de la matrice
   4. Étape 4 — Cibles et écarts (12 mois)
   5. Étape 5 — Ce que ne dit pas ce score
10. Restitution en radar décrit en texte
11. Contribution de l'IA
12. Voir aussi

Niveau : 🟢→🔴

Principes et préparation#

🟢 Novice. Une auto-évaluation répond à une seule question : « où en sommes-nous vraiment, et quels deux ou trois jalons voulons-nous conquérir avant la prochaine fois ? » Elle ne classe pas des personnes, elle ne produit pas une note pour la direction : elle sert à décider où investir. Si vous n'avez pas lu le principe des matrices et la règle de notation, commencez par là.

Quatre principes gouvernent la méthode :

1. Preuves, pas déclarations. Un jalon n'atteint 1 que si la preuve a été vue pendant l'atelier. Sans preuve, il plafonne à 0,5.
2. Un périmètre précis. Une équipe, un produit, une période. « Toute l'informatique » n'est pas un périmètre.
3. On se compare à soi-même. L'évaluation est répétée tous les 6 à 12 mois, toujours de la même façon.
4. Évaluer chaque fait une seule fois, dans la matrice qui en est propriétaire (voir recouvrements).

🟡 Pratique — choisir sa matrice et son périmètre.

Préparation (une semaine avant). Désignez un animateur qui ne note pas son propre périmètre (ou un pair d'une autre équipe), constituez un dossier de preuves (liens vers pipelines, rapports de tests, registres, dépôts, tableaux de bord de capacité), et invitez de 4 à 8 personnes couvrant les rôles (développement, exploitation, métier, pilotage). Envoyez à l'avance les pages de thèmes retenus.

La méthode pas à pas#

🟡 Pratique. Sept étapes, de la préparation au suivi.

Calcul d'un thème, en pseudo-algorithme (fidèle à la règle commune) :

pour N de 1 à 5 :
    J(1..N) = tous les jalons des niveaux 1 à N
    si moyenne(avancement de J(1..N)) >= 0,8 ET min(avancement de J(1..N)) > 0 :
        N_acquis = N
    sinon : arrêter
score_thème = N_acquis + moyenne(avancement des jalons du niveau N_acquis+1) × 0,99

Le même calcul en PowerShell, utile pour automatiser la consolidation d'une grille exportée en CSV (une ligne par jalon, colonnes Theme, Niveau, Avancement) :

function Get-ScoreTheme {
    param([Parameter(Mandatory)][object[]]$Jalons)   # objets avec Niveau (1..5) et Avancement (0, 0.5, 1)
    $acquis = 0
    foreach ($n in 1..5) {
        $jusquaN = $Jalons | Where-Object { [int]$_.Niveau -le $n }
        if (-not $jusquaN) { break }
        $moy = ($jusquaN | Measure-Object -Property Avancement -Average).Average
        $min = ($jusquaN | Measure-Object -Property Avancement -Minimum).Minimum
        if ($moy -ge 0.8 -and $min -gt 0) { $acquis = $n } else { break }
    }
    $suivants = $Jalons | Where-Object { [int]$_.Niveau -eq ($acquis + 1) }
    $partiel  = if ($suivants) { ($suivants | Measure-Object -Property Avancement -Average).Average * 0.99 } else { 0 }
    [math]::Round($acquis + $partiel, 2)
}
# Avancement doit être lu en décimal invariant : [double]::Parse($txt, [cultureinfo]::InvariantCulture)

Gabarits de grille#

🟡 Pratique. Deux gabarits : la grille par jalon (le travail de l'atelier), identique pour toutes les matrices, et la grille par thème (la synthèse), avec les codes de chaque matrice. Recopiez-les dans un classeur ou un fichier Markdown suivi dans votre dépôt, à côté de l'historique des évaluations.

Grille par jalon (modèle unique)#

Les identifiants et libellés se lisent dans la page du thème (section « Jalons par niveau ») ; seule la dernière ligne de chaque thème ci-dessous est à compléter.

Résultat du thème, à renseigner sous le tableau : moyenne cumulée aux niveaux 1…5, jalon(s) à 0, N_acquis, moyenne du niveau suivant, score.

Grille par thème — PI, projet informatique#

Grille par thème — DL, développement logiciel#

Grille par thème — PD, conduite de projet data#

Grille par thème — BI, développement BI#

Atelier de 2 heures#

🟡 Pratique. Trame pour une équipe de 4 à 8 personnes, sur une matrice de 12 thèmes (on ne note en détail que les 4 à 6 thèmes retenus à l'étape de cadrage ; les autres sont notés « à l'estime » en une minute).

Règles d'animation :

• Vote simultané (cartes, tour de table masqué) avant discussion, pour éviter l'ancrage sur l'avis du plus senior.
• Les désaccords sont des données : un écart d'un demi-point sur un jalon se tranche par la preuve ; un écart d'un point signale que deux personnes ne parlent pas du même périmètre.
• Boîte de parking : tout ce qui ressemble à un chantier de correction est noté pour l'étape « Décider », pas traité en séance.
• Interdits : lier les scores à une évaluation individuelle, projeter les scores d'autres équipes, discuter d'outils avant d'avoir noté (les jalons portent sur des résultats, pas sur des produits).

Calibrage entre évaluateurs#

🔴 Expert. Deux évaluateurs honnêtes diffèrent d'un demi-point sur un jalon : c'est la subjectivité résiduelle annoncée dans chaque README de matrice. Le calibrage la rend stable et comparable d'un cycle à l'autre.

1. Étalon d'ancrage. Avant la première évaluation, choisissez ensemble trois jalons pour lesquels vous convenez de ce que veulent dire 0, 0,5 et 1, avec un exemple concret de chacun (« 0 : aucune preuve ; 0,5 : la pratique existe mais n'a pas été appliquée sur les deux derniers lots ; 1 : appliquée à chaque livraison du trimestre, preuve constatée »). Consignez-les ; ils sont la référence des cycles suivants.
2. Double notation. Deux personnes notent le même thème séparément (l'une de l'équipe, l'autre d'une équipe voisine), puis comparent. L'écart moyen constaté doit se resserrer d'un cycle à l'autre.
3. Échantillonnage de preuves. Pour chaque thème, vérifiez une preuve au hasard à fond (remonter du tableau de bord à l'événement). Une preuve fausse déclasse tous les jalons du thème notés sur la même foi.
4. Règle de doute. En cas de désaccord persistant, on retient la note la plus basse et on note le doute ; on ne moyenne pas deux avis opposés.
5. Traçabilité. Conservez la grille de chaque cycle (date, participants, preuves) : l'historique est la seule base légitime de comparaison.

Indicateur utile : le taux d'écart — part des jalons pour lesquels deux évaluateurs diffèrent d'au moins 0,5. Un ordre de grandeur honnête pour un premier cycle est de un jalon sur quatre ou cinq (repère d'expert, non mesuré par une enquête) ; après deux cycles de calibrage, l'objectif raisonnable est de le diviser par deux.

Pondération#

🟡 Pratique. Le score de la matrice est une moyenne pondérée : poids par défaut 1, modifiable. La pondération sert à refléter le risque et l'enjeu du contexte, pas à embellir le résultat.

Règles de bon usage :

• Fixez les poids avant de noter, jamais après : modifier un poids après coup pour améliorer la moyenne est une forme de triche à soi-même.
• Documentez chaque poids par une phrase de justification (colonne « Poids » de la grille + commentaire).
• Comparez à poids constants d'un cycle à l'autre ; si les poids changent, publiez les deux calculs.
• Poids 0 = hors périmètre, à justifier, pas à utiliser pour masquer une faiblesse.

La formule : score_matrice = Σ(poids × score_thème) / Σ(poids).

Plan de progression#

🟡 Pratique. L'évaluation n'a de valeur que si elle débouche sur peu de décisions bien choisies. Méthode en cinq temps.

1. Écart = cible − score, thème par thème. Triez par écart décroissant, puis pondérez par le poids.
2. Filtrer par dépendances. On ne traite pas un thème dont un thème prérequis est insuffisant (voir les graphes de dépendances dans chaque README : par exemple tests avant livraison continue). Prioriser le maillon amont.
3. Choisir les jalons, pas les thèmes. Retenez 2 à 3 jalons du niveau N_acquis+1 de 2 à 3 thèmes. Un jalon est un livrable vérifiable ; un thème est un domaine.
4. Estimer coût et bénéfice avec les notes de difficulté et d'effort /5 données dans la page du thème (appréciations d'expert, à adapter). Privilégiez les jalons à faible effort et fort effet.
5. Engager : un responsable, une échéance, une preuve attendue, une date de revue à mi-parcours.

Les « moyens possibles » listés dans chaque page de thème sont facultatifs : un jalon se satisfait de tout moyen qui produit la preuve. Pour les pratiques elles-mêmes, voir par exemple CI/CD, CI/CD pour la data, stratégies de branches et métriques et reporting de projet.

Détournement de la mesure et loi de Goodhart#

🔴 Expert. La loi de Goodhart (une mesure devenue cible cesse d'être une bonne mesure) est la menace principale d'un dispositif de maturité. Chaque matrice la mentionne ; voici les détournements typiques et leurs parades.

Principes de défense :

1. Preuve avant note, échantillonnage de preuves à chaque cycle.
2. Résultat avant pratique : quand une pratique est cochée mais que le résultat reste mauvais (incidents, chiffres contestés), le résultat l'emporte et le jalon est rouvert.
3. Indicateurs adverses : associer à un indicateur de volume un indicateur de qualité (fréquence de déploiement avec taux d'échec ; nombre de tests avec défauts échappés).
4. Rotation des évaluateurs et des échantillons.
5. Gouvernance du score : le score n'est jamais un objectif contractuel ; seul le plan de jalons engage.

Exemple chiffré complet#

🟡 Pratique. Contexte fictif et anonyme : « l'équipe Atlas », six personnes (quatre développeurs BI/datamart, un exploitant, un référent métier), qui maintient un datamart SQL Server alimenté par une application de force de vente terrain et une quinzaine de rapports Power BI multilingues, versionnés en TFVC et livrés en kits d'installation chez une douzaine de clients. Matrice choisie : BI (12 thèmes). Période : les douze derniers mois. Atelier de 2 heures, avec un pair d'une autre équipe en observateur.

Étape 1 — Un thème en détail : BI-TST (tests et fiabilité des chiffres)#

Les jalons sont ceux de la page officielle du thème (niveaux 1 à 3 ; les niveaux 4 et 5 n'entrent pas dans le calcul tant que le niveau 3 n'est pas acquis). Seuls les avancements et les preuves constatées sont fictifs.

Calcul :

• Niveaux 1 et 2 : somme = 3 + (1 + 0,5 + 0,5 + 1) = 6 pour 7 jalons → moyenne = 0,857 ≥ 0,8, aucun zéro → niveau 2 acquis.
• Niveaux 1 à 3 : somme = 6 + (0 + 0,5 + 0,5 + 0,5 + 0,5) = 8 pour 12 jalons → moyenne = 0,667 < 0,8 et un jalon à 0 → niveau 3 non acquis. N_acquis = 2.
• Moyenne des jalons du niveau 3 = 2 / 5 = 0,4 ; × 0,99 = 0,396.
• Score BI-TST = 2 + 0,396 ≈ 2,40.

Dans la suite, les scores des autres thèmes sont donnés tels que l'atelier les a calculés de la même façon (valeurs d'illustration, arrondies à 0,1).

Étape 2 — Les douze thèmes#

Les poids 2 sur RLS et TST sont décidés avant la notation : les rapports sont livrés à des clients dont les données commerciales sont confidentielles, et un chiffre faux est coûteux.

Étape 3 — Scores de la matrice#

• Somme simple des douze scores (en utilisant 2,4 pour TST) : 3,4 + 3,1 + 2,2 + 2,6 + 2,8 + 2,5 + 1,7 + 2,4 + 1,5 + 1,4 + 2,1 + 1,0 = 26,7.
• Moyenne non pondérée : 26,7 / 12 = 2,23.
• Moyenne pondérée : on ajoute une fois de plus RLS (2,5) et TST (2,4) : somme pondérée = 26,7 + 2,5 + 2,4 = 31,6 ; somme des poids = 12 + 2 = 14 ; score = 31,6 / 14 = 2,26.

Lecture avec la grille « 2 – 3 » de la matrice BI : pratiques communes dans l'équipe, livraisons répétables, premiers contrôles ; la qualité dépend encore de la vigilance. Plus utile que la moyenne : l'écart de 2,4 points entre MOD (3,4) et CST (1,0), et la faiblesse en aval (IND 1,7, OPS 1,4) d'un amont plutôt solide.

Étape 4 — Cibles et écarts (12 mois)#

Cibles décidées en atelier selon le risque (kits livrés chez une douzaine de clients) :

Jalons retenus (trois, pas plus) : (a) mettre les requêtes DAX de test en dépôt avec attendu SQL indépendant (BI-TST-3.1, 3.2), puis les lancer à chaque livraison (BI-TST-4.1), (b) déployer par pipeline vers un espace de test (BI-IND-3.x), (c) un tableau de bord d'exploitation des rafraîchissements (BI-OPS-3.x). Estimation d'expert : environ trois mois à raison de deux jours par semaine pour une personne ; la capacité réelle est celle de l'équipe, pas celle d'un tableau.

Projection si TST (3,2), IND (3,0), OPS (2,5) et RLS (3,0) atteignent leur cible : les gains sont +0,8, +1,3, +1,1 et +0,5. Somme simple = 26,7 + 3,7 = 30,4, soit une moyenne de 2,53. Somme pondérée = 31,6 + 0,8 × 2 + 0,5 × 2 + 1,3 + 1,1 = 36,6, divisée par 14 : 2,61. Gain pondéré attendu : 2,61 − 2,26 = +0,35. Un score global qui bouge de 0,3 à 0,5 par an est un rythme d'équipe réaliste (repère d'expert, à ajuster).

Étape 5 — Ce que ne dit pas ce score#

• Le score ne dit pas si le chiffre est juste aujourd'hui : c'est la réconciliation (jalons de BI-TST, PD-REC) qui le dit.
• L'équipe a un CST de 1,0 et un poids de 1 : si la capacité devient un enjeu financier, le poids passera à 1,5 au prochain cycle (en publiant les deux calculs).
• Le profil est cohérent : TST faible freine IND, qui freine OPS. C'est le thème amont qu'on traite.

Restitution en radar décrit en texte#

🟡 Pratique. Un radar (diagramme en toile) montre le profil de l'équipe : une branche par thème, une distance au centre proportionnelle au score. Il se décrit sans image, ce qui le rend lisible dans un compte rendu, un wiki ou une étape de pipeline.

Lecture du radar de l'équipe Atlas (12 branches, de 0 au centre à 5 au bord, deux carrés par point de score) :

MOD  ■■■■■■■  3,4   ← pointe haute
ETL  ■■■■■■   3,1
DAX  ■■■■■■   2,8
VIZ  ■■■■■    2,6
RLS  ■■■■■    2,5   (poids 2)
TST  ■■■■■    2,4   (poids 2)
PRF  ■■■■     2,2
ACC  ■■■■     2,1
IND  ■■■      1,7
GOV  ■■■      1,5
OPS  ■■■      1,4
CST  ■■       1,0   ← creux

Phrases de restitution, du général au particulier :

1. Forme : un polygone « en poire », renflé côté modélisation (MOD, ETL, DAX) et rétréci côté exploitation (IND, GOV, OPS, CST). Typique d'une équipe qui a investi dans la construction du produit avant celle de sa livraison et de son exploitation.
2. Moyenne : 2,23 non pondérée, 2,26 pondérée ; à lire dans la tranche « 2 – 3 ».
3. Maillons à traiter : TST (amont de IND) puis IND puis OPS.
4. Engagements : trois jalons, un responsable chacun, revue à mi-parcours.
5. Rappel de prudence : appréciation d'équipe sur preuves, comparable à elle-même dans douze mois, non comparable à une autre équipe.

Pour obtenir l'image elle-même, tout outil de graphique convient (classeur, visuel radar d'un rapport Power BI) : la matière à fournir est un tableau à deux colonnes (thème, score). La description textuelle reste de toute façon la version de référence du compte rendu.

Contribution de l'IA#

Appréciations d'expert, contexte : équipe de 5 à 10 personnes.

Exemple de consigne pour la restitution :

Voici la grille consolidée de l'équipe (thème, code, score, poids, commentaire).
Rédige une restitution en 5 phrases : forme du profil, moyenne pondérée, trois maillons
à traiter en respectant les dépendances amont/aval, engagements. Ne cite aucune pratique
absente de la grille. Signale toute incohérence entre scores de thèmes dépendants.

Cadre de gouvernance (confidentialité des preuves, traçabilité, signature) : synthèse transverse de l'IA.

Voir aussi#

• Matrices : Principe et comparaison · PI · DL · PD · BI.
• Méthodes : Fondamentaux · Scrum — rétrospectives et amélioration · Pièges et bonnes pratiques.
• Outils : Métriques et reporting de projet · Azure DevOps / TFS.
• Reporting : Checklist de projet reporting · Bonnes pratiques Power BI.
• Cadre : NOTATION · Glossaire · Bibliographie.

✻ Rédigé par Claude Sonnet 5.5