11 min

Prévoir la livraison d’un backlog avec Monte Carlo : comprendre les résultats et leurs limites

Comment une simulation probabiliste projette des scénarios de livraison à partir de débits réels, comment lire les percentiles P50, P85 et P95, et quand ses hypothèses cessent de s’appliquer.

En résumé

  • Une simulation Monte Carlo de backlog ne produit pas une date magique, mais une distribution de scénarios possibles fondée sur le rééchantillonnage de vos livraisons historiques réelles.
  • Chaque simulation (« trajectoire ») tire au sort des débits observés passés avec remise, les cumule période par période jusqu’à épuiser le backlog restant, et enregistre le nombre de périodes nécessaires.
  • Sur des périodes discrètes (sprints de 2 semaines ou fenêtres de 14 jours), les percentiles P50, P85 et P95 désignent le nombre entier de périodes où la fréquence cumulée franchit le seuil ; plusieurs percentiles peuvent donc désigner le même horizon.
  • P50 ne garantit pas exactement 50 % de chances : dans une distribution discrète, la probabilité cumulée au seuil P50 dépasse souvent 50 % (par exemple 59 % dans notre exemple de référence).
  • Augmenter le nombre d’itérations (par ex. 1 000 ou 10 000 simulations) réduit le bruit de calcul, mais ne répare jamais un historique incomplet, instable ou non représentatif du travail futur.

Lorsqu’une équipe s’interroge sur l’échéance prévisible d’un ensemble de fonctionnalités, la tentation habituelle consiste à faire la somme des estimations ou à diviser le nombre de tickets par une vitesse moyenne. Comme nous l’avons vu dans le guide précédent, cette approche par la moyenne efface la variabilité du flux et donne une illusion de certitude.

La simulation Monte Carlo propose une alternative rigoureuse : au lieu de postuler un rythme fixe, elle explore des milliers de combinaisons de débits possibles en s’appuyant sur l’historique des livraisons réelles de l’équipe. Ce guide détaille le fonctionnement exact de cette méthode, la manière d’interpréter ses horizons (P50, P85, P95) et les limites à ne jamais perdre de vue lors de la prise de décision.

1. Partir d’une question concrète : 30 tickets à livrer

Pour rendre l’analyse transparente, posons une question opérationnelle classique rencontrée par tout Scrum Master, Product Owner ou responsable de delivery :

La question de départ et le cadrage du périmètre

  • Périmètre identifié : un backlog résiduel de 30 tickets (par exemple une version ou un thème produit prioritaire).
  • Unité d’analyse : des tickets découpés selon des standards comparables à ceux observés lors des itérations précédentes.
  • Unité de temps : des sprints réguliers de 2 semaines (14 jours calendaires), ou des fenêtres calendaires équivalentes.
  • Question posée : « En combien de sprints pouvons-nous raisonnablement prévoir de terminer ces 30 tickets, et quel niveau d’incertitude entoure cette perspective ? »

Point fondamental : la simulation ne calcule pas une certitude calendaire absolue. Elle produit des scénarios conditionnels sous l’hypothèse que les conditions futures de réalisation resteront globalement comparables à celles observées dans la fenêtre d’historique retenue.

2. Comprendre une trajectoire puis les simulations répétées

Le principe de Monte Carlo appliqué au backlog est intuitif et mécanique. Il ne repose sur aucune formule mathématique opaque ni sur aucune hypothèse de loi normale a priori. Le moteur simule l’avenir en rééchantillonnant le passé par tirage avec remise (technique statistique du bootstrap).

Le fonctionnement d’une trajectoire pas à pas

Étape 1 — Tirage d’une première période : le moteur pioche au hasard une valeur de débit parmi les périodes historiques disponibles.
Étape 2 — Cumul des livraisons : la valeur tirée est ajoutée au total livré. Si le total atteint ou dépasse la taille du backlog (30 tickets), la trajectoire s’arrête immédiatement et le nombre de périodes est enregistré.
Étape 3 — Poursuite si le backlog subsiste : si le cumul reste inférieur à 30 tickets, le moteur tire une deuxième valeur historique (toujours avec remise), l’ajoute au cumul, et réévalue.
Étape 4 — Répétition à grande échelle : ce processus est répété un grand nombre de fois (1 000 simulations par défaut dans Cauba). On obtient alors une distribution empirique du nombre de sprints nécessaires pour écluser le backlog.

Exemples de trajectoires simulées sur notre backlog de 30 tickets

À partir de notre historique de référence [8, 12, 6, 10, 14, 10], examinons comment se construisent trois trajectoires distinctes :

Trajectoire A (rythme soutenu)3 sprints nécessaires
Tirage successif : Sprint 1 = 10 tickets, Sprint 2 = 12 tickets, Sprint 3 = 10 tickets.
Cumul : fin de période 1 = 10 tickets (< 30) ; fin de période 2 = 22 tickets (< 30) ; fin de période 3 = 32 tickets (≥ 30). Le backlog est achevé en 3 sprints.
Trajectoire B (rythme ralenti par un incident)4 sprints nécessaires
Tirage successif : Sprint 1 = 8 tickets, Sprint 2 = 6 tickets, Sprint 3 = 8 tickets, Sprint 4 = 10 tickets.
Cumul : période 1 = 8 ; période 2 = 14 ; période 3 = 22 ; période 4 = 32 tickets. La survenue d’un sprint à faible débit (6 tickets) décale l’achèvement au 4e sprint.
Trajectoire C (enchaînement de périodes difficiles)5 sprints nécessaires
Tirage successif : Sprint 1 = 6 tickets, Sprint 2 = 6 tickets, Sprint 3 = 6 tickets, Sprint 4 = 8 tickets, Sprint 5 = 6 tickets.
Cumul : période 1 = 6 ; période 2 = 12 ; période 3 = 18 ; période 4 = 26 ; période 5 = 32 tickets. Dans le scénario le plus pessimiste permis par l’échantillon, 5 sprints sont nécessaires.

3. L’exemple reproductible sur 6 sprints historiques

Reprenons exactement le jeu de données du lot 2 pour assurer une parfaite continuité pédagogique et méthodologique. Une équipe observe 6 sprints consécutifs de 14 jours :

  • Sprint 1 : 8 tickets terminés (cadence modérée, tickets en revue)
  • Sprint 2 : 12 tickets terminés (finalisation des revues et flux fluide)
  • Sprint 3 : 6 tickets terminés (incident de production et temps perdu)
  • Sprint 4 : 10 tickets terminés (retour au rythme nominal)
  • Sprint 5 : 14 tickets terminés (sprint fluide sans imprévu)
  • Sprint 6 : 10 tickets terminés (rythme nominal stabilisé)
Nombre de sprints nécessairesProbabilité théorique exacteProbabilité cumulée exacteFréquence simulée (1 000 runs)Seuils de percentiles franchis
1 sprints0,0 % (0 / 6)0,0 %0,0 %Impossible (max 14 tickets < 30)
2 sprints0,0 % (0 / 36)0,0 %0,0 %Impossible (max 14 + 14 = 28 < 30)
3 sprints58,8 % (127 / 216)58,8 %60,2 %Seuil P50 franchi (médiane)
4 sprints39,7 % (515 / 1 296)98,5 %98,8 %Seuils P85 et P95 franchis
5 sprints1,5 % (114 / 7 776)100,0 %100,0 %100 % des trajectoires terminées

Lecture des horizons obtenus dans le moteur Cauba

Horizon médian P50 :Horizon P50 = 3 sprints (environ 6 semaines). Plus d’une trajectoire sur deux (58,8 % en probabilité exacte, 60,2 % en simulation empirique) atteint ou dépasse les 30 tickets livrés au bout de 3 sprints. C’est la médiane des scénarios.
Horizon de confiance P85 :Horizon P85 = 4 sprints (environ 8 semaines). À 3 sprints, seules 58,8 % des trajectoires ont abouti, ce qui est insuffisant pour atteindre le seuil de 85 %. C’est au 4e sprint que le cumul franchit 85 %, atteignant directement 98,5 %.
Horizon conservateur P95 :Horizon P95 = 4 sprints (environ 8 semaines). Le seuil de 95 % est également franchi au 4e sprint, puisque 98,5 % des trajectoires sont terminées à cet horizon. P85 et P95 désignent donc exactement le même horizon de 4 sprints.

Complémentarité entre combinatoire exacte et simulation Monte Carlo

Pour un échantillon court de 6 valeurs et un backlog de 30 tickets, une énumération exhaustive en arbre permet de calculer les probabilités théoriques au dix-millième près (par exemple 127 combinaisons gagnantes sur 216 au sprint 3, soit 58,7963 %). La simulation Monte Carlo de 1 000 itérations réplique ce comportement avec un léger aléa d’échantillonnage (60,2 % dans notre exécution de test avec graine fixée). Dans un cadre industriel avec des dizaines de sprints historiques et des backlogs de plusieurs centaines d’items, l’énumération combinatoire devient intolérablement lourde en calcul : la simulation Monte Carlo devient alors le seul moyen efficace d’obtenir cette distribution.

Preuve de reproductibilité technique dans le dépôt Cauba

PYTHONPATH=. venv/Scripts/python.exe scripts/verify_monte_carlo_guide_example.py
  • Fonction appelée : cauba.metrics.monte_carlo.calculate_monte_carlo_from_history(throughput_history, mc_config) suivie de calculate_percentile(sprints_needed).
  • Paramètres d’entrée : throughput_history = [8, 12, 6, 10, 14, 10], mc_config = {"backlog_size": 30, "simulations": 1000}.
  • Aléatoire et graine : le moteur produit n’accepte pas de paramètre de graine (seed) dans son API publique pour garantir l’indépendance de chaque calcul applicatif. Dans le script de vérification externe, np.random.seed(42) est fixé avant l’appel afin de reproduire exactement la distribution empirique : 602 fois 3 sprints, 386 fois 4 sprints, 12 fois 5 sprints.
  • Résultats retournés : p50 = 3, p85 = 4, p95 = 4 sprints.
  • Règle diagnostique PRED-001 : dispersion = (4 - 3) / 3 = 33,33 %, strictement inférieure au seuil de 50 %. La règle ne se déclenche pas, confirmant l’absence d’intervalle anomalement large.

4. Lire P50, P85 et P95 correctement sur des périodes entières

Pourquoi les percentiles en périodes entières fonctionnent ainsi

  • La fréquence cumulée dépasse le seuil nominal : un sprint est indivisible dans le modèle. À 3 sprints, la probabilité cumulée est de 58,8 % (elle dépasse 50 %) ; à 4 sprints, elle bondit à 98,5 % (elle dépasse largement 85 % et 95 %). Il n’existe pas de "3,4 sprints".
  • Plusieurs percentiles peuvent désigner le même horizon : parce que le saut de probabilité entre le 3e sprint (58,8 %) et le 4e sprint (98,5 %) englobe à la fois 85 % et 95 %, l’horizon P85 et l’horizon P95 valent tous deux 4 sprints.
  • P50 ne signifie pas "exactement une chance sur deux" : affirmer que P50 = 3 sprints équivaut à 50 % de chances pile est mathématiquement inexact. Cela signifie que 50 % au moins des trajectoires sont terminées à cet horizon ou avant.

Implémentation exacte du calcul de percentile dans Cauba

Dans le code de Cauba (cauba/metrics/monte_carlo.py), la fonction calculate_percentile utilise np.percentile(sprints_needed, q) dont l’interpolation linéaire par défaut produit des valeurs flottantes intermédiaires, immédiatement converties en entiers par int(...). Dans notre exemple où l’immense majorité des trajectoires vaut 3 ou 4, les quantiles 50, 85 et 95 tombent directement sur 3,0, 4,0 et 4,0. Dans des distributions plus étalées, cette troncature entière reflète le fait que l’on compte des itérations entières consommées.

Attention à ne pas confondre le P85 d’un ticket et le P85 d’un backlog

Il est crucial de distinguer deux notions souvent confondues sous le vocable "P85" : le P85 de délai unitaire (Cycle Time ou Lead Time) mesure la durée d’acheminement d’un ticket individuel, exprimée en jours calendaires (par exemple 85 % des tickets sortent en moins de 11 jours). Le P85 de prévision Monte Carlo mesure l’épuisement collectif d’un volume de tickets par le débit global de l’équipe, exprimé en sprints ou en périodes (par exemple 4 sprints pour 30 tickets). Ce sont deux échelles et deux réalités statistiques distinctes. Voir le guide Cycle Time & Lead Time →

Ni choix universel, ni garantie magique

Ne qualifiez pas le P85 de "choix universellement recommandé" ni le P95 de "garantie de sécurité". Le P85 est une convention de gestion prudente fréquemment utilisée dans le mouvement Lean/Flow pour absorber les aléas ordinaires sans surdimensionner les marges. Le P95 reflète une posture très conservatrice pour des jalons critiques, mais il ne garantit en aucun cas qu’un imprévu inédit ne surviendra pas.

5. Choisir un horizon pour décider et communiquer

Une prévision probabiliste n’a d’utilité que si elle éclaire un arbitrage. Le choix de retenir P50 (3 sprints) ou P85/P95 (4 sprints) ne relève pas d’un algorithme, mais d’une décision managériale fondée sur le contexte :

Conséquences d’un retardS’agit-il d’une mise en production interne sans contrainte externe forte (où P50 est un repère utile pour cadencer l’effort) ou d’un lancement commercial avec campagne marketing engagée (où un horizon P85 ou P95 s’impose) ?
Flexibilité du périmètreSi l’échéance de 3 sprints est impérative, l’équipe peut décider dès le départ d’isoler les 22 tickets indispensables (ce que le modèle livre avec une probabilité très élevée en 3 sprints) et de reléguer les 8 tickets restants en optionnels.
Dépendances externes et synchronisationSi une autre équipe doit intégrer une API à la suite de vos développements, communiquer un horizon P85 évite de faire patienter des équipes en aval sur une hypothèse trop optimiste.
Capacité de réaction en cours de routeL’équipe dispose-t-elle de marges de manœuvre pour simplifier les solutions techniques en cas d’aléa constaté au sprint 1 ou 2 ?

Comment formuler la prévision aux parties prenantes

Pour éviter tout malentendu, adoptez une structure de communication explicite qui sépare nettement les faits du modèle, les hypothèses et la décision :

1. Le résultat du modèle (fait calculé) :« Sur la base de notre débit observé lors des 6 derniers sprints, la simulation Monte Carlo indique que notre backlog de 30 tickets est livré en 3 sprints dans environ 59 % des scénarios, et en 4 sprints dans 98 % des scénarios. »
2. Les hypothèses explicites (cadrage) :« Ce résultat repose sur l’hypothèse que le périmètre reste stable à 30 tickets, que la composition de l’équipe ne change pas et que nous ne rencontrons pas de blocage technique inédit. »
3. L’objectif opérationnel (cible interne) :« Notre objectif opérationnel en équipe reste de livrer l’essentiel à l’issue du 3e sprint. »
4. La décision et l’engagement (gestion du risque) :« Cependant, pour nos engagements externes et la coordination avec les partenaires, nous retenons l’échéance du 4e sprint afin de disposer de la marge nécessaire face aux aléas documentés. »
  • Ne traduisez pas un horizon en date calendaire sans préciser le point de départ exact et le calendrier des sprints (ex. 4 sprints de 14 jours débutant le lundi 1er décembre = livraison cible au vendredi 23 janvier, congés de fin d’année non inclus).
  • Ne confondez pas un intervalle de percentiles de simulation (P50..P95) avec un intervalle de confiance statistique sur un paramètre théorique : il s’agit simplement de l’éventail des quantiles d’un rééchantillonnage empirique.

6. Comprendre les limites méthodologiques

La simulation Monte Carlo est un outil puissant, mais elle n’est pas omnisciente. Ses prévisions ne valent que ce que valent ses données d’entrée et la pertinence de ses hypothèses sous-jacentes :

Historique court ou peu représentatif

Cauba impose un minimum strict de 3 périodes historiques exploitables pour exécuter le calcul. Cependant, 3 périodes constituent un seuil d’éligibilité technique minimal, nullement une garantie de représentativité statistique.

Réflexe utile : Privilégiez dans la mesure du possible 6 à 12 périodes complètes pour capturer des contextes de travail variés (sprints calmes, incidents, périodes de charge).
Changements d’équipe ou de nature de travail

Si la moitié de l’équipe change, si l’architecture technique est intégralement refondue ou si le type de travail passe du développement fonctionnel à de la maintenance d’urgence, l’historique antérieur perd sa pertinence.

Réflexe utile : Réinitialisez la fenêtre d’observation après un changement structurel majeur ou pondérez vos conclusions.
Dérive de granularité des tickets

Le modèle compte des unités de travail (tickets). Si l’équipe se met à créer des tickets trois fois plus gros qu’auparavant, le débit mesuré en tickets chutera sans que la productivité réelle n’ait diminué.

Réflexe utile : Maintenez des pratiques de découpage homogènes (par ex. des User Stories visant 1 à 3 jours de travail effectif).
Variation non maîtrisée du backlog (Scope Creep)

La simulation suppose un backlog résiduel fixe (30 tickets). Si 10 nouveaux tickets sont ajoutés en cours de route sans réactualiser la saisie, l’horizon initial devient caduc.

Réflexe utile : Réajustez la taille du backlog restant dans Cauba à la fin de chaque sprint pour actualiser la prévision.
Indépendance des tirages vs tendances réelles

Le tirage avec remise traite chaque sprint indépendamment. Si l’équipe subit une dégradation continue de son débit due à une dette technique croissante, le bootstrap ne projettera pas cette tendance baissière.

Réflexe utile : Examinez conjointement les métriques de tendance de Cauba (Throughput, Stabilité de la capacité) pour détecter d’éventuelles dérives structurelles.
Événements absents de l’historique (Cygnes noirs)

Le modèle ne peut piocher que dans ce qui a déjà été observé. Si un événement exceptionnel (panne d’infrastructure majeure de 3 semaines, démission clé) ne s’est jamais produit dans l’historique, il n’apparaîtra dans aucune trajectoire simulée.

Réflexe utile : Gardez à l’esprit que le modèle décrit des risques connus, pas l’imprévisible absolu.

7. Utiliser la prévision de backlog dans Cauba

Dans l’espace d’analyse de Cauba, la prévision de backlog s’intègre nativement au sein de la dimension Santé de la Prévisibilité (Delivery Predictability) :

Ce que vous devez configurer

  • Un export de données avec statut et dates d’achèvement : au moins 3 périodes exploitables doivent être présentes dans la fenêtre d’analyse.
  • La taille du backlog restant (backlog_size) : renseignée lors de la configuration ou via le bouton « Définir la taille du backlog » dans la section Prévision de livraison du rapport.
  • Nombre de simulations : fixé de façon déterministe par le moteur à 1 000 itérations pour offrir un équilibre optimal entre réactivité d’affichage et stabilité statistique.

Comprendre l’unité affichée

Si votre projet utilise un champ Sprint cartographié, les horizons P50, P85 et P95 sont exprimés en « sprints ». Si votre équipe fonctionne en flux continu (sans sprints délimités), Cauba dérive des fenêtres calendaires fixes de 14 jours et affiche les résultats en « périodes de 14 jours ».

La règle diagnostique PRED-001 (Dispersion de prévision large)

Cauba évalue automatiquement l’écart relatif entre l’horizon prudent (P95) et l’horizon médian (P50) : dispersion = (P95 - P50) / P50. Si cette dispersion atteint ou dépasse 50 % (seuil WIDE_FORECAST_DISPERSION_THRESHOLD), la règle PRED-001 se déclenche pour signaler une incertitude substantielle liée à une forte variabilité des débits passés. Dans le cas contraire, un encart informatif confirme qu’aucun signal d’intervalle anomalement large n’a été détecté.

Cas d’indisponibilité de la prévision

Non configuré (NOT_CONFIGURED)Aucune taille de backlog n’a été renseignée. Cliquez sur l’action dédiée pour saisir le nombre de tickets restant à livrer.
Historique insuffisant (NEEDS_MORE_DATA)Moins de 3 périodes complètes sont observées dans la fenêtre d’analyse. Importez un historique plus large pour permettre le calcul.
Débit nul (UNAVAILABLE)Aucun ticket terminé n’a été enregistré sur l’ensemble des périodes historiques retenues. Une prévision d’épuisement de backlog ne peut pas être simulée sans capacité de livraison positive.

Quand actualiser votre prévision ?

  • À chaque clôture de sprint : importez le nouvel export pour intégrer la dernière période achevée dans l’échantillon de débit.
  • Après chaque revue de backlog majeure : mettez à jour la taille du backlog résiduel pour tenir compte des tickets découpés, ajoutés ou dépriorisés.

Checklist récapitulative pour une prévision Monte Carlo saine

Disposer d’au moins 6 périodes d’historique régulières et représentatives.
Vérifier que les tickets du backlog ont une granularité comparable aux livraisons passées.
Conserver les périodes à faible débit ou à zéro pour ne pas biaiser artificiellement l’échantillon.
Présenter les résultats sous forme d’horizons probabilistes explicites (P50, P85) et non comme une date unique garantie.
Documenter systématiquement les hypothèses de stabilité associées à la prévision.

Passer des estimations aux prévisions fondées sur les livraisons réelles

Comprenez pourquoi la vitesse moyenne trompe les équipes et comment articuler estimations, débit observé et hypothèses de cadrage.

Cycle Time et Lead Time : mesurer et comprendre le temps de delivery

Distinguez le temps d’acheminement unitaire des tickets de la cadence collective de livraison, et apprenez à lire les percentiles de délai.

Préparer un export Jira pour analyser son flux de livraison

Guide pas à pas pour extraire vos données Jira en CSV sans plugin : filtres JQL, colonnes obligatoires et classification des statuts.

Questions fréquentes sur Monte Carlo et les prévisions de backlog

La simulation Monte Carlo s’appuie sur le débit observé (nombre de tickets terminés par unité de temps). Lorsque le travail est découpé avec une granularité raisonnablement homogène, la loi des grands nombres montre que le nombre de tickets livrés est un prédicteur plus robuste et moins biaisé de la capacité de delivery que l’addition d’estimations subjectives en points.

Références méthodologiques & lectures recommandées

  • Troy Magennis — Forecasting and Simulating Software Development Projects with Monte Carlo. Ouvrage de référence sur l’application du rééchantillonnage probabiliste au delivery logiciel et aux backlogs agiles.
  • Daniel S. Vacanti — When Will It Be Done? Lean-Agile Forecasting to Answer Your Customers’ Most Important Question. Guide pragmatique sur l’abandon des estimations traditionnelles au profit des métriques de flux et des prévisions probabilistes.
  • Dr. Alistair Cockburn — Agile Software Development: The Cooperative Game. Fondements de la dynamique d’équipe, de la communication des incertitudes et de la gestion adaptative des jalons.