Prévoir la livraison d’un backlog avec Monte Carlo : comprendre les résultats et leurs limites
Comment une simulation probabiliste projette des scénarios de livraison à partir de débits réels, comment lire les percentiles P50, P85 et P95, et quand ses hypothèses cessent de s’appliquer.
En résumé
- Une simulation Monte Carlo de backlog ne produit pas une date magique, mais une distribution de scénarios possibles fondée sur le rééchantillonnage de vos livraisons historiques réelles.
- Chaque simulation (« trajectoire ») tire au sort des débits observés passés avec remise, les cumule période par période jusqu’à épuiser le backlog restant, et enregistre le nombre de périodes nécessaires.
- Sur des périodes discrètes (sprints de 2 semaines ou fenêtres de 14 jours), les percentiles P50, P85 et P95 désignent le nombre entier de périodes où la fréquence cumulée franchit le seuil ; plusieurs percentiles peuvent donc désigner le même horizon.
- P50 ne garantit pas exactement 50 % de chances : dans une distribution discrète, la probabilité cumulée au seuil P50 dépasse souvent 50 % (par exemple 59 % dans notre exemple de référence).
- Augmenter le nombre d’itérations (par ex. 1 000 ou 10 000 simulations) réduit le bruit de calcul, mais ne répare jamais un historique incomplet, instable ou non représentatif du travail futur.
Lorsqu’une équipe s’interroge sur l’échéance prévisible d’un ensemble de fonctionnalités, la tentation habituelle consiste à faire la somme des estimations ou à diviser le nombre de tickets par une vitesse moyenne. Comme nous l’avons vu dans le guide précédent, cette approche par la moyenne efface la variabilité du flux et donne une illusion de certitude.
La simulation Monte Carlo propose une alternative rigoureuse : au lieu de postuler un rythme fixe, elle explore des milliers de combinaisons de débits possibles en s’appuyant sur l’historique des livraisons réelles de l’équipe. Ce guide détaille le fonctionnement exact de cette méthode, la manière d’interpréter ses horizons (P50, P85, P95) et les limites à ne jamais perdre de vue lors de la prise de décision.
1. Partir d’une question concrète : 30 tickets à livrer
Pour rendre l’analyse transparente, posons une question opérationnelle classique rencontrée par tout Scrum Master, Product Owner ou responsable de delivery :
La question de départ et le cadrage du périmètre
- Périmètre identifié : un backlog résiduel de 30 tickets (par exemple une version ou un thème produit prioritaire).
- Unité d’analyse : des tickets découpés selon des standards comparables à ceux observés lors des itérations précédentes.
- Unité de temps : des sprints réguliers de 2 semaines (14 jours calendaires), ou des fenêtres calendaires équivalentes.
- Question posée : « En combien de sprints pouvons-nous raisonnablement prévoir de terminer ces 30 tickets, et quel niveau d’incertitude entoure cette perspective ? »
Point fondamental : la simulation ne calcule pas une certitude calendaire absolue. Elle produit des scénarios conditionnels sous l’hypothèse que les conditions futures de réalisation resteront globalement comparables à celles observées dans la fenêtre d’historique retenue.
2. Comprendre une trajectoire puis les simulations répétées
Le principe de Monte Carlo appliqué au backlog est intuitif et mécanique. Il ne repose sur aucune formule mathématique opaque ni sur aucune hypothèse de loi normale a priori. Le moteur simule l’avenir en rééchantillonnant le passé par tirage avec remise (technique statistique du bootstrap).
Le fonctionnement d’une trajectoire pas à pas
Exemples de trajectoires simulées sur notre backlog de 30 tickets
À partir de notre historique de référence [8, 12, 6, 10, 14, 10], examinons comment se construisent trois trajectoires distinctes :
3. L’exemple reproductible sur 6 sprints historiques
Reprenons exactement le jeu de données du lot 2 pour assurer une parfaite continuité pédagogique et méthodologique. Une équipe observe 6 sprints consécutifs de 14 jours :
- Sprint 1 : 8 tickets terminés (cadence modérée, tickets en revue)
- Sprint 2 : 12 tickets terminés (finalisation des revues et flux fluide)
- Sprint 3 : 6 tickets terminés (incident de production et temps perdu)
- Sprint 4 : 10 tickets terminés (retour au rythme nominal)
- Sprint 5 : 14 tickets terminés (sprint fluide sans imprévu)
- Sprint 6 : 10 tickets terminés (rythme nominal stabilisé)
| Nombre de sprints nécessaires | Probabilité théorique exacte | Probabilité cumulée exacte | Fréquence simulée (1 000 runs) | Seuils de percentiles franchis |
|---|---|---|---|---|
| 1 sprints | 0,0 % (0 / 6) | 0,0 % | 0,0 % | Impossible (max 14 tickets < 30) |
| 2 sprints | 0,0 % (0 / 36) | 0,0 % | 0,0 % | Impossible (max 14 + 14 = 28 < 30) |
| 3 sprints | 58,8 % (127 / 216) | 58,8 % | 60,2 % | Seuil P50 franchi (médiane) |
| 4 sprints | 39,7 % (515 / 1 296) | 98,5 % | 98,8 % | Seuils P85 et P95 franchis |
| 5 sprints | 1,5 % (114 / 7 776) | 100,0 % | 100,0 % | 100 % des trajectoires terminées |
Lecture des horizons obtenus dans le moteur Cauba
Complémentarité entre combinatoire exacte et simulation Monte Carlo
Pour un échantillon court de 6 valeurs et un backlog de 30 tickets, une énumération exhaustive en arbre permet de calculer les probabilités théoriques au dix-millième près (par exemple 127 combinaisons gagnantes sur 216 au sprint 3, soit 58,7963 %). La simulation Monte Carlo de 1 000 itérations réplique ce comportement avec un léger aléa d’échantillonnage (60,2 % dans notre exécution de test avec graine fixée). Dans un cadre industriel avec des dizaines de sprints historiques et des backlogs de plusieurs centaines d’items, l’énumération combinatoire devient intolérablement lourde en calcul : la simulation Monte Carlo devient alors le seul moyen efficace d’obtenir cette distribution.
Preuve de reproductibilité technique dans le dépôt Cauba
PYTHONPATH=. venv/Scripts/python.exe scripts/verify_monte_carlo_guide_example.py- Fonction appelée : cauba.metrics.monte_carlo.calculate_monte_carlo_from_history(throughput_history, mc_config) suivie de calculate_percentile(sprints_needed).
- Paramètres d’entrée : throughput_history = [8, 12, 6, 10, 14, 10], mc_config = {"backlog_size": 30, "simulations": 1000}.
- Aléatoire et graine : le moteur produit n’accepte pas de paramètre de graine (seed) dans son API publique pour garantir l’indépendance de chaque calcul applicatif. Dans le script de vérification externe, np.random.seed(42) est fixé avant l’appel afin de reproduire exactement la distribution empirique : 602 fois 3 sprints, 386 fois 4 sprints, 12 fois 5 sprints.
- Résultats retournés : p50 = 3, p85 = 4, p95 = 4 sprints.
- Règle diagnostique PRED-001 : dispersion = (4 - 3) / 3 = 33,33 %, strictement inférieure au seuil de 50 %. La règle ne se déclenche pas, confirmant l’absence d’intervalle anomalement large.
4. Lire P50, P85 et P95 correctement sur des périodes entières
Pourquoi les percentiles en périodes entières fonctionnent ainsi
- La fréquence cumulée dépasse le seuil nominal : un sprint est indivisible dans le modèle. À 3 sprints, la probabilité cumulée est de 58,8 % (elle dépasse 50 %) ; à 4 sprints, elle bondit à 98,5 % (elle dépasse largement 85 % et 95 %). Il n’existe pas de "3,4 sprints".
- Plusieurs percentiles peuvent désigner le même horizon : parce que le saut de probabilité entre le 3e sprint (58,8 %) et le 4e sprint (98,5 %) englobe à la fois 85 % et 95 %, l’horizon P85 et l’horizon P95 valent tous deux 4 sprints.
- P50 ne signifie pas "exactement une chance sur deux" : affirmer que P50 = 3 sprints équivaut à 50 % de chances pile est mathématiquement inexact. Cela signifie que 50 % au moins des trajectoires sont terminées à cet horizon ou avant.
Implémentation exacte du calcul de percentile dans Cauba
Dans le code de Cauba (cauba/metrics/monte_carlo.py), la fonction calculate_percentile utilise np.percentile(sprints_needed, q) dont l’interpolation linéaire par défaut produit des valeurs flottantes intermédiaires, immédiatement converties en entiers par int(...). Dans notre exemple où l’immense majorité des trajectoires vaut 3 ou 4, les quantiles 50, 85 et 95 tombent directement sur 3,0, 4,0 et 4,0. Dans des distributions plus étalées, cette troncature entière reflète le fait que l’on compte des itérations entières consommées.
Attention à ne pas confondre le P85 d’un ticket et le P85 d’un backlog
Il est crucial de distinguer deux notions souvent confondues sous le vocable "P85" : le P85 de délai unitaire (Cycle Time ou Lead Time) mesure la durée d’acheminement d’un ticket individuel, exprimée en jours calendaires (par exemple 85 % des tickets sortent en moins de 11 jours). Le P85 de prévision Monte Carlo mesure l’épuisement collectif d’un volume de tickets par le débit global de l’équipe, exprimé en sprints ou en périodes (par exemple 4 sprints pour 30 tickets). Ce sont deux échelles et deux réalités statistiques distinctes. Voir le guide Cycle Time & Lead Time →
Ni choix universel, ni garantie magique
Ne qualifiez pas le P85 de "choix universellement recommandé" ni le P95 de "garantie de sécurité". Le P85 est une convention de gestion prudente fréquemment utilisée dans le mouvement Lean/Flow pour absorber les aléas ordinaires sans surdimensionner les marges. Le P95 reflète une posture très conservatrice pour des jalons critiques, mais il ne garantit en aucun cas qu’un imprévu inédit ne surviendra pas.
5. Choisir un horizon pour décider et communiquer
Une prévision probabiliste n’a d’utilité que si elle éclaire un arbitrage. Le choix de retenir P50 (3 sprints) ou P85/P95 (4 sprints) ne relève pas d’un algorithme, mais d’une décision managériale fondée sur le contexte :
Comment formuler la prévision aux parties prenantes
Pour éviter tout malentendu, adoptez une structure de communication explicite qui sépare nettement les faits du modèle, les hypothèses et la décision :
- Ne traduisez pas un horizon en date calendaire sans préciser le point de départ exact et le calendrier des sprints (ex. 4 sprints de 14 jours débutant le lundi 1er décembre = livraison cible au vendredi 23 janvier, congés de fin d’année non inclus).
- Ne confondez pas un intervalle de percentiles de simulation (P50..P95) avec un intervalle de confiance statistique sur un paramètre théorique : il s’agit simplement de l’éventail des quantiles d’un rééchantillonnage empirique.
6. Comprendre les limites méthodologiques
La simulation Monte Carlo est un outil puissant, mais elle n’est pas omnisciente. Ses prévisions ne valent que ce que valent ses données d’entrée et la pertinence de ses hypothèses sous-jacentes :
Cauba impose un minimum strict de 3 périodes historiques exploitables pour exécuter le calcul. Cependant, 3 périodes constituent un seuil d’éligibilité technique minimal, nullement une garantie de représentativité statistique.
Si la moitié de l’équipe change, si l’architecture technique est intégralement refondue ou si le type de travail passe du développement fonctionnel à de la maintenance d’urgence, l’historique antérieur perd sa pertinence.
Le modèle compte des unités de travail (tickets). Si l’équipe se met à créer des tickets trois fois plus gros qu’auparavant, le débit mesuré en tickets chutera sans que la productivité réelle n’ait diminué.
La simulation suppose un backlog résiduel fixe (30 tickets). Si 10 nouveaux tickets sont ajoutés en cours de route sans réactualiser la saisie, l’horizon initial devient caduc.
Le tirage avec remise traite chaque sprint indépendamment. Si l’équipe subit une dégradation continue de son débit due à une dette technique croissante, le bootstrap ne projettera pas cette tendance baissière.
Le modèle ne peut piocher que dans ce qui a déjà été observé. Si un événement exceptionnel (panne d’infrastructure majeure de 3 semaines, démission clé) ne s’est jamais produit dans l’historique, il n’apparaîtra dans aucune trajectoire simulée.
7. Utiliser la prévision de backlog dans Cauba
Dans l’espace d’analyse de Cauba, la prévision de backlog s’intègre nativement au sein de la dimension Santé de la Prévisibilité (Delivery Predictability) :
Ce que vous devez configurer
- Un export de données avec statut et dates d’achèvement : au moins 3 périodes exploitables doivent être présentes dans la fenêtre d’analyse.
- La taille du backlog restant (backlog_size) : renseignée lors de la configuration ou via le bouton « Définir la taille du backlog » dans la section Prévision de livraison du rapport.
- Nombre de simulations : fixé de façon déterministe par le moteur à 1 000 itérations pour offrir un équilibre optimal entre réactivité d’affichage et stabilité statistique.
Comprendre l’unité affichée
Si votre projet utilise un champ Sprint cartographié, les horizons P50, P85 et P95 sont exprimés en « sprints ». Si votre équipe fonctionne en flux continu (sans sprints délimités), Cauba dérive des fenêtres calendaires fixes de 14 jours et affiche les résultats en « périodes de 14 jours ».
La règle diagnostique PRED-001 (Dispersion de prévision large)
Cauba évalue automatiquement l’écart relatif entre l’horizon prudent (P95) et l’horizon médian (P50) : dispersion = (P95 - P50) / P50. Si cette dispersion atteint ou dépasse 50 % (seuil WIDE_FORECAST_DISPERSION_THRESHOLD), la règle PRED-001 se déclenche pour signaler une incertitude substantielle liée à une forte variabilité des débits passés. Dans le cas contraire, un encart informatif confirme qu’aucun signal d’intervalle anomalement large n’a été détecté.
Cas d’indisponibilité de la prévision
Quand actualiser votre prévision ?
- À chaque clôture de sprint : importez le nouvel export pour intégrer la dernière période achevée dans l’échantillon de débit.
- Après chaque revue de backlog majeure : mettez à jour la taille du backlog résiduel pour tenir compte des tickets découpés, ajoutés ou dépriorisés.
Checklist récapitulative pour une prévision Monte Carlo saine
Guides complémentaires recommandés
Passer des estimations aux prévisions fondées sur les livraisons réelles
Comprenez pourquoi la vitesse moyenne trompe les équipes et comment articuler estimations, débit observé et hypothèses de cadrage.
Cycle Time et Lead Time : mesurer et comprendre le temps de delivery
Distinguez le temps d’acheminement unitaire des tickets de la cadence collective de livraison, et apprenez à lire les percentiles de délai.
Préparer un export Jira pour analyser son flux de livraison
Guide pas à pas pour extraire vos données Jira en CSV sans plugin : filtres JQL, colonnes obligatoires et classification des statuts.
Questions fréquentes sur Monte Carlo et les prévisions de backlog
Références méthodologiques & lectures recommandées
- Troy Magennis — Forecasting and Simulating Software Development Projects with Monte Carlo. Ouvrage de référence sur l’application du rééchantillonnage probabiliste au delivery logiciel et aux backlogs agiles.
- Daniel S. Vacanti — When Will It Be Done? Lean-Agile Forecasting to Answer Your Customers’ Most Important Question. Guide pragmatique sur l’abandon des estimations traditionnelles au profit des métriques de flux et des prévisions probabilistes.
- Dr. Alistair Cockburn — Agile Software Development: The Cooperative Game. Fondements de la dynamique d’équipe, de la communication des incertitudes et de la gestion adaptative des jalons.
