Le mot « Optimisation » est utilisé partout : des moteurs de recherche aux processus de fabrication. En particulier, lorsque l’optimisation est utilisée en relation avec des données, le terme est souvent utilisé de manière inappropriée.

Rédigé par Geert Meulenbelt & Léopold Shaabani Ardali


Déboulonner quelques mythes

Le mot « Optimisation » est utilisé partout : des moteurs de recherche aux processus de fabrication. En particulier, lorsque l’optimisation est utilisée en relation avec des données, le terme est souvent utilisé de manière inappropriée.

Ce post définit tout d’abord quatre types d’optimisation, puis donne un aperçu des optimisations multidimensionnelles et se termine par une série de remarques utiles.

Quatre types d’optimisation

Le graphique ci-dessous présente quatre types d’optimisation différents en fonction de leur complexité et de leur impact potentiel sur le retour sur investissement. Il montre l’extraordinaire potentiel de retour sur investissement des optimisations multidimensionnelles.

Business Intelligence présentée sous forme d’optimisation

De nombreuses solutions qui parlent d’optimisation n’optimisent rien du tout. Beaucoup d’efforts sont consacrés à la collecte et au nettoyage des données et à la création de tableaux de bord fantaisistes. Il est certainement utile de créer des aperçus, et travailler sur les données et leur gouvernance est une condition préalable pour devenir plus axé sur les données. Mais nous ne parlons ici que de l’intelligence économique qui crée une valeur assez limitée au-delà d’un premier aha-moment lorsque les données sont visualisées pour la première fois (et que vous vous rendez soudain compte que les données et/ou les règles commerciales sous-jacentes sont erronées).

Optimisation basée sur des règles

L’établissement de règles business pour un défi d’optimisation particulier permet souvent de simplifier les problèmes et de cueillir ce qu’on appelle les « fruits qui pendent ». Ces règles écrites tentent d’imiter les décisions qu’un expert prendrait pour gérer efficacement le processus, comme « si la consommation diminue, alors la production diminue » ou « d’abord, allumez la chaudière à gaz (moins chère), puis, si ce n’est pas suffisant, la chaudière électrique ».

Cette approche, qui appartient aux « systèmes experts », a connu un essor dans les années 1980-90 dans les secteurs de la finance et de la médecine. Cependant, plusieurs inconvénients les rendent peu efficaces :

  • leur rigidité (si le système pour lequel les règles sont écrites change, les règles doivent elles-mêmes changer),
  • leur complexité (pour imiter fidèlement un expert, il peut être nécessaire de traiter des centaines de règles, dans un ordre précis),
  • et leur incapacité à traiter efficacement des décisions trop complexes (par exemple des décisions où il faut faire des compromis entre plusieurs décisions a priori équivalentes en appel – exemple simple : faut-il mettre en marche deux petites chaudières à 75% de capacité chacune, une petite à 100% de capacité et une autre à 50% de capacité, une grande à 100% de capacité ou deux grandes à 50% de capacité ?)

Optimisation à une dimension

La grande majorité des entreprises proposant des solutions d’optimisation basées sur des algorithmes le font avec une seule catégorie ou dimension : optimiser les personnes dans une planification par exemple, ou optimiser la consommation d’électricité des machines dans un processus de production.

Cependant, l’optimisation d’une seule dimension permet de réaliser des économies sur cette dimension particulière, mais pourrait bien dégrader d’autres dimensions. Prenons l’exemple d’un groupe d’usines qui doit atteindre un objectif de production totale requis et livrer cette production aux clients sur toute une zone :

  • Un outil de planification de la production ne tiendra compte que des coûts de production. Cela conduira à la spécialisation de chaque usine dans sa production la plus efficace. Cependant, cela augmentera les coûts de livraison.
  • Un outil de planification logistique ne tiendra compte que des livraisons. Ainsi, les clients seront toujours livrés par l’usine la plus proche. Toutefois, pour ce faire, il pourrait être nécessaire de réorganiser la production en plus petits lots, puisque chaque usine fabriquera de nombreux produits spécialisés différents. Ce processus pourrait également être coûteux.

Optimisation multidimensionnelle

Plus vous pouvez prendre en compte de dimensions, plus une optimisation sera puissante et gratifiante. Autrement dit, plus vous vous rapprochez des technologies numériques pour faire face à des situations réelles, meilleurs seront les résultats obtenus.

Les techniques classiques (méthodes de recherche opérationnelle) et d’apprentissage machine (comme le célèbre exemple de la réduction de 40 % de la facture de refroidissement des centres de données par Google) sont utilisées pour résoudre ces problèmes. Ces techniques comprennent l’apprentissage par renforcement. Au sens large, l’apprentissage par renforcement concerne la manière dont les « agents » logiciels doivent agir dans un environnement afin de maximiser une certaine notion de récompense cumulative. Cet agent, lorsqu’il est confronté à plusieurs cas du problème étudié, apprendra progressivement à prendre des décisions qui maximisent ses revenus totaux (ou minimisent ses coûts totaux) sur la base de l’expérience acquise.

L’astuce est de pouvoir combiner ces différentes techniques à différents niveaux. Et c’est exactement le saint graal de l’optimisation multidimensionnelle qui n’est le terrain de jeu que d’une minorité de fournisseurs de solutions. Bien que nous commencions à peine à en voir les résultats, le retour sur investissement est souvent d’un ordre de grandeur supérieur à tout ce qui est réalisé sur une seule dimension.

Caractéristiques de l’optimisation multidimensionnelle

L’écart entre les feuilles de calcul Excel et l’optimisation multidimensionnelle complexe est énorme. Étant donné que peu de solutions existent sur le marché, la mise en place d’une solution viable en interne est encore moins envisageable, notamment en raison du temps nécessaire à la valorisation, de la qualité des résultats ou de la maintenabilité. Comme il y a tant d’éléments à mettre en place (de l’ingestion et de la qualité des données à la gouvernance des données, en passant par les visualisations de données destinées aux utilisateurs opérationnels), il est fortement recommandé de considérer l’optimisation et le moteur sous-jacent comme un composant qui devrait être fourni en externe, au moins à court terme.

Une priorité claire devrait être accordée à la résolution des problèmes commerciaux et à la preuve du retour sur investissement.

Pour y parvenir, un certain nombre de caractéristiques de l’optimisation doivent être mieux comprises.

Comprendre les besoins des parties prenantes

L’optimisation multidimensionnelle s’intéresse par définition à de multiples dimensions. Cela signifie que l’optimisation dans de nombreux cas d’utilisation créera différents scénarios, les personnes choisissant un scénario particulier. Et chaque scénario prend en compte un mélange d’éléments.

Les différentes parties prenantes ont des exigences différentes :

  • Les questions de simulation (what-if) sont souvent posées par la haute direction à une faible fréquence. Ces questions servent de base à la planification stratégique : que se passe-t-il si mes coûts en CO2 montent en flèche, quel serait le meilleur emplacement pour une nouvelle usine ou un nouvel entrepôt ? Les responsables opérationnels posent des questions similaires, mais sur des sujets plus terre à terre : quel sera l’impact d’un nouveau fournisseur sur ma chaîne d’approvisionnement, quel sera l’impact d’un nouveau point d’injection sur mon réseau ? Il s’agit de fournir des informations pour permettre aux humains de prendre les bonnes décisions.
  • Les optimisations sont utilisées pour les équipes opérationnelles et généralement plus fréquemment (souvent quotidiennement) : compte tenu de la disponibilité des actifs et des contraintes, comment les ressources doivent-elles être allouées ? Les résultats du scénario choisi sont intégrés dans les outils opérationnels.
  • Les alarmes doivent déclencher des actions (scénarios alternatifs) pour savoir quelles options sont en jeu pour prendre la meilleure décision. Il peut s’agir d’événements externes (une inondation sur une rivière qui bloque les transports) ou internes (un employé malade). La prise de décision basée sur des scénarios de différentes options a tendance à avoir un sens de l’urgence et est plus proche du temps réel.
  • Les visualisations simples sont souvent très appréciées par les parties prenantes qui sont plus éloignées du « cœur de l’action » : que ce soit en interne (administration, finances) ou en externe (régulateurs, clients).

Penser en réseau

Les défis de l’optimisation peuvent se trouver n’importe où dans la chaîne de valeur. Prenons par exemple la production et la distribution d’un bien : la chaîne de production (énergie, CO2, urgence, RH…), les produits finis dans une boîte (taille, vitesse du convoyeur), les boîtes sur une palette (taille, séquence)… Une façon simple de saisir le concept est de le considérer comme un réseau avec différents nœuds et différents flux entre les nœuds avec des contraintes partout.

En particulier pour les flux, la création d’une représentation numérique dynamique d’un réseau (appelée Digital Network Twin) est complexe et nécessite un savoir-faire sur le comportement des flux dans un réseau au fil du temps.

Une fois que la manière dont les optimisations sont conçues est connue, un modèle sur la topologie globale du réseau peut être créé. Sur la base de ce modèle, les utilisateurs finaux sont libres de créer des variantes spécifiques ou d’ajouter des nœuds. Cela apporte l’autonomie de l’utilisateur final qui est un ingrédient important pour le succès.

Naturellement, un tel modèle de réseau doit être occasionnellement affiné, mais les retours d’expérience sur le terrain suggèrent que des mises à jour annuelles sont suffisantes.

Il est important de comprendre que des problèmes qui semblent initialement très différents peuvent être résolus de manière très similaire lorsqu’on les considère comme un réseau de flux contraints par des règles commerciales. Un exemple d’un cas d’utilisation similaire du point de vue de l’optimisation :

  • L’optimisation de la connexion de la nouvelle usine de production de biogaz au réseau mondial,
  • L’optimisation de l’emplacement et du dimensionnement d’un nouvel entrepôt dans un réseau logistique de fret.

Complexité inhérente

Contrairement aux simples problèmes à dimension unique, il est beaucoup plus difficile de résoudre les difficultés et les contraintes des problèmes du monde réel. Il est facile de comprendre pourquoi : lorsque davantage de dimensions sont prises en compte, le nombre de solutions possibles augmente de manière exponentielle.

Par conséquent, espérer trouver la meilleure solution en énumérant simplement tous les résultats possibles et en choisissant la meilleure est un rêve naïf et irréaliste qui devient de plus en plus hors de portée lorsque la taille du problème augmente.

En général, il existe des algorithmes puissants pour les problèmes unidimensionnels simplement formulés, comme le problème du vendeur itinérant pour la visite quotidienne d’un client fixe décrit ci-dessus. Cependant, dès que d’autres dimensions non triviales sont ajoutées, ces algorithmes échouent et il n’existe plus de solution « standard ».

Enfin, les contraintes et les règles commerciales connexes peuvent varier au fil du temps (ou sont négligées au début), ce qui peut avoir des répercussions importantes sur la manière dont une optimisation est conçue. Une petite modification d’une règle métier peut avoir des répercussions considérables sur l’optimisation.

Il n’y a pas de bouton magique pour faire fonctionner les choses

On entend parfois des gens qui ne jurent que par une technologie particulière « si vous n’utilisez pas les réseaux neuronaux profonds, alors vous n’optimisez pas vraiment ». Cela passe totalement à côté de l’essentiel : il y a toujours différentes façons d’obtenir des résultats. Ce qui compte, c’est la qualité du résultat et l’efficacité pour y parvenir, et non la technologie sous-jacente.

Oubliez aussi le rêve d’un algorithme magique complet (avec les droits de propriété intellectuelle associés bien sûr) que vous pouvez créer en appuyant sur un bouton et mettre en production pour résoudre un problème d’optimisation particulier.

La réalité ressemble davantage à cela :

  • Avant de procéder à toute optimisation, il convient de construire un modèle qui définit la manière dont les différents nœuds et contraintes interagissent entre eux. Ce modèle ou topologie est ajusté pour prendre en compte une situation particulière.
  • Il n’y a pas un algorithme unique et unifié mais une multitude d’algorithmes décentralisés qui, ensemble, produisent une sortie (un fichier plat) basée sur une situation particulière (un modèle) à un moment donné.
  • Différents algorithmes font différentes choses en même temps. Dans un réseau de chauffage, vous avez besoin à la fois de la prévision de la demande et de la propagation du débit et de la température dans les tuyaux pour obtenir des résultats significatifs.
  • Les algorithmes sont dynamiques et sujets à de fréquentes modifications.

La conclusion est que les problèmes du monde réel sont uniques et que les défis d’optimisation doivent être « crackés » au cas par cas. Il est indispensable de disposer des cerveaux et des outils nécessaires pour y parvenir.

Pour parler franchement : l’optimisation n’est pas un algorithme ou une technologie, c’est un métier. 

Et cela implique également qu’il existe un processus et une équipe multidisciplinaire permettant de tester et d’apprendre différentes options d’optimisation. Dans la pratique, une telle méthode de travail agile entre souvent en conflit avec les approches traditionnelles des projets de type « Gantt » utilisées dans les grandes entreprises.

L’optimisation représente moins de 25% du temps dans un projet

L’acquisition de connaissances opérationnelles en matière de gestion est une première étape obligatoire : définir clairement les indicateurs de performance clés, fixer des priorités et aligner le problème sur un sous-ensemble d’algorithmes qui peuvent être utilisés. Il est loin d’être clair au début d’un effort visant à déterminer ce qui influence réellement les résultats d’une optimisation.

Obtenir et comprendre les bonnes données représente souvent au moins 50% du temps passé dans un projet. Comme toujours, la règle « garbage in = garbage out » s’applique. Il est possible de gagner du temps en automatisant l’ingestion intelligente, en particulier pour les séries chronologiques.

Enfin, il ne faut jamais sous-estimer la complexité de l’ingénierie des données en raison de la différence entre un cycle de test initial sur quelques ensembles de données historiques et une solution industrialisée impliquant les TI et la sécurité pour connecter les flux de données.

En fin de compte, tout est question de confiance

La confiance et l’acceptation des résultats des optimisations dépendent à la fois de la capacité à expliquer ces résultats (techniquement et visuellement), de l’autonomie des entreprises (en ajustant et en sélectionnant des scénarios) et de la volonté d’une organisation d’investir dans la gestion du changement. Ces éléments sont souvent d’une importance bien plus grande que l’optimisation elle-même. Ce sont les personnes qui feront la différence.

 

Conclusions et take aways sur l’optimisation multidimensionnelle

Comprendre les besoins des parties prenantes depuis les simulations stratégiques et les optimisations opérationnelles jusqu’aux visualisations. Penser en scénarios avec des équipes opérationnelles en charge de sélectionner le meilleur scénario.

Pensez comme un réseau de bout en bout avec de multiples composants d’optimisation qui sont liés et peuvent être présentés comme un jumeau de réseau numérique dynamique.

Ne croyez pas aux solutions génériques et automatisées : l’optimisation complexe et à fort retour sur investissement doit être « craquée » au cas par cas. Des cerveaux intelligents et les bons outils font une énorme différence.

Comprenez que les résultats sont obtenus progressivement grâce à un travail d’équipe agile, l’évolution des contraintes et des règles de gestion pouvant avoir un impact important.

Même si une valeur énorme peut être créée par les moteurs d’optimisation, la composante d’optimisation elle-même représente souvent moins d’un quart du temps passé dans les projets.

Des résultats fiables sont la clé du succès et nécessitent des investissements dans la gestion du changement et l’approbation de la direction à un niveau élevé.

Téléchargez notre Livre Blanc sur L’Optimisation multi-dimensionnelle :