Machine Learning Techniques for Electricity Price Forecasting

Doctorant : Léonard TSCHORA

Laboratoire INSA : LIRIS

Ecole doctorale : ED512 Informatique et Mathématiques de Lyon

Electricity is essential for the energetic transition due to the diversity of greenhouse-gas free means of production and its potential to replace fossil fuels. However, it requires constant balance between generation and consumption, and can't be stored efficiently. Thus, it's necessary to use Price Fixing Algorithm (PFA) for developing competitive markets. Daily, Euphemia, determines the prices for the next day. Unlike other speculative markets, the price is algorithmically computed that renders its forcasts paramount for business applications. Electricity Price Forecasting consists in predicting the 24 hourly prices before their fixation at 12am. The literature highlights two incomplete approaches: expert models aim at replicating the PFA and computing the prices based on estimates of its inputs, but fail to produce accurate forecasts in practice. Data driven methods directly estimate prices using exogenous variables and past prices, but lack transparency. Also, the true relationship between variables and prices is only captured by Euphemia, implicitly limiting the performances of data driven approaches. The first challenge is to produce explainable EPF models using Shap Values, a model- agnostic explanability tool. Then, we represent the European network as a Graph where each country is a node labeled with its prices. We estimate the Graph edges using an optimization problem prior to training. With a Graph Neural Networks, we forecast prices for all markets simultanesously. Lastly, we combine the Euphemia algorithm with in a Neural Network (NN) that forecasts its inputs. To consider the price forecasting error in the NN's training, we compute the gradient of Euphemia's output with respect to its input, by vanishing the derivative of the dual function using a dichotomic search. We hope this thesis will be beneficial for the EPF practitioners and we also believe that our work on mixing optimization problems with machine learning models will benefit the broader Machine Learning community. 

« Faire aussi bien (voire mieux) avec moins de ressources » : ce pourrait bien être la maxime préférée de Stefan Duffner, enseignant-chercheur au laboratoire LIRIS¹. Spécialiste de l’apprentissage et de la reconnaissance des formes au sein de l’équipe Imagine², il explore une approche de l’Intelligence Artificielle (IA) plus frugale. Comment faire de l’IA robuste, sécurisée et fiable avec moins de données ? Comment relever le défi de la sobriété dans un domaine tenaillé par une course à la performance permanente ? Quel degré d’erreurs est-il acceptable pour un système à qui l’on demande de prendre des décisions pour nous-même ? Stefan Duffner propose d’explorer un concept qui encourage une approche de compromis, entre performances et impacts sur l’environnement. Explications.

Pourquoi, de tous les outils du numérique, l’intelligence artificielle devrait-elle prendre le pli d’une certaine frugalité ou sobriété ?
Derrière le terme « intelligence artificielle » se cache un monde très vaste. Pour ma part, je m’intéresse à l’apprentissage automatique et aux réseaux de neurones profonds, appelé « deep-learning », qui sont des méthodes qui régissent nos principaux usages de l’intelligence artificielle. Ces dernières années, les outils faisant appel à des IA, se sont largement démocratisés, au moyen d’appareils embarqués et de données massivement exploitées. Si l’utilisation de ces données volumineuses permet d’avoir des modèles très précis, il est désormais reconnu qu’elle présente de lourdes conséquences sur le plan environnemental, notamment en matière de consommation d’énergie. Aussi, cette exploitation de données massives va souvent de pair avec des calculs de plus en plus complexes et lourds. Une autre part de la consommation énergétique de l’IA vient de l’apprentissage. Pour qu’un modèle d’intelligence artificielle fonctionne, il a besoin d’être entraîné, d’apprendre. Souvent déployée sur des data centers de grande envergure, cette activité peut s’avérer très gourmande en énergie. Ces approches actuelles, qui ne tiennent pas compte des ressources limitées de la planète, ne sont plus tenables. C’est pour cette raison qu’une partie de la communauté scientifique appelle à plus de frugalité dans l’utilisation des intelligences artificielles, en étudiant d’autres approches plus sobres, tout au long du cycle de développement de l’IA.

Concrètement, quels leviers peuvent être actionnés pour que l’intelligence artificielle soit plus « frugale » ?
Le but, c’est de faire plus léger. Aujourd’hui, beaucoup de modèles sont surdimensionnés et consomment beaucoup plus d’énergie que le besoin le requiert. Il y a beaucoup d’approches pour faire plus « frugal » en matière d’intelligence artificielle et la communauté scientifique commence à s’intéresser notamment à la réduction de la complexité des modèles, en utilisant moins de données ou en les « élaguant ». Il y a aujourd’hui, une surenchère des réseaux de neurones car c’est le système fournissant les résultats les plus performants et efficaces. Cependant, il existe de nombreux usages pour lesquels un apprentissage un peu moins efficace, moins énergivore et plus explicable comme les modèles probabilistes, pourrait convenir. Et puis, concernant les autres leviers, il y a la dimension du matériel, du réseau et du stockage des données qui mériterait d’être repensée pour des IA plus sobres. Je dis « sobre », car il me semble que c’est un terme à différencier de « frugal ». La frugalité invite à faire mieux avec moins, alors qu’il me semble que la sobriété implique de remettre en question les besoins, à l’échelle sociologique, ce qui n’est pas de mon domaine de chercheur en informatique. 

Donc, d’après ce que vous laissez entrevoir, l’IA frugale, ça n’est pas vraiment pour tout de suite. Quels sont les freins ?
J’identifie au moins deux freins majeurs. D’abord, un frein technique. Faire de l’IA frugale implique de trouver le bon compromis entre sécurité, robustesse et réponse au besoin. Les deux premières propriétés sont complètement inhérentes à notre usage de l’intelligence artificielle : nous ne voulons pas utiliser d’IA qui fasse de graves erreurs et qui soit sujette aux attaques malicieuses. Parfois, en diminuant les modèles pour gagner en économie d’énergie, on diminue la robustesse. Prenons l’exemple de la voiture autonome : nous ne voulons certainement pas diminuer la robustesse de l’IA qui contrôle la voiture automatique, et que celle-ci confonde un vélo et un piéton. Pour lui faire apprendre à différencier les situations, cette IA a « appris », à travers une multitude de situations différentes. Il sera donc difficile dans cette situation d’alléger le modèle car le seuil de tolérance doit être très bas pour éviter la moindre catastrophe. Bien sûr, on peut questionner le besoin de développer des voitures autonomes, mais c’est un autre débat… L’autre frein majeur pour le développement d’une IA plus frugale, c’est qu’elle implique des compétences dans plusieurs domaines, ce qui réduit le champ des spécialistes pouvant s’impliquer dans cette mouvance. C’est d’ailleurs ce qui m’a motivé à faire un projet avec la SATT Pulsalys³ pour développer un service, facile d’utilisation destiné aux ingénieurs, data-scientists ou à des entreprises qui souhaiteraient s’investir dans la réduction de modèles, sans pour autant en être spécialistes. Nous sommes encore en train de travailler sur un prototype qui ne devrait pas tarder à voir le jour.

Il y a un vrai débat entre les approches dites « green IT » et « IT for Green ». Les terminologies sont proches, pourtant, les démarches ne sont pas les mêmes. Comment y voir plus clair ?
Effectivement, il y existe un vrai débat entre ces approches, qui peuvent être complémentaires. La première prévoit de minimiser l’impact négatif des opérations et des équipements sur l’environnement. L’autre est une démarche qui utilise le numérique dans un objectif de réduction de l’empreinte écologique. Pour ma part, je crois que les intelligences artificielles sont encore trop largement utilisées pour créer des besoins dont l’utilité pourrait être remise en question. Cela est dû au déploiement massif de l’IA ces dernières années, lui-même rendu possible par la disponibilité des ressources de calcul et le matériel disponible, assez bon marché. Jusqu’à aujourd’hui, il est facile d’investir dans l’IA, grâce à des financements. Il ne faut pas oublier que c’est un domaine encore jeune, et que les solutions pour faire plus frugal, ne sont pas encore à la portée de tous. Sur le papier, j’ai le sentiment qu’il y a beaucoup de volonté pour faire « plus vert », mais dans les entreprises, la décision est difficile : utiliser une IA plus « verte » coûte souvent plus cher. Alors que développer un outil d’IA pour faire « plus vert », est un projet plus facilement défendable devant des financeurs. C'est aussi un domaine qui manque encore de règlementation. Nous pourrions imaginer que l’utilisation d’une IA soit soumise à des obligations d’économie d’énergie : ces règles existent pour le chauffage, pourquoi pas avec une IA ?

 

[1] Laboratoire d'InfoRmatique en Image et Systèmes d'information (UMR 5205 CNRS / INSA Lyon / Université Claude Bernard Lyon 1 / Université Lumière Lyon 2 / École Centrale de Lyon)
[2] Computer vision, Machine Learning, Pattern recognition
[3] Créée en 2014, La Société  d’Accélération du Transfert de technologies (SATT) Pulsalys du site Lyon et Saint Étienne a pour mission de mutualiser les moyens et compétences des établissements de recherche publique de l’écosystème lyonnais et stéphanois en vue d'accélérer le transfert de technologies issu de leurs laboratoires.

L’information a fait le tour des réseaux sociaux cette dernière semaine : à l’occasion d’une conférence de presse, le champion de football portugais Cristiano Ronaldo a fait chuter le cours de l’action de l’entreprise Coca-Cola de 4 milliards de dollars en écartant deux bouteilles de soda au profit d’une bouteille d’eau. La nouvelle a fait le tour de la toile et a fait sourire Előd Egyed-Zsigmond, chercheur au LiRiS¹. Ce passionné d'informatique bien habitué des fluctuations de la NASDAQ² ne boursicote pas, comme il aime le rappeler. S’il étudie les cours boursiers chaque matin, c’est pour faire avancer la science de la prédiction car sous la mécanique du système boursier se cache une mystérieuse beauté logique et des enjeux scientifiques de taille. Il explique.

En quelques secondes seulement, Cristiano Ronaldo a réussi à influer sur le cours de l’action de l’une des entreprises les plus influentes du monde. Comment est-ce possible ? 
Il faut d’abord se pencher sur les mécanismes du marché boursier. La Bourse est dominée par la loi de l’offre et la demande : concrètement, si une action est très recherchée par les acheteurs, son prix monte. À l’inverse, l’action baisse quand il y a plus de vendeurs que d’acheteurs. Tous les initiés vous le diront, lorsque vous voulez faire de la plus-value en bourse, chaque information compte car il faut bien comprendre que les évènements extérieurs agissent directement sur ces fluctuations. Avec un geste comme celui de Ronaldo, vu par des millions de personnes, beaucoup de décideurs ont choisi de suivre la célébrité car il a une influence sur les consommateurs ; c’est une question d’image. Détecter les influenceurs peut bien sûr aider à prédire des évènements boursiers, mais soyons réalistes, les 4 milliards de perte induits par le geste de Ronaldo ne sont pas grand-chose à l’échelle d’une telle entreprise, la baisse était de moins de 2 %. En comparaison, lorsque les terrasses et les restaurants ont fermé en mars 2020 avec la crise sanitaire, la marque de soda avait perdu 30 % de sa valeur. Les évènements politiques et sociaux ont une plus grande influence sur la Bourse.

Pour vos recherches, vous passez beaucoup de temps à surveiller les variations des prix, et vous les mettez en parallèle avec des informations contextuelles. À quoi cela sert-il ?
Notre but est de trouver des liens de corrélations et de cause à effet entre les variations des actions et les actualités. C’est un travail purement informatique sur lequel nous basons le développement d’algorithmes capables de prédire les oscillations. La Bourse est un cas d’école très intéressant car les données sont facilement accessibles et très nombreuses et il est donc aisé d’évaluer l’efficacité de nos méthodes scientifiques. Pour donner une idée du volume, chaque cours de bourse génère quotidiennement quatre valeurs intéressantes au minimum : le prix d’ouverture en début de journée, le minimum, le maximum et le prix de fermeture. Avec mon équipe, nous observons les chiffres quotidiennement, un peu comme des traders : toutes les 5 minutes nous relevons le cours des actions, des tweets et des millions d’articles de presse en ligne. Au milieu de cet océan de données, nous demandons à nos algorithmes de tracer les liens. Mais ces liens ne sont pas une réponse universelle, car beaucoup d’éléments contextuels peuvent nous échapper et influer sur le choix des investisseurs. En fait, un algorithme automatique ne sera jamais capable de gérer et générer des gains seul sur un portefeuille pour la simple raison que les choix humains sont imprévisibles. Par exemple, lors du tragique accident survenu sur le vol AF 447 Rio-Paris en 2009 à bord d’un avion Airbus, les financiers auraient pu parier que le concurrent principal de l’entreprise, Boeing, prendrait de la valeur boursière. Or, c’est toute la branche de transports aériens de voyageurs qui a été décotée ; on peut imaginer que le facteur « peur » ait influencé les choix. Mais les ressentis et les émotions ne sont pas toujours automatiques, alors comment intégrer ces notions à un algorithme ?

Quels sont les enjeux scientifiques du développement de tels outils ? 
L’arrivée des journaux et médias en ligne a donné un élan à l’automatisation de l’extraction de données. Aujourd’hui, un outil informatique est capable de digérer d’énormes quantités d'informations. Mais dans un monde sursaturé d’informations, il faut privilégier la qualité au-delà de la quantité et c’est ce que nous cherchons : créer des outils capables d’aider l’humain à y voir plus clair pour faire ses choix. Grâce à une méthode combinée entre le « deep-learning » et le « machine-learning », nous éduquons nos outils à la sémantique, c’est-à-dire à la manière d’interpréter les énoncés pour leur attribuer un sens. C’est un des principaux enjeux de la fouille de données. D’ailleurs, les vaccins contre la Covid n’auraient pas pu être fabriqués aussi vite sans ces algorithmes : imaginez le nombre de données bibliographiques en matière de pharmacologie qu’il a fallu éplucher avant que les scientifiques puissent lancer les phases expérimentales… Cela me fait dire que la discipline a encore de grandes années devant elle.

Mais pour en revenir à la Bourse, si vos algorithmes marchent trop bien, ne pourraient-ils pas compromettre le système tout entier ? 
En réalité, nos expériences montrent que les outils informatiques peuvent aider à être un peu plus efficace, mais tant que ce sont des humains qui vont et viennent sur les actions, la technologie ne pourra jamais être une solution miracle pour faire de la plus-value. Et ça n’est pas plus mal comme ça ! Il nous reste beaucoup à découvrir dans l’analyse d’information structurelle et aujourd’hui, je m’interroge beaucoup : faut-il vraiment tout comprendre de ces mécanismes ? Bien sûr, les méthodes de fouilles de données que nous développons auront des répercussions sur bien d’autres domaines et peuvent permettre par exemple de détecter des signaux faibles pour des crises de toute sorte. Et si le lien logique entre le geste de Cristiano Ronaldo et l’action de Coca-Cola est facile à expliquer, faire comprendre l’humain à des lignes de code nécessite encore quelques bonnes années de recherche !

1 Laboratoire d’InfoRmatique en Image et Systèmes d’information (CNRS/INSA Lyon/Lyon 1/Lyon 2/ECL)
2 Nasdaq : National Association of Securities Dealers Automated Quotations, est la deuxième bourse de valeurs des États-Unis

Crédit photo : UEFA