Le 22 juin 2023, AddixGroup organisait son premier webinaire autour du Machine Learning et de l’Intelligence Artificielle (IA).
Docteur en mathématiques et Data Scientist avant l’heure, le speaker Thor Whalen est venu tout droit des Etats-Unis pour nous faire part de ses recherches et de son expérience en répondant à cette question : « Pourquoi les projets de Machine Learning échouent-ils ? ».
Vous trouverez ci-dessous l’intégralité de la retranscription de la présentation de Thor Whalen, sans oublier son support et l’ensemble des références bibliographiques documentant son travail.
Les défis des projets d'IA et de Machine Learning
THOR WHALEN : Je tiens à préciser que les trois photos affichées ici ne me représentent pas réellement, elles ont été générées par une intelligence artificielle.
Il est important de noter que tout ce que je vais dire aujourd’hui est faux ou susceptible d’être remis en question à l’avenir. Les changements se produisent à un rythme accéléré et de nombreuses informations peuvent devenir obsolètes en peu de temps. Prévoir avec précision dans un délai de quatre mois est donc très difficile.
D’abord, nous allons suivre une approche traditionnelle. Le résultat de mes recherches datent de décembre 2022. Fort de mon expérience jusqu’à présent, je vais vous expliquer de quoi il s’agit.
Commençons par une statistique que j’ai trouvée en ligne : 85 % des projets d’IA échouent.
Il convient de souligner que les projets d’IA sont déjà des projets logiciels, et que de nombreux projets logiciels échouent de toute façon.
D’après mes recherches, je suis parvenu à la conclusion que 50 à 60 % des projets logiciels échouent.
Les raisons des échecs de l'IA et de Machine Learning
TW : Nous devons donc faire face à cette difficulté inhérente aux projets logiciels. Lorsque l’on ajoute l’IA ou des données supplémentaires à l’équation, la situation devient évidemment encore plus complexe. Il se passe beaucoup de choses dans ce domaine. Je vais principalement me concentrer sur les aspects liés aux données, tout en gardant à l’esprit qu’il s’agit bien de logiciels.
A présent, la question qui se pose est la suivante : pourquoi les projets d’IA échouent-ils ? Nous pourrions examiner tous les cas, mais cela prendrait du temps. Si vous identifiez quelque chose qui suscite votre intérêt, n’hésitez pas à poser des questions afin que nous puissions en discuter.
Deux principes pour réussir ces projets de Machine Learning
TW : Après avoir effectué ces recherches, je me suis posé la question suivante : si je devais choisir deux principes fondamentaux pour m’accompagner sur une île où je travaillerais sur des projets de science des données pendant un à deux ans, quels seraient-ils ?
- Premièrement, il est essentiel de mesurer les objectifs réels, de préférence en termes financiers (dollars ou euros), car à la fin, c’est souvent l’argent qui motive les affaires. Il est important d’établir un lien entre l’objectif de générer des revenus et le processus mis en place. Sans cette connexion, quelque chose ne fonctionnera pas correctement.
- Deuxièmement, lorsque nous travaillons dans le domaine de la science des données, implicitement ou explicitement, nous fournissons des mesures à notre modèle. Prenons l’exemple d’une régression linéaire : nous fournissons implicitement des mesures à notre modèle. Il est essentiel de comprendre et de relier ces mesures aux objectifs financiers des personnes impliquées.
Tout ceci est très intéressant, mais cela ne correspond pas aux objectifs réels. Cet exercice est donc extrêmement important pour s’aligner sur les besoins de l’entreprise et fournir à notre modèle les éléments nécessaires.
Ensuite, parlons de la vélocité. Lorsque j’aborde ce sujet, les gens pensent souvent au lean ou à la méthode agile. Oui, cela fait partie de l’équation, mais j’ai acquis une perspective différente grâce à mon expérience dans le domaine des données. La vélocité est essentielle pour relier les idées à leur mise en œuvre, afin que nous puissions concrétiser quelque chose sans perdre trop de temps ou d’efforts. Ces deux aspects sont les idées principales que je souhaite discuter et partager.
Mesurer les objectifs et améliorer la vélocité
TW : Revenons maintenant à la mesure. Si vous entreprenez cet exercice en vous disant : « D’accord, nous allons essayer de mesurer les objectifs », cela peut aller au-delà d’une simple mesure des indicateurs clés de performance (KPI) pour le projet. Si je vous demande de le faire en euros, vous pourriez dire « Ce n’est pas réalisable ». Cependant, c’est toujours possible, bien que difficile.
Lorsque nous faisons un choix, il y a toujours une mesure implicite, peut-être inconsciente, qui sous-tend cette décision. Les clients posent souvent cette question : « Comment savoir si ton modèle est correct ? » Je leur réponds alors : « Comment savoir si ton modèle est correct ? » Mon modèle sait qu’il est un modèle, il peut être mesuré. En revanche, ton modèle, qui existe uniquement dans ta tête, tu ne sais même pas qu’il existe, et pourtant tu prends des décisions. Et si tu prends des décisions, cela signifie qu’il y a un input-output qui se produit avec une boîte noire au milieu, qui peut être incohérente et qui peut même changer demain.
En résumé, il est important d’utiliser un langage français cohérent et cohésif pour définir des termes. Cependant, cela ne signifie pas que c’est facile. Au contraire, c’est un exercice difficile, mais c’est précisément l’objectif. L’objectif de cet exercice n’est pas d’obtenir une mesure précise, mais plutôt de prendre conscience des limites de la mesure que vous utilisez. Cela permet d’aligner toutes les parties prenantes, des scientifiques des données aux développeurs en passant par les clients finaux.
Je vous recommande la lecture du livre How to Measure Anything: Finding the Value of Intangibles in Business par Douglas W. Hubbard, car il aborde ce sujet de manière très intéressante et montre qu’il est souvent difficile de mesurer. Il propose également une méthodologie, comme vous pouvez le constater. Il regorge d’informations précieuses.
Ensuite, abordons la question de la vélocité. Si vous voulez améliorer la vélocité, il faut prendre en compte deux éléments : le contexte dans lequel vous travaillez et les processus que vous utilisez. Ce sont deux aspects différents, mais étroitement liés. Dans ce contexte, il est important de comprendre les contraintes, les besoins et les objectifs de votre entreprise.
Quels sont les facteurs qui influent sur la vélocité de votre entreprise ? Par exemple, si vous travaillez dans une entreprise où le cycle de vente est long, cela peut avoir un impact sur votre vélocité. Vous devez donc tenir compte de ces facteurs et trouver des moyens de les atténuer ou de les contourner.
En ce qui concerne les processus, vous pouvez adopter des méthodologies agiles ou d’autres approches itératives pour améliorer la vélocité. Il est important d’identifier les goulots d’étranglement, les inefficacités ou les processus inutiles qui ralentissent votre progression. Ensuite, vous pouvez travailler sur l’amélioration continue en apportant des ajustements et des itérations à vos processus.
Ainsi, mesurer les objectifs réels et améliorer la vélocité sont deux principes fondamentaux que je considère importants pour les projets d’IA. Cependant, il est crucial de prendre en compte le contexte de votre entreprise et d’adapter vos processus en conséquence.
QUESTION : Pour les entreprises qui souhaitent se lancer dans l'IA, quelles sont les actions à entreprendre ?
TW : Quelle est la compréhension nécessaire ? Quelles sont les implications ? Actuellement, l’approche la plus courante consiste à souscrire à des services d’IA tels que ChatGPT ou d’autres IA génératives, qui permettent d’explorer de nombreuses idées. Mon premier conseil serait donc de se familiariser avec les meilleures solutions disponibles aujourd’hui, tout en sachant que l’année prochaine apportera des évolutions. Ce qui est novateur aujourd’hui pourrait devenir accessible à tous dans quelques mois. Il est donc essentiel de rester attentif aux évolutions.
En revenant en arrière, avant de se lancer dans l’IA, il est important de se poser les bonnes questions. Je reviens sur la mesure des objectifs. Pourquoi souhaite-t-on réaliser telle ou telle action ?
Pour illustrer cela, prenons l’exemple d’une petite agence de voyages. Ils avaient trois projets liés à la prévision des prix des hôtels. Le premier projet visait à évaluer le rapport qualité-prix des hôtels, le niveau de confort et l’emplacement, qui est un critère crucial. Le deuxième projet consistait à déterminer le temps nécessaire pour se rendre à l’hôtel depuis le centre-ville de Berlin, en prenant en compte la distance en minutes plutôt qu’en kilomètres, car les déplacements se font à pied. Le contexte de ces projets était important, notamment en ce qui concerne la base de données du centre-ville qui n’était pas fiable. Il était donc nécessaire de recalculer le véritable centre-ville. Ce genre de situation se produit fréquemment lorsqu’on travaille avec des données.
La clé est de se poser des questions sur les objectifs et de remettre en question les définitions utilisées. Par exemple, lorsque l’on parle de « centre-ville », qu’est-ce que cela signifie réellement ? Si l’objectif est de prendre en compte la distance par rapport au centre-ville, il est important de clarifier cette notion. Parfois, il faut repenser les mesures et prendre en compte le contexte pour obtenir de meilleurs résultats. Le but est d’avoir des objectifs clairs.
Il est également important de considérer les activités spécifiques que les personnes souhaitent réaliser lorsqu’elles voyagent, comme le shopping, les sorties en discothèque, les restaurants, etc. Cela varie d’une personne à l’autre, et il est donc nécessaire d’adapter les recommandations en fonction des préférences individuelles. Il faut parvenir à comprendre que le concept de « centre » peut varier en fonction des villes et de leur dynamique. Par exemple, pour des villes comme Rio ou Berlin, il peut y avoir plusieurs centres. Ainsi, il s’agit de prendre en compte les intérêts spécifiques à chaque endroit et attribuer un score en fonction de la longitude, de la latitude, des restaurants, des attractions touristiques, etc.
En conclusion, pour intégrer efficacement l’IA dans le business, il est primordial de se poser les bonnes questions, de clarifier les objectifs et de prendre en compte le contexte spécifique à chaque projet. Cela permettra d’obtenir des résultats plus précis et adaptés aux besoins des utilisateurs.