Apprentissage supervisé vs non-supervisé en Data Science

Si vous travaillez dans la gestion et l’analyse de données, et encore plus dans la Data Science, vous avez forcément entendu parler de machine learning. Que cela soit en travaillant auprès de chefs de projets IA, de data scientists ou encore de data engineers … Vous avez probablement assisté à des conversations passionnantes sur les algorithmes et leurs modèles d’apprentissage.

Et cela n'a rien d’étonnant. Le machine learning permet à ces experts de naviguer dans la sphère du Big Data. Grâce à cette méthode, ils peuvent prédire des événements futurs avec de fortes probabilités. Mais aussi, d’automatiser de nombreuses tâches complexes.

Les enjeux sont colossaux. Il devient donc indispensable de bien appréhender les concepts de machine learning pour rendre plus efficace le traitement et l’analyse des données de l’entreprise.

Pourtant, vous êtes nombreux à vous perdre dans les méandres techniques du Big Data. Chez DataBird, nous constatons que ce sont les mêmes questions qui reviennent : 

• Quelles sont les différentes pratiques dans le machine learning ?
• Comment cela fonctionne ? 
• Quels problèmes est-il possible de résoudre grâce au machine learning ?

Pour vous aider à y voir plus clair, nous allons tout vous expliquer dans cet article ! 

Si vous travaillez dans la gestion et l’analyse de données, vous avez forcément entendu parler de machine learning. Que cela soit en travaillant auprès de chefs de projets IA, de data scientists ou encore de data engineers … Vous avez probablement assisté à des conversations passionnantes sur les algorithmes et leurs modèles d’apprentissage.

Et cela n'a rien d’étonnant. Le machine learning permet à ces experts de naviguer dans la sphère du Big Data. Grâce à cette méthode, ils peuvent prédire des événements futurs avec de fortes probabilités. Mais aussi, d’automatiser de nombreuses tâches complexes.

Les enjeux sont colossaux. Il devient donc indispensable de bien appréhender les concepts de machine learning pour rendre plus efficace le traitement et l’analyse des données de l’entreprise.

Pourtant, vous êtes nombreux à vous perdre dans les méandres techniques du Big Data. Chez DataBird, nous constatons que ce sont les mêmes questions qui reviennent : 

• Quelles sont les différentes pratiques dans le machine learning ?
• Comment cela fonctionne ? 
• Quels problèmes est-il possible de résoudre grâce au machine learning ?

Pour vous aider à y voir plus clair, nous allons tout vous expliquer dans cet article ! 

Rappel des bases

Qu’est-ce que le machine learning ?

Le machine learning est une branche de l'intelligence artificielle qui consiste à développer des algorithmes pour prédire des événements futurs ou automatiser des tâches.

Par exemple, cette méthode vous permettra de : 

• Prédire la probabilité qu'un client achète un produit donné dans les deux prochains mois.
• Détecter des fraudes dans les transactions financières.

Les algorithmes de machine learning sont capables d'apprendre par eux-mêmes, à partir de données disponibles pour effectuer des tâches spécifiques. Le codage manuel réalisé par un professionnel n’est plus nécessaire pour faire évoluer le code.

On parle d’apprentissage automatique en français.

‍

Au lieu de coder des instructions précises, on fournit des données à un algorithme qui va ajuster ses paramètres pour apprendre des modèles et des relations dans ces données.

Il existe plusieurs types de techniques de machine learning, dont les plus courantes sont :

• L'apprentissage supervisé : L'objectif est de faire des prédictions sur de nouvelles données similaires à celles sur lesquelles il a été formé.
• L'apprentissage non-supervisé : l’objectif est de trouver des structures ou des patterns dans un ensemble de données sans étiquettes. 

Ces techniques sont largement utilisées dans de nombreux domaines tels que la reconnaissance vocale, la traduction automatique, la recommandation de produits, la détection de fraude, la vision par ordinateur, entre autres.

Qu’est ce que le Deep Learning

Le deep learning est une sous-branche du machine learning qui utilise des réseaux de neurones artificiels composés de plusieurs couches pour apprendre des représentations hiérarchiques des données. 

Ces réseaux de neurones sont appelés "profonds" car ils sont constitués de nombreuses couches de neurones, contrairement aux réseaux de neurones traditionnels qui sont souvent peu profonds, avec seulement une ou deux couches.

Le deep learning a révolutionné de nombreux domaines de l'intelligence artificielle en permettant l'apprentissage automatique de modèles à partir de données brutes, comme des images, des sons ou des textes.

Par exemple, les voitures autonomes utilisent des modèles de deep learning pour détecter automatiquement les panneaux de signalisation et les piétons pour éviter les accidents.

Le deep learning nécessite généralement de grandes quantités de données et de puissance de calcul pour entraîner efficacement les modèles. C’est pourquoi son utilisation s'est développée ces dernières années avec l'essor des technologies de cloud computing.

Quel lien avec le Deep Learning ?

Le lien entre le machine learning et le deep learning réside dans le fait que le deep learning fait partie des nombreuses techniques et approches disponibles dans le domaine plus vaste du machine learning. 

Tandis que le machine learning englobe toutes les méthodes permettant aux ordinateurs d'apprendre à partir de données, le deep learning se concentre spécifiquement sur l'utilisation de réseaux de neurones profonds pour apprendre des modèles complexes à partir de données brutes.

Tous les types de machine learning ne sont pas du deep learning. 

Le machine learning comprend également d'autres techniques telles que l'apprentissage supervisé, l'apprentissage non-supervisé, l'apprentissage par renforcement, etc.

Qu’est ce que l’apprentissage supervisé en Machine Learning ?

L'apprentissage supervisé en machine learning consiste à enseigner à un ordinateur à reconnaître des schémas dans les données en lui fournissant des exemples étiquetés. Ces exemples sont des paires de données, où chaque entrée est associée à une sortie attendue. 

L'ordinateur utilise ces exemples pour apprendre à faire des prédictions précises sur de nouvelles données. En d'autres termes, il apprend à partir de "bons exemples" où la bonne réponse est déjà connue, afin de pouvoir généraliser et faire des prédictions sur des données non vues auparavant.

Le processus d'apprentissage supervisé se déroule généralement en plusieurs étapes :

‍

Entraînement 

Pendant cette phase, l'algorithme est exposé à un ensemble de données d'entraînement qui contient des exemples étiquetés. L'algorithme ajuste ses paramètres internes en analysant ces données pour apprendre à faire des prédictions précises.

Validation  

Après l'entraînement, l'algorithme est évalué sur un ensemble de données de validation distinct pour estimer ses performances et ajuster ses hyperparamètres (paramètres qui contrôlent le processus d'apprentissage).

Test 

Enfin, une fois que l'algorithme a été entraîné et validé, il est testé sur un ensemble de données de test distinct pour évaluer ses performances réelles sur des données qu'il n'a jamais vues auparavant. Cela permet d'estimer à quel point l'algorithme est précis par rapport aux données non vues.

L'apprentissage supervisé est largement utilisé dans de nombreux domaines, notamment la reconnaissance d'images, la détection de spam, la prédiction de prix, la recommandation de produits, entre autres. 

‍

 {{banniere-article}}

‍

Algorithmes classiques

Les algorithmes classiques sont des solutions algorithmiques qui ont été largement étudiées, utilisées et éprouvées pour résoudre des problèmes spécifiques depuis de nombreuses années. Voici quelques exemples d'algorithmes classiques dans différents domaines :

Les algorithmes classiques sont utilisés pour résoudre une variété de problèmes courants en informatique. Ils fournissent des solutions éprouvées pour des tâches telles que : 

• le tri de données, 
• la recherche d'éléments, 
• la manipulation de graphes, 
• la gestion d'arbres, 
• la résolution de problèmes géométriques, 
• etc. 

Voici les grandes catégories d’algorithmes : 

‍

Ces algorithmes sont des outils essentiels pour un programmeur ou un expert data qui désirent résoudre une gamme de problèmes informatiques courants.

Réseaux de neurones en deep learning

Les réseaux de neurones en deep learning sont des modèles computationnels inspirés du fonctionnement du cerveau humain, composés de plusieurs couches de neurones interconnectées. 

Dans ces réseaux, les données passent à travers les différentes couches, où chaque neurone effectue des calculs simples sur les données qu'il reçoit.

Les réseaux de neurones profonds, également appelés réseaux de neurones à propagation avant (feedforward neural networks), sont caractérisés par leur capacité à apprendre des représentations hiérarchiques complexes à partir de données brutes. 

Ces réseaux sont constitués de multiples couches cachées entre la couche d'entrée et la couche de sortie, ce qui leur permet d'apprendre des caractéristiques abstraites et complexes des données.

Les réseaux de neurones profonds peuvent automatiquement extraire des caractéristiques pertinentes des données. Ce sont des modèles puissants et polyvalents utilisés pour apprendre des représentations complexes à partir de données brutes.

Qu’est ce que l’apprentissage non-supervisé en Machine Learning ?

L'apprentissage non-supervisé en machine learning consiste à analyser des données sans étiquettes ni réponses préétablies. Contrairement à l'apprentissage supervisé, où le modèle est entraîné sur des exemples étiquetés pour prédire des résultats, l'apprentissage non-supervisé cherche à découvrir des structures ou des modèles intrinsèques dans les données elles-mêmes.

‍

Cela peut inclure des tâches telles que : 

• le regroupement de données similaires en clusters,
• la réduction de la dimensionnalité pour simplifier la représentation des données
• la détection d'anomalies pour identifier des comportements inhabituels,
• la découverte de motifs fréquents ou d'associations entre les variables

‍

L'apprentissage non-supervisé est utilisé pour explorer et découvrir des informations cachées dans les données non étiquetées.

Clustering

Le clustering dans l'apprentissage non-supervisé est une technique qui consiste à regrouper des données similaires entre elles en fonction de leurs caractéristiques communes, sans avoir besoin d'étiquettes ou de catégories préalablement définies. 

L'objectif est de diviser un ensemble de données en groupes ou clusters homogènes, où les données à l'intérieur d'un même cluster sont plus similaires entre elles que celles d'autres clusters.

Imaginez que vous ayez un ensemble de fruits, et vous voulez les regrouper en fonction de leurs attributs tels que la couleur, la taille et le goût. 

Le clustering vous permettrait de regrouper les fruits qui se ressemblent le plus ensemble, comme tous les fruits rouges dans un cluster, les fruits jaunes dans un autre, etc.

Cela vous donne une manière de comprendre la structure de vos données et de découvrir des relations potentielles entre les différents éléments.

Et cela simplifie également le travail pour un algorithme.

Réduction de dimensionnalité

La réduction de dimensionnalité en apprentissage supervisé est une technique qui consiste à réduire le nombre de caractéristiques ou de variables dans un ensemble de données, tout en préservant autant d'informations que possible. 

L'objectif est de simplifier la représentation des données tout en minimisant la perte d'informations pertinentes pour la tâche d'apprentissage.

Imaginez que vous ayez un ensemble de données avec de nombreuses caractéristiques.

Par exemple, si vous essayez de prédire le prix d'une maison, vous pouvez avoir des caractéristiques telles que la superficie, le nombre de chambres, le nombre de salles de bains, etc. 

La réduction de dimensionnalité vous permettrait de réduire ces caractéristiques à un nombre plus petit, tout en préservant les informations importantes nécessaires pour prédire le prix de la maison.

Cela peut être utile pour plusieurs raisons, notamment pour réduire le temps de calcul, éviter le surajustement (overfitting), et faciliter la visualisation des données tout en maintenant la capacité du modèle à faire des prédictions précises.

Associations

L'association est une technique qui vise à découvrir des relations intéressantes ou des règles cachées entre les différentes variables dans un ensemble de données, sans avoir besoin de données étiquetées ou de réponses préétablies.

Prenons un exemple : imaginez que vous possédiez un magasin de détail et que vous disposiez d'un historique de transactions. 

L'association pourrait vous aider à découvrir des règles telles que "les clients qui achètent des couches sont également susceptibles d'acheter des lingettes pour bébé". 

Ces règles sont déduites en analysant les données transactionnelles passées, sans que vous ayez à spécifier explicitement ces associations à l'avance. 

Dans l'apprentissage non-supervisé, l'association vous permet de découvrir des liens intéressants ou des modèles cachés entre les variables dans vos données. Cela peut vous aider à mieux comprendre les comportements des clients, les tendances d'achat ou d'autres phénomènes dans votre domaine d'application.

Quel type d’apprentissage utiliser ?

Selon votre projet Data et les objectifs visés, certaines techniques de Machine Learning seront à prioriser. Il est donc important, avant le lancement du projet, de bien cadrer la mission et de bien définir les objectifs poursuivis.

utiliser l’apprentissage supervisé en Machine Learning

L'apprentissage supervisé est généralement utilisé dans les cas suivants :

La classification

Utile lorsque vous avez des données avec des étiquettes ou des catégories prédéfinies et que vous souhaitez prédire à quelle catégorie une nouvelle observation appartient. Par exemple, la détection de spam dans les e-mails, la classification de documents, la reconnaissance faciale, etc.

La régression

Quand vous avez des données numériques et que vous souhaitez prédire une valeur continue. Par exemple, la prédiction des prix des maisons en fonction de leurs caractéristiques, la prévision des ventes en fonction de divers facteurs, etc.

Reconnaissance de motifs

Si vous avez des données avec des schémas ou des tendances sous-jacentes et que vous souhaitez les extraire. Par exemple, dans l'analyse de séries temporelles pour identifier des tendances ou des saisons, dans la détection de fraudes pour repérer des schémas inhabituels dans les transactions, etc. Cela peut vous aider, en tant que Data Scientist à construire des modèles prédictifs, en utilisant le modèle ARIMA ou SARIMAX.

Optimisation de décisions

Utile lorsque vous souhaitez automatiser des décisions basées sur des critères préétablis. Par exemple, dans les systèmes de recommandation pour recommander des produits ou des contenus à des utilisateurs en fonction de leurs préférences passées, dans la personnalisation du contenu sur les plateformes en ligne, etc.

Analyse prédictive

Incontournable si vous souhaitez utiliser des données historiques pour prédire des événements futurs. Par exemple, dans la prévision de la demande pour ajuster les niveaux de stocks, dans la prédiction des performances d'un étudiant en fonction de ses caractéristiques démographiques et académiques, etc.

Utiliser l’apprentissage non-supervisé en Machine Learning 

Voici quelques cas de figure courants où l'apprentissage non-supervisé en machine learning est utilisé :

Le clustering de données

Lorsque vous avez un ensemble de données non étiquetées et que vous souhaitez découvrir des structures intrinsèques ou des groupes naturels au sein de ces données. 

Par exemple, regrouper les clients en segments de marché basés sur leurs comportements d'achat, regrouper les articles de presse en clusters thématiques, etc.

La détection d'anomalies

Vous souhaitez identifier des exemples ou des observations qui se comportent de manière significativement différente du reste des données. Cela peut être utile pour détecter la fraude dans les transactions financières, les pannes dans les systèmes industriels, les comportements suspects dans les réseaux informatiques, etc.

La réduction de dimensionnalité

Si vous avez un grand nombre de variables ou de dimensions dans vos données et que vous souhaitez réduire leur complexité en conservant les informations importantes. Cela peut être utile pour la visualisation des données, l'accélération des algorithmes d'apprentissage supervisé.

La détection d'associations

Indispensable lorsque vous souhaitez découvrir des motifs fréquents, des règles d'association ou des tendances cachées dans vos données. Par exemple, identifier les achats fréquents de produits dans un supermarché, découvrir des motifs saisonniers dans les données météorologiques, etc.

La segmentation de marché

Incontournable pour diviser un marché en segments homogènes en fonction des caractéristiques des clients, des produits ou des comportements. Cela peut être utile pour personnaliser les offres marketing, cibler des groupes spécifiques de clients, etc.

Le traitement de données non structurées

Lorsque vous avez des données non structurées telles que des images, du texte, de l'audio, etc., et que vous souhaitez extraire des informations utiles ou découvrir des structures sous-jacentes. Par exemple, la segmentation automatique d'images médicales, la classification automatique de documents textuels, la recommandation de musique basée sur les préférences auditives, etc.