Comment créer un robot d'exploration d'images - Un guide complet
Publié: 2023-01-10Récupérer des images du Web est beaucoup plus difficile que de récupérer du contenu textuel. La raison derrière cela est le fait que vous devrez passer au crible le contenu des pages Web et extraire spécifiquement les images uniquement. De plus, avoir des images sans aucun contexte ne vous aidera probablement pas beaucoup.
Pour vous assurer que ces images sont automatiquement taguées, vous devrez peut-être également extraire le contenu textuel associé à l'image ou celui situé au-dessus ou au-dessous de l'image. Un autre point est que les données textuelles peuvent être agrégées, réécrites ou décomposées pour être réutilisées. Les images, en revanche, peuvent voir une réutilisation limitée en raison de problèmes de droits d'auteur. Ce ne sont là que quelques-uns des défis auxquels vous pouvez être confronté lors du grattage d'images. Mais avant d'entrer dans les détails, examinons la valeur du grattage d'images et son importance dans la société actuelle basée sur les données qui vit sur le Web.
Fig : Portail de recherche d'images inversées de Google
Le grattage ou l'exploration d'images a explosé ces dernières années, Google offrant même une option de recherche d'image inversée dans laquelle il affiche des résultats basés sur les données qu'il a explorées. Afin de
garantir que les images sont associées au texte correct, il a également publié des directives pour les développeurs et les créateurs de pages Web.
Fig : Recherche d'images sur le portail de recherche d'images de Google
Utilisation d'images grattées
Les entreprises peuvent vouloir explorer le Web et récupérer des images pour une variété de cas d'utilisation. Ceux-ci peuvent principalement être décomposés en deux ensembles- Utilisation de l'image brute. Construire des modèles ou des graphiques en utilisant les images pour créer un produit plus mature. Certaines des utilisations courantes incluent:
Entraînement des modèles de ML
De nombreux travaux de recherche sont consacrés à la reconnaissance d'images, qui consiste à entraîner des modèles sur des milliers d'images. L'exemple le plus simple en est l'expérience où un algorithme ML a été formé sur des milliers d'images de chats et de chiens, après quoi il a pu identifier avec succès des images avec des chiens et des chats avec une précision de 98,7 %.
Images de commerce électronique
L'un des plus grands trésors d'images est le commerce électronique. Les petits sites Web peuvent souvent extraire des images des plus grands pour déterminer le type de produits ajoutés au catalogue. Les images de commerce électronique peuvent également être utilisées pour des études de marché, par exemple, le grattage des images des t-shirts les plus vendus d'Amazon peut montrer que les t-shirts noirs sont les plus demandés.
Création de contenu texte/vidéo
Alors qu'auparavant, la plupart d'entre nous obtenaient nos informations à partir de données textuelles, aujourd'hui, les données que nous consommons se présentent sous de nombreux formats : texte, audio, vidéos et courtes vidéos. Une grande partie de ce contenu comprend des images, dont certaines proviennent de sources externes et dont les références sont mentionnées. D'un autre côté, ce contenu peut également être récupéré pour des images pour une utilisation ultérieure en aval.
Mèmes
Les mèmes sont des images au contenu amusant qui deviennent souvent virales et prennent d'assaut Internet. Ces dernières années, nous avons vu des entreprises embaucher des rédacteurs de mèmes ou des équipes marketing utilisant des mèmes pour se connecter avec le public sur le Web. Gratter les mèmes et les dernières images aide souvent les créateurs de mèmes à proposer de nouvelles idées ou variations en utilisant le même modèle.
Recherche d'images d'individus spécifiques, d'événements et plus encore
Le contenu nouveau ou informatif nécessite souvent des images. Par exemple, vous ajouterez probablement une image de Mère Teresa si vous publiez un article sur elle. Une telle image peut être facile à trouver. Mais si vous êtes une maison d'édition qui publie des milliers d'articles par mois et qui a besoin d'images non soumises au droit d'auteur, à utiliser dans ses articles, cela nécessitera un sérieux grattage d'images.
Défis liés au grattage d'images sur le Web
Mettre les choses en place
L'un des principaux obstacles à la récupération d'images ou de données sur le Web est d'avoir une équipe technique suffisamment capable de le faire. En second lieu, la configuration de l'infrastructure. Étant donné que la plupart des entreprises ont besoin de données en temps réel provenant de plusieurs sources, les configurations de récupération de données sont généralement déployées sur le cloud. Cela signifie que votre équipe doit avoir le savoir-faire nécessaire pour l'installer sur le cloud et le maintenir à long terme. La maintenance consiste à corriger les bogues et les pannes et à contrôler les coûts à mesure que vous évoluez.
Mesures anti-grattage et obstacles juridiques
Vous devriez récupérer le fichier robot.txt pour tout site Web dont vous récupérez les données. Cela garantirait que vous respectiez les règles d'exploration définies par ce site Web. En plus de cela, vous devrez également garder une trace des images qui se trouvent au-delà de la page de connexion ou de celles dont les droits d'auteur et les politiques de réutilisation sont spécifiquement mentionnés. Les lois spécifiques à la géographie comme le RGPD en Europe ou le CCPA en Californie peuvent rendre les choses encore plus compliquées.
Mises en page de sites Web diverses et en constante évolution
Les propriétaires de sites Web mettent rapidement à niveau l'interface utilisateur pour rendre les pages Web plus attrayantes pour les clients. Cela signifie qu'une technologie plus récente gère les sites Web et rend le grattage plus compliqué. Les mises à jour régulières signifient également que vous devrez peut-être modifier le code chaque fois qu'ils poussent une mise à jour de l'interface utilisateur, ce dont vous pouvez être informé, uniquement lorsque vous constatez qu'aucune nouvelle image récupérée n'est ajoutée à la base de données.
Images incorrectes ou inutilisables
Le grattage d'images à l'aveuglette peut entraîner un problème de qualité. Cela peut être en termes de résolution, de visibilité et de correspondance de l'image avec elle-même. Par exemple, la recherche de Batman peut entraîner de nombreuses images d'acteurs qui ont joué le personnage dans des films et des feuilletons. Vous devrez vous assurer que vous utilisez les filtres appropriés pour avoir un ensemble d'images propre pour votre recherche ou votre entreprise.
Les sites Web avec des images sont parfois plus lents à charger
Le texte est léger et les images sont lourdes. Lorsque vous ouvrez une page Web contenant de nombreuses images, vous pouvez constater que le chargement des images prend du temps. Cela peut s'avérer être un défi si vous récupérez trop d'images du même site Web en une seule fois. Le téléchargement des images sans s'assurer qu'elles sont entièrement chargées peut entraîner le téléchargement d'images de mauvaise qualité ou même d'images vierges.
Solutions de bricolage
Un peu de recherche en ligne peut vous fournir quelques options de bricolage. Certains des plus populaires parmi ceux-ci sont :
- Écrire votre code dans un langage comme Python en utilisant des bibliothèques comme BeautifulSoup. Cela ne fonctionnerait cependant que pour de petites exigences de grattage.
- Utilisation d'un logiciel basé sur l'interface utilisateur disponible en options gratuites et payantes. Ceux-ci ont généralement de nombreuses restrictions pour la version gratuite. Il existe également une courbe d'apprentissage au cas où vous voudriez que votre équipe commerciale ou votre équipe produit utilise une telle solution pour gratter des images.
- Il existe également des solutions de grattage d'images basées sur la capture d'écran dans lesquelles vous pouvez utiliser votre souris pour spécifier les images que vous souhaitez sur une page Web et le service récupérera les images de pages Web similaires. Ceux-ci ne fournissent pas toujours les données les plus propres et vous devrez payer pour récupérer plus qu'un nombre limité d'images.
En bref, aucune des 3 solutions de bricolage ne serait en mesure de gérer tous les défis mentionnés en matière d'exploration du Web et de grattage d'images pour les entreprises.
Avantages de l'utilisation d'une solution DaaS
Récupérer des données du Web pour un énoncé de problème ponctuel ou un projet favori peut être fait avec quelques lignes de code Python, mais la mise en place d'une solution de niveau entreprise pour obtenir un flux de données en direct n'est pas une tâche facile. Ce serait encore plus difficile lorsque vous avez besoin de milliers d'images provenant de centaines de sites Web. C'est pourquoi PromptCloud fournit des solutions de grattage d'images personnalisées qui peuvent être utilisées à la fois par les entreprises du Fortune 500 et par les startups qui viennent de s'installer.
Fig : Étapes impliquées dans le grattage d'images PromptCloud pour les besoins de votre entreprise
Nous avons un processus simple en 3 étapes dans lequel vous pouvez nous indiquer les sites Web et les pages Web qui doivent être extraits pour les images. Vous pouvez également vouloir gratter des images liées à certains mots de recherche. D'autres informations que vous devrez fournir sont la fréquence d'exploration, si vous souhaitez capturer du texte directement au-dessus ou en dessous de l'image, où les images grattées doivent être stockées et comment vous souhaitez y accéder. Nous pouvons déposer les images sur votre S3 ou DropBox ou vous permettre de les interroger via des API.
Une fois que nous aurons les exigences, nous configurerons le robot d'exploration pour récupérer les images de plusieurs sites Web. Nous nous occuperons de l'installation du cloud, de la configuration et des aspects juridiques. Une fois la configuration opérationnelle, nous obtiendrons des exemples de données à valider avec vous avant que le système en direct ne transmette les données à votre méthode de livraison spécifiée.
Après cela, nous surveillerons le système de grattage d'images et corrigerons toute casse en mettant à jour les robots d'exploration pour gérer les nouveaux sites Web et pages Web ainsi que les modifications apportées aux pages Web. La meilleure partie de tout cela est que vous ne payez que pour la quantité de données que vous consommez. Donc, si vous récupérez 100 images de 10 sites Web en un mois, vous ne payez que pour cela. Et le mois suivant, vous pouvez récupérer 10 000 images sur 1 000 sites Web, puis payer en conséquence. Cela garantit que notre service est véritablement une solution DaaS basée sur le cloud qui peut être utilisée par tous, quelle que soit la quantité de données dont on a besoin.