XScrape : un logiciel gratuit pour extraire des données à partir du web

XScrape est un petit logiciel gratuit qui permet d’extraire des chaînes de caractères à partir du web. Il parcours les pages d’un lien à l’autre en commençant par une adresse de départ.

Si vous désirez récupérer des emails, des liens, les informations contenues dans des méta-tags (tel que des mots clés) et toutes sortes d’autres données stratégiques, c’est donc le logiciel qu’il vous faut. Une simple expression régulière lui fera comprendre le type de données recherché.

Voici un tutoriel pour vous aider à l’utiliser…

Installation

Pas d’installation, le logiciel est portable, comme la plupart de ceux qui sont présentés sur ce blog. Il vous faudra quand même vous assurer que le framework .NET est bien installé sur votre machine.

Vue générale

.
L’interface du logiciel est d’une simplicité déconcertante, il n’y a qu’un seul écran, le voici :

Vous allez devoir renseigner au moins 2 zones : l’adresse de départ (URL) et l’expression régulière qui corresponds aux données recherchées (Regular Expression).

Les expressions régulières

Les expressions régulières – ou expressions rationnelles – vous permettent de trouver dans un texte donné les chaînes de caractères qui obéissent à un schéma particulier. Leur syntaxe est détaillée sur cette page de référence : regular-expressions.info.

Voici deux exemples pour commencer :

• Une adresse email : [\w]+@[\w]+\.[\w]{2,3}
• Un lien : <a[^<>]*href=”http[^<>]*>[^<>]*</a>

Les adresses à inclure

Dans le champ Inclusive URLs, vous allez saisir la liste des adresses web que XScrape peut traverser. Chaque lien doit être séparé par une virgule. Les liens rencontrés qui ne contiennent pas l’une de ces adresses ne seront pas consultés.

Par exemple si je met wikipedia.org, XScrape pourra visiter en.wikipedia.org ou fr.wikipedia.org/wiki/ mais pas wikimedia.fr

Les adresses à exclure

Dans le champ Exclusive URLs, vous allez saisir la liste des adresses web qui ne devront pas être traversées par XScrape. Par exemple on peut avoir wikipedia.org dans les adresses à inclure et en.wikipedia.org dans les adresses à exclure. Chaque lien de la liste doit être séparé par une virgule.

Le cookie

Si l’adresse de départ n’est accessible que par mot de passe, il faudra utiliser un Cookie. Pour récupérer les informations du cookie, saissez simplement “javascript:document.write(document.cookie);” dans le champ adresse de votre navigateur. Ensuite, faites-en un copier collé dans le champ cookie de XScrape.

A suivre…

Dans le prochain article, je vous montrerai comment utiliser XScrape pour trier une liste de blogs selon leur indice de popularité (au sens de Technorati).