STATISTICA Text Miner

Produits Services Solutions Support Télécharger Clients Partenaires La Société

Page d'Accueil I Electronic Statistics Textbook (*) I Nous Contacter I Devis I Rechercher

Voir aussi les pages suivantes :
Fonctionnalités Communes aux Systèmes Entreprise de STATISTICA
et Présentation des Systèmes Entreprise de STATISTICA

Comment Utiliser STATISTICA Text Miner ?

Analyse du contenu de pages Web. Par exemple, les utilisateurs peuvent traiter et résumer automatiquement toutes les pages Web de certaines sociétés, des notes d'information, etc...

Inclure des documents non structurés dans des projets de data mining prédictif. Par exemple, les utilisateurs peuvent inclure des réponses à des questions ouvertes, la description des symptômes médicaux renseignés par les patients, etc... dans des projets de data mining pour réaliser une typologie des patients et de leurs symptômes.

Analyse de vastes bases de stockage de documents. Par exemple, les utilisateurs peuvent analyser des entrepôts de stockage textuels contenant des lettres de réclamations ou des plaintes (dans le domaine de l'assurance, etc...), afin d'inclure ces informations dans des projets de détection de fraudes.

STATISTICA Text Miner est une extension (facultative et complémentaire) du produit STATISTICA Data Miner, permettant de transformer des données textuelles non structurée en catégories explicites et pertinentes d'aide à la décision. Comme le savent déjà la plupart des utilisateurs familiarisés avec le data mining, les véritables données dans les applications concrètes se présentent sous des formes très diverses, et ne sont pas toujours organisées, ni facilement exploitables pour l'analyse. STATISTICA Text Miner va rechercher et exploiter l'information sous-jacente qui n'est pas directement apparente et la transformer en données traditionnelles structurées.

STATISTICA Text Miner est parfaitement intégré avec STATISTICA ou STATISTICA Data Miner, et comme tous les autres produits de la gamme de logiciels de StatSoft, offre les outils les plus complets et les plus puissants du marché. Il est extrêmement efficace, évolutif et utilise la technologie du multithreading pour utiliser de façon optimale les ressources et les performances des serveurs multi-processeurs les plus évolués.

Comme pour toutes les composantes de STATISTICA Data Miner, STATISTICA Text Miner a été spécifiquement conçu comme un outil généraliste avec une architecture ouverte d'exploration ("fouille") des informations non structurées. Les outils de sélection/extraction des prédicteurs et autres outils analytiques proposés dans STATISTICA Text Miner ne sont pas seulement applicables à des documents textuels ou à des pages Web ; ils peuvent également être utilisés pour indexer, classifier, ou inclure dans vos analyses des informations non structurées comme des fichiers sons, des bitmaps (préalablement traités) etc...

Fonctionnalités de STATISTICA Text Miner

Accès aux Documents

Le programme contient de nombreuses options pour accéder à des documents textuels sous différent formats, en particulier .txt (texte), .pdf (Adobe), .ps (PostScript), .html, .xml (formats Web), et la plupart des formats de Microsoft Office (par exemple, .doc, .rtf).
Des options flexibles d'interface-utilisateur (et des fonctions d'automatisation) vous permettent de sélectionner un grand nombre de fichiers simultanément (par exemple, pour sélectionner tous les documents contenus dans un répertoire particulier).
Le programme est doté de fonctionnalités de navigation sur le Web, et permet d'extraire des documents du Web, à partir d'une page racine (URL) déterminée du Web. Tous les documents liés à cette page particulière seront incluses, de même que les documents liés à ces sous-documents, et ainsi de suite, jusqu'à un niveau (ou une "profondeur") défini par l'utilisateur.
Les noms de fichiers et URL peuvent également être stockés dans des variables textuelles des fichiers de données STATISTICA. De cette manière, le programme peut non seulement traiter le texte contenu dans les variables textuelles, mais également interpréter convenablement les références à des documents textuels ou à des URL. Ainsi, l'information numérique et l'information textuelle (contenue dans de vastes documents) peuvent être stockées sur une base individuelle (par observation) et vous pouvez réaliser des analyses explicites sur des fichiers de données dans lesquels chaque observation va contenir à la fois des données numériques et des informations textuelles (volumineuses) non structurées (par exemple, l'âge, la taille, et le poids des patients, ainsi que la description des symptômes et le diagnostique des praticiens).
Des options vous permettent d'importer ces listes de fichiers de données ou d'URL dans les colonnes d'une feuille de données STATISTICA.

Traitement des Documents

Vous pouvez appliquer des règles d'exclusion et des listes de regroupement (pour exclure les formes courantes mais non discriminantes (on parle alors de "mots vides") telles que les mots "un", "le", "à", "de" en langue française, etc...), avant d'appliquer un algorithme de lemmatisation (afin que les mots Français tels que "voyageant" et "voyager" soient tous deux comptabilisés comme des occurrences de "voyage").
STATISTICA Text Miner comporte des listes de regroupement et des algorithmes de lemmatisation pour l'Allemand, l'Anglais, le Danois, l'Espagnol, le Français, le Hollandais, l'Italien, le Portugais, le Suédois, et d'autres langues (veuillez vous renseigner pour une liste exhaustive des langues disponibles) ; vous pouvez modifier les listes de regroupement (les enrichir) à volonté ; le programme est conçu pour permettre d'incorporer d'autres langues avec un minimum d'efforts.
Le programme va ensuite indexer les documents "regroupés et lemmatisés", afin de créer un comptage des effectifs de tous les mots (formes) et pour tous les documents ; cette information "brute" (effectifs) sera la base de toutes les analyses numériques ultérieures.
Avant de créer un Fichier de Données STATISTICA contenant les effectifs (etc...) pour synthétiser les documents, vous pouvez appliquer d'autres filtres ; par exemple, les effectifs de certains mots particuliers (les plus fréquents) par document peuvent être normalisés (selon la taille de chaque document), transformés (par exemple, par une transformation log), et éventuellement "compressés" en appliquant par exemple divers algorithmes d'extraction de caractéristiques comme la Décomposition en Valeurs Singulières, spécifiquement optimisée pour traiter de grandes matrices.
Le fichier de données obtenu, avec l'information numérique (par exemple, les dimensions de la décomposition en valeurs singulières, les effectifs bruts, les fréquences relatives, l'effectif des mots les plus fréquents, etc...) est alors prêt pour un traitement par d'autres analyses.
Diverses options permettent d'écrire l'information extraire d'un texte particulier dans un fichier de données, ou directement dans une base de données externe (voir aussi la description de la Technologie IDBD [Interface Directe avec les Bases de Données] de STATISTICA ).

Analyse des Documents

Des statistiques de synthèse élémentaires peuvent extraire les formes (mots) les plus fréquemment utilisées dans les documents.
En projetant les documents sur les dimensions de la Décomposition en Valeurs Singulières (par exemple, grâce à une ACP), vous pouvez créer des espaces dimensionnels de documents, afin d'évaluer la ressemblance (proximité) des documents, etc...
En projetant les documents sur les dimensions en fonction des effectifs originaux (transformés) des formes, vous pouvez créer des représentations simultanées des documents et des formes, et donc dégager la "signification" des documents.
Les techniques de clustering (comme les k-means ou les classifications EM) peuvent s'appliquer pour créer des typologies de documents similaires.
Les techniques de data mining prédictif permettent de mettre en relation la synthèse numérique des documents à d'autres indicateurs, comme par exemple, les intentions de fraudes, des diagnostiques médicaux, etc...
Les composantes analytiques clé nécessitant des traitements intensifs sont implémentés grâce à la technologie du multithreading, afin d'utiliser de façon optimale les ressources et les performances des serveurs multi-processeurs les plus évolués.

Intégration avec STATISTICA, STATISTICA Data Miner, et WebSTATISTICA

Le logiciel de text mining est totalement intégré dans la ligne de produits STATISTICA ; il ne s'agit pas d'un logiciel qui aurait été développé par un autre éditeur et "connecté" à STATISTICA avec plus ou moins de réussite ! Cette approche en fait une solution de text mining unique sur le marché : grâce à sa parfaite intégration (et à son automatisation), la fonctionnalité de text mining devient "simplement un autre module", qui peut être intégré dans l'environnement de travail de STATISTICA Data Miner, de WebSTATISTICA, ou d'applications STATISTICA personnalisées (grâce à SVB ; par exemple, les utilisateurs peuvent accéder automatiquement et régulièrement à des fichiers stockés dans les entrepôts de données, grâce à la Technologie IDBD, afin de mettre à jour certaines analyses et synthèses numériques à partir des informations textuelles disponibles dans les entrepôts de stockage de la société ; vous pouvez naturellement utiliser WebSTATISTICA, afin de rendre les résultats de ces analyses accessibles à tout utilisateur autorisé, partout dans le monde).

Haut de la Page

Demande de Devis

Page d'Accueil de StatSoft France

[StatSoft]
2, rue Louis Pergaud - 94700 MAISONS-ALFORT
Tél : +33 (0)1-45-185-999 - Fax: +33 (0)1-45-185-285
e-mail: info@statsoft.fr

�Copyright StatSoft 1984-2008.
StatSoft, le logo StatSoft, STATISTICA, STATISTICA Entreprise/QC, STATISTICA Entreprise, Data Miner, SEPATH et GTrees sont des marques déposées par StatSoft.