jtankiseur une solution logicielle libre qui combine un ensemble de jetons qui traitent de manière intuitive avec la langue naturelle
Télécharger maintenant

jtankiseur Classement & Résumé

jtankiseur Mots clés

diviser ensemble de son naturel TOKENISANT STRING combiner jeton séparateur de chaîne togmenter jeton langage naturel interface en langage naturel Traitement des langues naturelles Processagez la langue naturelle Toolkit de langues naturelles outils de langage naturel langage libre

jtankiseur La description

Les cordes de jeton dans ses jetons constitutifs / mots peuvent s'avérer délicat pour des exemples non triviaux. En particulier, lorsque vous avez affaire à une langue naturelle, vous devez également prendre en compte la ponctuation afin d'isoler les mots. Chacun des Tokenisers adopte une structure similaire à Java.Util.StringTokenizer en termes de la manière d'instancier les classes et d'extraire les jetons. Cela signifie qu'ils sont simples à utiliser. Vous pouvez taper, copier et coller, ou même charger un fichier texte dans l'application. Vous devez sélectionner votre jeton de choix (et toutes les options d'intérêt), puis appuyez sur le bouton Tokenise. Vos résultats seront affichés dès qu'ils sont traités et vous avez la possibilité de sauvegarder les résultats au fichier, si vous le souhaitez. L'interface graphique est particulièrement utile pour expérimenter des méthodes de tokénisation dans un environnement d'enseignement (tel qu'un cours de PNL). Il intéressera également ceux qui souhaitent utiliser la bibliothèque JTokeniser mais n'ont pas l'expérience de programmation Java pour utiliser directement le code. Jtengeniser comprend quatre tokenisers qui s'étendent tous d'une classe de Tokeniser Abtract: · WhitaespaceService - Cela divise une ficelle sur toutes les occurrences de WhitSpace, qui comprennent des espaces, des nouvelles lignes, des tabulations et des lignes ligne. · StringTokenser - Ceci est fondamentalement identique à Java.Util.StringTokenizer avec des méthodes supplémentaires (et s'étend de Tokeniser). Son comportement par défaut est d'agir en tant que personne blanchisseur. Toutefois, vous pouvez spécifier un ensemble de caractères à utiliser pour indiquer les délimiteurs de mots. · Regégextokenser - Ce tokeniser est beaucoup plus flexible que vous pouvez utiliser des expressions régulières pour définir un jeton. Donc, "\ w +" signifie chaque fois que cela correspond à une ou plusieurs lettres, il considérera qu'un mot. Par défaut, il utilise une expression régulière équivalente à un tokeniseur d'espaces. · Regexseparatortankenser - cela peut être considéré comme une chaîne stricte avancée. Alors que StringTokenser est limité à la définition de délimiteurs en tant qu'ensemble de caractères individuels, Regexseparatorkenkerser peut utiliser des expressions régulières pour une approche plus riche et plus flexible. · Breakiteratortankenser - l'un des jetons les plus sophistiqués de la bibliothèque, bien que ne devrait être utilisé que sur des chaînes de langue naturelle pour isoler les mots. Il est également livré avec des règles intégrées sur la manière de trouver des mots, de savoir comment ignorer la ponctuation, etc. · Sentensetokenser - Cela utilise également un brisiterater comme ce qui précède, mais ajusté pour trouver des limites de phrase. Les "jetons" dans ce tokeniser sont en fait des phrases individuelles.

jtankiseur Logiciels associés