La diferencia entre los separadores de palabras IK y Paoding

Puede utilizar IKAnalyzer y PaodingAnalyzer, los cuales tienen interfaces encapsuladas para Lucene. Ictclas de la Academia China de Ciencias es gratuito y utiliza una DLL que no se integra bien con Java.

La segmentación de palabras chinas se refiere a cortar una secuencia de caracteres chinos en palabras individuales.

La segmentación de palabras es el proceso de recombinar secuencias continuas de palabras en secuencias de palabras según ciertas especificaciones.

En la escritura en inglés, los espacios sirven como separadores naturales entre palabras, mientras que en chino, solo las palabras, oraciones y párrafos pueden separarse simplemente mediante separadores obvios, mientras que las palabras no tienen un separador formal. Aunque el inglés también tiene el problema de dividirse en frases, a nivel de palabras el chino es mucho más complicado y difícil de entender que el inglés.