¿Cuál es el algoritmo de verificación de duplicaciones de CNKI?
1. Preprocesamiento de texto: antes de la verificación de duplicaciones, los artículos enviados se preprocesan, incluida la eliminación de palabras vacías, signos de puntuación, números, etc. , reduciendo así la interferencia de información irrelevante. Al mismo tiempo, las oraciones largas se dividen en cláusulas para mejorar la precisión de la verificación de duplicaciones.
2. Extracción de características: convierte el texto preprocesado en vectores de características. Los métodos de extracción de características más utilizados incluyen bolsa de palabras (Bow), TF-IDF ($ TERM frecuencia-frecuencia de documento inversa), etc. Estos métodos pueden representar texto como una combinación de palabras o frases para facilitar cálculos de similitud posteriores.
3. Cálculo de similitud: Calcula la similitud entre el texto a detectar y los documentos existentes en la base de datos a través de vectores de características. Los métodos de cálculo de similitud más utilizados incluyen la similitud del coseno y la similitud de Jaccard. Estos métodos pueden medir la similitud entre dos textos a nivel de palabra o frase.
4. Juicio de umbral: según el umbral establecido, juzgue si la similitud entre el texto a detectar y los documentos existentes en la base de datos excede el umbral. Si supera el umbral, el artículo se considera plagiado. La configuración del umbral se puede ajustar según las necesidades reales para equilibrar la precisión y las tasas de recuperación.
5. Análisis semántico: además de los métodos de verificación de duplicación basados en similitudes, CNKI también utiliza algunas tecnologías de análisis semántico, como análisis de sintaxis de dependencia, análisis de sentimientos, etc., para mejorar la precisión de la verificación de duplicación. Estas técnicas pueden ayudar a identificar algunos plagios simplemente reemplazando palabras.
6. Revisión manual: CNKI revisará manualmente los documentos sospechosos de plagio en los resultados de la verificación de plagio para garantizar la precisión de los resultados de la verificación de plagio. La revisión manual puede identificar eficazmente algunos comportamientos de plagio ocultos y complejos y mejorar la precisión de la detección de duplicaciones.
En resumen, el algoritmo de verificación de duplicación de CNKI integra una variedad de medios técnicos, incluido el preprocesamiento de texto, la extracción de características, el cálculo de similitud, el juicio de umbral, el análisis semántico y la revisión manual, con el objetivo de brindar a los usuarios un servicio de verificación de plagio preciso y confiable. .