Preparación técnica para la migración de datos

La conversión y migración de datos generalmente incluyen muchas tareas: organizar el diccionario de datos del sistema anterior, analizar la calidad de los datos del sistema anterior, organizar el diccionario de datos del sistema nuevo, analizar las diferencias entre los datos del sistema nuevo y antiguo, establecer la relación de mapeo entre los datos nuevos y antiguos. datos del sistema, desarrollar e implementar los procedimientos de conversión y migración de datos, desarrollar planes de contingencia durante la conversión y migración de datos, implementar la conversión y migración de datos de sistemas antiguos a sistemas nuevos y verificar la integridad y corrección de los datos después de la conversión y migración.

El proceso de conversión y migración de datos se puede dividir a grandes rasgos en tres pasos: extracción, conversión y carga. La extracción y conversión de datos se basan en la relación de mapeo entre las bases de datos del sistema antiguo y nuevo, y el análisis de diferencias de datos es el requisito previo para establecer la relación de mapeo, que también incluye el análisis de diferencias de datos de código. Por lo general, el paso de conversión también incluye el proceso de limpieza de datos, que limpia principalmente datos en la base de datos de origen que son ambiguos, repetitivos, incompletos y violan reglas lógicas o comerciales. Antes de la limpieza, se debe realizar un análisis de la calidad de los datos para identificar los datos problemáticos; de lo contrario, la limpieza de datos no será posible. La carga de datos consiste en cargar los datos de resultados extraídos y transformados en la base de datos de destino a través de una herramienta de carga o un programa SQL escrito por usted mismo.

La inspección de datos incluye los siguientes seis aspectos.

(1) Comprobación del formato de datos. Compruebe si el formato de los datos es coherente y está disponible, y si es necesario que los datos de destino sean de tipo numérico.

(2) Verificación de la longitud de los datos. Comprobar la longitud efectiva de los datos, prestando especial atención a la conversión de campos de tipo char a campos de tipo varchar.

(3) Verifique el rango de intervalo. Comprueba si los datos están contenidos dentro del rango de valores máximo y mínimo definido. Por ejemplo, si la edad es 300 o la fecha de incorporación es 4000-1-1, obviamente esto es un problema.

④ Comprueba los valores nulos y los valores predeterminados. Compruebe si los valores nulos y los valores predeterminados definidos por el sistema antiguo y el nuevo son los mismos. Diferentes sistemas de bases de datos pueden tener diferentes definiciones de valores nulos, lo que requiere atención especial.

(5) Verificación de integridad. Verifique la integridad de los datos relevantes. Por ejemplo, si el valor del código al que se hace referencia existe, es especialmente importante tener en cuenta que algunos sistemas han eliminado las restricciones de clave externa para mejorar la eficiencia después de un período de uso.

⑹Comprobación de coherencia. Verifique si hay datos que lógicamente violen la coherencia, especialmente si hay sistemas que confirman operaciones por separado.