Modelo físico de base de datos
1. Diseño de la base de datos
Los datos de mantenimiento (departamentos, puestos, personal, permisos del personal, reglas de inspección de entrada de datos y diccionario de datos, etc.) son relativamente estables. Los datos deben verificarse y corregirse antes de almacenarlos, y solo pueden archivarse y almacenarse en una base de datos de datos geofísicos aéreos. Por lo tanto, es posible que sea necesario modificar y eliminar con frecuencia los datos previamente almacenados en la base de datos, lo que cambia significativamente. Sin embargo, generalmente no se permite modificar ni eliminar los datos almacenados en la base de datos de información para evitar pérdidas causadas por un mal funcionamiento y daños a los datos de la base de datos.
Figura 2-12 Modelo lógico de la base de datos de prospección geofísica aérea
Figura 2-13 Diseño de la base de datos de prospección geofísica aérea y diagrama de flujo de recopilación de datos
De acuerdo con esto, Usamos la Figura 2. El proceso de recopilación de datos de la base de datos que se muestra en -13 divide la base de datos geofísica aérea en una base de datos de recopilación de datos, una base de datos de datos y una base de datos de mantenimiento del sistema para el almacenamiento y la gestión, respectivamente, para lograr una gestión y uso unificados de los datos y facilitar el almacenamiento y el mantenimiento de los datos.
La base de datos de datos geofísicos aéreos es la ubicación de almacenamiento definitiva para todos los datos geofísicos aéreos. La base de datos de recopilación de datos sirve como un "centro de distribución" temporal hasta que los datos se archiven y almacenen en la base de datos. Aquí recibe varias comprobaciones, las archiva en la base de datos después de confirmar que los datos son correctos y luego elimina los datos archivados en la base de datos de recopilación de datos. Además, la base de datos de recopilación de datos también almacena registros de almacenamiento, mantenimiento, inspección y archivo de datos.
La base de datos de mantenimiento del sistema almacena información de mantenimiento del sistema (como funciones del sistema, listas de bases de datos, etc.), información de seguridad (como roles de usuario del sistema de información, permisos y funciones autorizadas del sistema, etc.), datos diccionario y verifica las reglas para los datos entrantes, etc. Separarlo de los datos geofísicos aéreos facilita el mantenimiento y la gestión del sistema.
2. Configuración del espacio de la base de datos
La configuración del espacio de la base de datos incluye la configuración del espacio en disco, la configuración del espacio de la tabla del sistema de aplicaciones, el espacio de la tabla de restauración, el espacio de la tabla temporal, el espacio de registro y la configuración del espacio de índice.
Configuración del espacio en disco
El objetivo de la configuración del espacio en disco: el rendimiento del disco no puede obstaculizar la realización del rendimiento de la base de datos. El disco de la base de datos debe estar dedicado a los archivos de la base de datos; de lo contrario, las bases de datos afectarán. Rendimiento de la base de datos. Espacio en disco. Se deben cumplir los requisitos de recuperación y rendimiento.
El servidor de base de datos geofísico aéreo es una minicomputadora IBM P620 con 8 discos duros, cada disco duro tiene 36 GB de espacio y cada disco físico tiene un sistema de archivos. Para mejorar el tiempo de respuesta y el tiempo de búsqueda del disco y mejorar la eficiencia del acceso de E/S, además de un disco duro para el sistema operativo UNIX, los otros siete discos almacenan la base de datos de recopilación de datos y el registro de la base de datos de mantenimiento del sistema. archivo, base de datos de datos y datos de campos grandes, índices, segmentos de reversión y archivos de registro de datos de la base de datos, respectivamente.
②Configuración del espacio de tabla del sistema de aplicación
Durante el proceso de recopilación de datos del sistema de información, las operaciones de transacción de datos son frecuentes y la inserción y modificación de datos (almacenamiento de datos nuevos) (almacenamiento de datos erróneos) A menudo se realizan eliminaciones y eliminaciones (reintroducción de datos o almacenamiento de archivos), por lo que el espacio de tabla donde se encuentra la base de datos de adquisición de datos geofísicos aéreos estará muy activo. Para no afectar otras competencias de E/S y mejorar la eficiencia operativa del almacenamiento de datos (los datos históricos de más de 50 años deben almacenarse en una base de datos centralizada), se asigna un espacio en disco (36 GB) como espacio de tabla. de la colección biblioteca. Dado que los datos recopilados se eliminan después de archivarse en la base de datos y no se utilizan muchos elementos para el almacenamiento de datos, un espacio en disco es suficiente, aunque todos los datos de registro recopilados aún se conservan.
Las tablas bidimensionales y los campos grandes de Oracle (BLOB) de la base de datos de datos geofísicos de aviación se almacenan en diferentes discos físicos (36 GB cada disco cuando hay datos de tablas y datos de campos grandes (como). Seguimiento de datos) tabla de base de datos puede mejorar la eficiencia de E/S del disco. A medida que aumenta el número de proyectos de almacenamiento de datos, es necesario agregar los discos físicos o matrices de discos correspondientes.
La base de datos de mantenimiento del sistema es relativamente estable y ocupa alrededor de 500 M de espacio en disco. Debido a que el disco del sistema es limitado, los archivos de registro se almacenan en este disco.
(3) Deshace la configuración de la tabla y del espacio de tabla temporal.
En la base de datos Oracle, el propósito de deshacer es garantizar la reversión y recuperación de las transacciones. Los parámetros de deshacer son UNDO_MANAGEMENT, UNDO_TABLESPACE y UNDO_RETENTION.
El parámetro UNDO_MANAGEMENT se utiliza para administrar los datos de deshacer en la base de datos, y la base de datos geofísica aérea está configurada en modo automático.
El parámetro UNDO_TABLESPACE se utiliza para especificar el nombre del espacio de tabla de restauración donde se almacenan los datos de restauración en la base de datos. El nombre del espacio de tabla de restauración de la base de datos geofísica de aviación es recovery_ARGS_TBSPACE y el tamaño del espacio se establece en 20 GB para garantizar la recuperación dentro del tiempo de retención.
El parámetro UNDO_RETENTION se utiliza para especificar durante cuánto tiempo se deben conservar los datos de deshacer de una transacción confirmada antes de sobrescribirlos. El sistema de base de datos está configurado en 60 minutos.
El espacio de tabla temporal se utiliza para almacenar grandes cantidades de clasificación y se almacena en el disco físico junto con el espacio de tabla de restauración. El espacio de tabla temporal de este sistema de base de datos está establecido en 500 m.
④Configuración del espacio de registro
La función principal del registro es registrar todas las operaciones realizadas en la base de datos. Cuando el sistema falla, si los datos modificados no se pueden escribir permanentemente en el archivo de datos, se puede utilizar el registro para obtener las modificaciones, de modo que los resultados de la operación existente no se pierdan.
Los archivos de registro se utilizan principalmente para evitar fallos en la base de datos. Para evitar la falla del archivo de registro en sí, el sistema de base de datos geofísico aeronáutico almacena los archivos de registro en discos independientes y en discos de biblioteca de mantenimiento del sistema. Si ocurre una falla del sistema, el sistema de base de datos Oracle utilizará automáticamente la información en el archivo de registro para restaurar el archivo de la base de datos la próxima vez que se abra la base de datos.
Según la cantidad de usuarios que iniciaron sesión simultáneamente y las funciones utilizadas por el Sistema de información de base de datos geofísica aeronáutica, el tamaño del archivo de registro se establece en 10 GB.
⑤Configuración del espacio de tabla de índice
Para mejorar la velocidad de consulta y estadística del sistema de información geofísica de aviación, todos los espacios de índice están completamente separados del espacio de tabla de la aplicación, mejorando así I/ O eficiencia del acceso. El tamaño del espacio de la tabla de índice geofísico aéreo se establece en 10 GB.
La agregación es un método de almacenamiento de tablas. Normalmente, cada tabla base se organiza por separado, pero las tablas que lógicamente se consultan juntas con frecuencia también se almacenan físicamente cerca, lo que puede reducir el tiempo de búsqueda de datos y mejorar el rendimiento.
Cuando se organizan múltiples relaciones (tablas) de manera agregada, los valores de las propiedades comunes se utilizan como base para la agregación de tablas. El sistema de base de datos de prospección geofísica aérea se basa en el identificador del proyecto (identificador PROJ), y todas las tablas de la base de datos relacionadas con el identificador del proyecto hacen referencia directa al identificador del proyecto para su agregación. El espacio de la tabla resumen de prospección geofísica aérea es el mismo que el de la tabla índice.
3. Configuración de los parámetros de la base de datos
Antes de crear la base de datos, debe configurar los siguientes parámetros de la base de datos. El archivo de parámetros geofísicos aeronáuticos se denomina Initoraargs.ora y las diversas configuraciones de parámetros son las siguientes:
Construcción del sistema de información geofísica aeronáutica
Cuarto, configuración de la memoria
Aviación El servidor de la base de datos geofísica tiene 4 GB de memoria física, que se utiliza para la base de datos además de la sobrecarga del sistema.
Oracle utiliza * * * memoria de área global del sistema (SGA) para administrar la memoria y las estructuras de archivos, incluidos los parámetros DB_block_Buffers, DB_cache_size, Shared_pool_size y Log_Buffer. La configuración de los parámetros de memoria del área global del sistema de base de datos geofísica aerotransportada es la siguiente.
El parámetro DB_block_Buffers es el número de buffers en el caché de almacenamiento SGA. El tamaño de cada buffer es igual al tamaño del parámetro DB_block_size, DB_block_Buffers=19200 (aproximadamente 300 MB).
El parámetro Shared_pool_size es el número de bytes asignados al * * * área SQL, que es el principal factor que influye en el tamaño de SGA. Tamaño del grupo compartido = 1228800000 (1,2 GB).
El parámetro DB_cache_size es el determinante más importante del tamaño de SGA y el rendimiento de la base de datos. Este valor es alto, lo que puede mejorar la tasa de aciertos del sistema y reducir la E/S DB_cache_size = 1024000000 (1 GB).
El parámetro Log_Buffer es el tamaño de la caché del registro de rehacer, que se utiliza principalmente para insertar, eliminar y modificar operaciones de reversión. log_buffer = 5120000 (5 MB).
El quinto es optimizar la configuración
Dado que el software de adquisición y el software de aplicación del sistema de información geofísica de aviación están desarrollados por MS.NET c#, hay dos formas de conectar la aplicación a la base de datos: ODBC y OLE DB. Para admitir ODBC, la conversión de llamada correspondiente de OLE DB a ODBC se establece en la tecnología OLE DB, mientras que el modo OLE DB directo no requiere conversión, lo que mejora la velocidad de procesamiento.
Al crear una tabla de base de datos, la configuración incorrecta de los parámetros Pctfree y Pctused puede provocar la vinculación y migración de filas, es decir, los datos de la misma fila se almacenan en diferentes bloques de datos. Al consultar datos, para poder leerlos, se debe reposicionar el cabezal, lo que reducirá en gran medida la velocidad de ejecución de la base de datos. Por lo tanto, al crear una tabla, debemos estimar completamente los posibles cambios de datos en el futuro, configurar estos dos parámetros correctamente y minimizar la vinculación y migración de filas en la base de datos.
La frecuencia de inserción, modificación y eliminación de la tabla de base de datos de recopilación de datos geofísicos de aviación es relativamente alta, Pctfree está establecido en 20 y Pctused está establecido en 40. Las tablas de la base de datos mantenidas por el sistema son relativamente estables, con Pctfree establecido en 10 y Pctused establecido en 15. Básicamente, no se modifican ni eliminan tablas de bases de datos, excepto para agregar datos. Pctfree se establece en 10 y Pctused se establece en 5.
Configuración de escalabilidad de verbos intransitivos
Uso de múltiples CPU y consulta paralela PQO (opción de consulta paralela): con el rápido desarrollo de las CPU, Oracle está prestando cada vez más atención al paralelo de múltiples CPU. tecnología Para aplicaciones, el acceso a la base de datos se puede completar mediante la cooperación de múltiples CPU. Para sistemas con múltiples CPU, intente utilizar la opción de consulta paralela para operaciones de bases de datos. El servidor de base de datos geofísico aéreo tiene dos CPU y la consulta del programa utiliza consultas paralelas.
Para acelerar la eficiencia estadística de las estadísticas de carga de trabajo de prospección geofísica aérea, estadísticas de horas de vuelo, estadísticas de áreas de estudio y estadísticas de propiedades petrofísicas, se agregan declaraciones de consulta paralelas a las declaraciones de consulta correspondientes.
Con la mejora continua de las mediciones de alta precisión en la prospección geofísica aérea, los datos de medición serán cada vez más grandes. Para cumplir con la eficiencia y el desarrollo del trabajo de exploración geofísica aérea, los datos de los estudios aeromagnéticos y los datos de los estudios aeromagnéticos corregidos se almacenan en tres tablas de bases de datos diferentes según las escalas de 1:200.000, 200.000~500.000 y 1:500.000 respectivamente.
7. Cree la base de datos
Después de completar el diseño de la base de datos, la configuración espacial, la configuración de la memoria, la configuración de los parámetros de la base de datos, la configuración de escalabilidad y la configuración de optimización, diseñe el modelo físico de la base de datos geofísica de aviación. , Es decir, la entidad que crea la base de datos geofísica aérea. Dado que el modelo lógico de la base de datos espacial geofísica aérea es un modelo de geodatabase creado por ArcGIS UML proporcionado por ESRI, el diagrama del modelo UML de los datos geofísicos aéreos se convierte en una entidad de geodatabase utilizando CaseTools proporcionado por ESRI (Figura 2-14).
La tabla de la base de datos de atributos (tabla bidimensional) de la prospección geofísica aérea se crea utilizando la plataforma de diseño de bases de datos de Power Designer para generar directamente scripts de bases de datos a partir del modelo relacional de la base de datos.
Después del diseño conceptual, diseño lógico y diseño físico de la base de datos, finalmente se genera una base de datos geofísica de aviación.
Figura 2-14 Implementación del modelo físico de base de datos geofísica aérea
8. Mecanismo de indexación de datos espaciales
Para bases de datos espaciales masivas, la eficiencia operativa de la base de datos es una cuestión clave relacionada con el éxito o el fracaso de la base de datos. Para mejorar la velocidad de acceso, recuperación y visualización de datos, cuando los datos se cargan en la base de datos, se establece un índice espacial de datos de características, se construye una estructura piramidal de datos ráster y el mecanismo de acceso de datos de objetos se conecta directamente. a la base de datos.
Índice espacial
Para mejorar el rendimiento de la consulta de datos de entidades, se estableció un mecanismo de índice espacial al establecer la base de datos espacial de exploración geofísica aérea. Los índices espaciales de uso común incluyen el índice de cuadrícula, el índice de árbol R y el índice de árbol cuádruple. La geodatabase utiliza un método de indexación de cuadrícula. El llamado índice de cuadrícula consiste en dividir el área espacial en cuadrículas cuadradas de tamaños apropiados y registrar las entidades espaciales (objetos) contenidas en cada cuadrícula y el rango de límites de empaquetado de cada entidad, es decir, rodeando la esquina inferior izquierda y superior. esquina derecha de la entidad espacial. Las coordenadas del ángulo. Cuando el usuario realiza una consulta espacial, primero se calcula la cuadrícula del objeto de consulta del usuario y luego se recupera rápidamente la entidad espacial requerida a través del número de cuadrícula.
Determinar la serie de cuadrícula y el tamaño de celda apropiados es la clave para establecer un índice de cuadrícula espacial. La cuadrícula es demasiado grande y hay muchas entidades espaciales en una cuadrícula, lo que reduce la precisión de la consulta y la recuperación. Si la cuadrícula es demasiado pequeña, los datos del índice se duplicarán y serán redundantes, y la velocidad y eficiencia de recuperación serán muy bajas. Cada capa de datos de la base de datos utiliza celdas de cuadrícula de índice espacial de diferentes tamaños y series, pero la serie máxima por capa no puede exceder de tres. El tamaño de la unidad de cuadrícula no es un valor definido y debe determinarse en función del tamaño del objeto. La relación entre el tamaño de la cuadrícula del índice espacial y la precisión de la recuperación se muestra en la Figura 2-15.
Siga los siguientes principios básicos al seleccionar el tamaño de las celdas de la cuadrícula:
1) Para capas de datos con elementos simples, intente elegir una cuadrícula de índice de un solo nivel. Reduzca la cantidad de RDBMS que buscan índices de celdas de cuadrícula y acorte el proceso de búsqueda de índices espaciales, como las clases de entidades de líneas de seguimiento.
Figura 2-15 La relación entre el tamaño de la cuadrícula del índice y la precisión de la recuperación
2) Si el tamaño del límite de empaquetado de los elementos en la capa de datos varía mucho, se debe seleccionar el nivel 2 O una cuadrícula de índice de 3 niveles. La geodatabase proporciona hasta tres unidades de cuadrícula. Los límites envolventes de cada elemento están en el nivel apropiado, lo que reduce la posibilidad de que haya múltiples cuadrículas por límite envolvente. Durante el proceso de búsqueda del índice espacial, el RDBMS debe buscar en los tres niveles de celda de la cuadrícula, lo que consumirá mucho tiempo.
3) Si los usuarios realizan con frecuencia la misma consulta en una capa, el tamaño de cuadrícula óptimo debe ser 0,5 veces el espacio de búsqueda promedio de 65438.
4) El tamaño de la cuadrícula no debe ser menor que el tamaño promedio del límite envolvente del elemento. Para reducir la probabilidad de tener múltiples elementos encapsulando límites por celda de la cuadrícula, las celdas de la cuadrícula deben tener tres veces el tamaño de la celda promedio de la cuadrícula. El tamaño óptimo de celda de la cuadrícula puede verse afectado por las consultas de promedio de capas.
El dominio espacial se define en función del conjunto de datos de entidades y la cuadrícula de índice espacial se establece en función de la clase de entidad. Se configuran cuando se crea la geodatabase y, una vez configuradas, no se pueden cambiar a mitad de camino, por lo tanto, asegúrese de determinar sus valores después de analizar completamente los datos;
Los datos geofísicos aéreos son principalmente elementos simples con un alcance espacial de 70°. Con base en los principios anteriores, se selecciona una cuadrícula de índice de un solo nivel para datos geofísicos aéreos, con un tamaño de cuadrícula de 20.
②Estructura piramidal
El núcleo de la estructura piramidal es diluir los datos ráster paso a paso para formar datos remuestreados con resolución de múltiples niveles, que se dividen en bloques de acuerdo con un archivo determinado. formato (formato de archivo piramidal) a un archivo de disco cuando la imagen se muestra en el futuro, los bloques cubiertos por la parte que se va a mostrar simplemente se leen directamente desde el archivo de disco al búfer de memoria para su visualización. De todas las capas de la pirámide, busque una capa cuyas proporciones sean cercanas o coincidan con la visualización deseada, y cargue todos los bloques cubiertos por un cierto rango de imágenes en un cierto punto de esa capa en el búfer de memoria, extraiga las partes requeridas y formar la imagen.
El algoritmo piramidal (Figura 2-16) mejora la velocidad de visualización al obtener datos con una determinada resolución durante la visualización. Después de usar el formato de datos piramidal, solo se puede usar un dato de baja resolución para mostrar la imagen completa, lo que puede acelerar la visualización sin afectar el efecto de visualización. Cuando se amplía la imagen, aunque se aumenta la resolución de la imagen mostrada, la velocidad de visualización no se reducirá porque se reduce el área de visualización. Si los datos de la pirámide no están creados para datos ráster, los datos completos se leerán cada vez que se muestren y luego se volverán a muestrear para obtener la resolución requerida para la visualización, lo que obviamente ralentizará la visualización.
Figura 2-16 Esquema de compresión de la pirámide
Los métodos de remuestreo de datos de la pirámide incluyen el método del vecino más cercano, el método de interpolación bilineal y el método de convolución cúbica. El método del vecino más cercano es adecuado para datos discretos, mientras que los métodos de interpolación bilineal y convolución cúbica son adecuados para datos continuos.
ArcGIS Engine proporciona interfaces IRasterPyramid e IRasterPyramid2 para crear datos piramidales. Los datos creados se guardan en archivos en formato *. formato rd.
③Definición de dominio espacial
El dominio espacial se refiere al rango espacial efectivo de los datos, es decir, el rango de las coordenadas equivalentes máximas de la base de datos Geodatabase. el coeficiente de escala y Min X y min Cálculo de y.
Debido a que el uso de números enteros proporciona una relación de compresión mayor que los números de coma flotante, y las búsquedas binarias de números enteros son más rápidas, las geodatabases multiusuario almacenan las coordenadas como enteros positivos de 4 bytes, con un valor máximo de 32 bits. Enteros positivos Puede representar el rango de 265, 438, 400 millones (265, 438, 047, 483, 647). El rango de números enteros se llama dominio espacial. Al crear una geodatabase, debe definir un factor de escala apropiado. Los valores enteros grandes consumen mucha memoria física de la computadora, por lo que es mejor no elegir un factor de escala mayor de lo necesario. El dominio espacial cambia a medida que cambian las unidades del sistema de coordenadas.
Existe una relación inversa entre el coeficiente de escala y el dominio espacial. Cuanto mayor sea el coeficiente de escala (cuanto más pequeña sea la unidad de almacenamiento), más pequeño será el dominio espacial. Para almacenar todos los datos de destino en el sistema, el factor de escala debe configurarse cuidadosamente. Multiplique los valores apropiados para el ancho y alto de los datos de destino por el factor de escala. Si el resultado es inferior a 265.438 04 millones, el factor de escala es apropiado.
El modelo de datos de prospección geofísica aérea está diseñado para la base de datos de la industria de prospección geofísica aérea de China. El rango de coordenadas de los datos espaciales que admite es el espacio terrestre y marítimo cubierto por el territorio de China, y la latitud más baja es el ecuador. Según el análisis del diseño conceptual, el modelo de datos geofísicos aeronáuticos adopta un sistema de coordenadas geográficas, la unidad del sistema de coordenadas es grados, el punto de referencia es Beijing_1954 y se requiere que la precisión de los datos de coordenadas almacenados alcance 0,01 metros. En el ecuador, la circunferencia del círculo ecuatorial es 40075694,6 metros, entonces la longitud del arco por grado = 40075694,6 × 100/360 cm = 654330 cm. Por lo tanto, el coeficiente de escala del modelo de datos geofísicos aéreos es 8,98E-8, que es. almacenado La unidad es 8.98e-8, que puede cumplir con el requisito de precisión de 1 cm.
Antes de mover el dominio espacial al rango de datos de destino, primero encuentre la posición central del dominio espacial en la unidad de almacenamiento para que pueda expandirse en todas las direcciones si es necesario. El rango de coordenadas que se puede representar mediante un entero positivo de 4 bytes es: 2147483647×8,98 e-8 = 192,84.
El territorio de nuestro país se encuentra entre 70° ~ 140° de longitud este y 0° ~ 60° de latitud norte. Por lo tanto, el factor de escala elegido es apropiado. Establezca el centro del sistema de coordenadas en el dominio espacial en 90° y luego calcule Min X y Min Y en el dominio espacial.
Construcción de un sistema de información de prospección geofísica aérea
Construcción de un sistema de información de prospección geofísica aérea
Entonces los datos de coordenadas almacenados son:
Aéreos Construcción de sistema de información de prospección geofísica
Construcción de sistema de información geofísica de aviación