Diseño de sistema de gestión de índices

Como combinación de negocios y datos, los indicadores son la base de las estadísticas de datos y la base para cuantificar los efectos comerciales. ¿Cómo evitar el problema de confundir nombres de índices e índices no únicos al utilizar estadísticas de índices? Al mismo tiempo, los datos deben organizarse y almacenarse de manera ordenada y estructurada para evitar la construcción repetida de datos subyacentes y fuentes no únicas de estadísticas de datos. Este artículo se centra en cómo definir indicadores atómicos basados ​​​​en procesos de negocios, definir indicadores derivados relevantes basados ​​​​en la combinación de indicadores atómicos y modificadores, y nombrar indicadores correctamente.

1 Introducción a los antecedentes

Los indicadores se refieren a valores de medición cuantitativos después de segmentar las unidades de negocio, haciendo que los objetivos comerciales sean descriptivos, medibles y separables. El establecimiento del sistema de indicadores es una máxima prioridad y afectará directamente todo el proceso de "generación → procesamiento → almacenamiento → cálculo → aplicación". Sin embargo, durante el uso real surgen los siguientes problemas: ① Para el mismo escenario empresarial, cada departamento utilizará diferentes indicadores para la medición; ② Para el cálculo del mismo indicador, las fuentes y métodos estadísticos en diferentes momentos serán diferentes;

Específicamente, debemos hacer lo siguiente: 1) Estandarizar la denominación de dimensiones y medidas para garantizar la unicidad, y las reglas de denominación deben ser lo más claras, universales y fáciles de entender posible; 2) Confirmar las dimensiones; o medidas, unificar el calibre de cálculo para evitar ambigüedades 3) Cubrir tantas dimensiones centrales e indicadores de medición como sea posible y promover la construcción de datos sobre esta base para garantizar que todas las dimensiones cubiertas en el diccionario de indicadores puedan distinguirse y todos los indicadores puedan contarse; 4) Basado en el diccionario de índices, inserte dimensiones e indicadores centrales en el centro de metadatos y conéctese a las herramientas de extracción de índices. La implementación posterior puede completar los requisitos de análisis y consultas de autoservicio sin escribir SQL, sentando las bases para el análisis de datos de autoservicio.

Por lo tanto, es necesario proporcionar capacidades de servicios de datos estandarizadas y exclusivas, reducir el costo de la interoperabilidad de los datos, liberar recursos como computación, almacenamiento y recursos humanos, y eliminar los puntos débiles técnicos y comerciales. La estructura de datos es la siguiente:

Segmento de negocio: Si hay muchos productos de negocio y pocos indicadores o se superponen entre ellos, se pueden separar por separado.

Definición de especificación: Diseñar el sistema de nomenclatura de la especificación de datos.

Diseño de modelos: basado en la teoría del modelado dimensional y la arquitectura del bus de modelado dimensional, se construyen dimensiones y hechos consistentes.

Arquitectura de datos

2 Definición estándar de indicadores

La definición normativa de indicadores se basa en el modelado dimensional y se construye una matriz de bus para dividir y definir campos de datos y negocios, procesos, dimensiones, medidas/indicadores atómicos, tipos de modificadores, modificadores, períodos de tiempo, indicadores derivados, etc.

Definición normativa de indicadores

①Dominio de datos

Se refiere a una colección abstracta de procesos o dimensiones de negocio orientados al análisis de negocio. Entre ellos, el proceso de negocio se puede resumir como eventos de comportamiento indivisibles, y los indicadores se pueden definir bajo el proceso de negocio; la dimensión es el entorno de medición, como el evento de pedido del comprador, y el comprador es la dimensión. Para garantizar la vitalidad de todo el sistema, el dominio de datos debe abstraerse y actualizarse con el tiempo, pero no cambiará fácilmente.

②Proceso de negocio

Se refiere a las actividades comerciales de la empresa. Por ejemplo, la realización de pedidos, el pago y el reembolso son todos procesos comerciales. Entre ellos, los procesos comerciales no se pueden separar.

③Periodo de tiempo

Se utiliza para especificar el rango de tiempo o punto de tiempo de las estadísticas, como los últimos 30 días, semanas naturales, plazos, etc.

④Tipo de modificación

Esta es una división abstracta de modificadores. Los tipos de modificadores pertenecen al dominio empresarial. Por ejemplo, el tipo de terminal de acceso en el dominio logarítmico cubre modificadores tales como terminales inalámbricos y terminales de PC.

Los cinco modificadores

se refiere a la definición abstracta de escenarios comerciales para indicadores fuera de la dimensión estadística. Los modificadores son un tipo de modificadores, como terminales inalámbricos en el dominio logarítmico, PC. terminales,etc.

⑥Índice métrico/atómico

Los indicadores atómicos tienen el mismo significado que las métricas, que se basan en el comportamiento de los eventos comerciales. Los indicadores que no se pueden dividir en la definición comercial tienen nombres con un significado comercial claro, como el monto del pago.

⑦Dimension

Dimensión es un entorno de medición que refleja un atributo del negocio. La colección de estos atributos forma una dimensión, que también puede denominarse objeto de entidad. Las dimensiones pertenecen a un dominio de datos, como dimensiones geográficas (incluidos países, regiones, provincias, ciudades, etc.) y dimensiones temporales (incluidos años, trimestres, meses, semanas, días, etc.).

Atributos de 8 dimensiones

Los atributos de dimensión pertenecen a una dimensión, como el nombre del país, el ID del país y el nombre de la provincia en la dimensión geográfica.

⑨ Índice derivado

Indicador derivado = 1 indicador atómico + múltiples modificadores (opcional) + período de tiempo. Puede entenderse como la delimitación del alcance estadístico del negocio de indicadores atómicos. Por ejemplo, indicador atómico: monto del pago, mientras que el monto pagado por los compradores extranjeros en el último día es un indicador derivado.

Los indicadores derivados se dividen en los siguientes tres tipos:

Indicadores comerciales: se refieren a indicadores que miden las actividades comerciales. Por ejemplo, se suman el número de miembros registrados y el monto del pago del pedido. Dichos indicadores requieren mantener indicadores y modificadores atómicos y luego crear indicadores derivados.

Indicadores basados ​​en stock: se refiere a estadísticas sobre ciertos estados de los objetos de la entidad (como productos y miembros), como el número total de productos y miembros registrados. Este tipo de indicador requiere mantener indicadores y modificadores atómicos y luego crear indicadores derivados. El período de tiempo correspondiente es generalmente "el final de la historia en el momento actual".

Índice compuesto: compuesto sobre la base del índice comercial y el índice bursátil. Por ejemplo, la cantidad de compradores que realizaron pedidos después de ver la tasa de conversión UV. Reglas para indicadores integrales:

Tipo de relación: cree indicadores atómicos, como CTR, UV de navegación, número de compradores de pedidos, tasa de conversión, tasa de satisfacción, etc. Por ejemplo, "CTR de la página de inicio de la tienda el último día", el índice atómico es CTR, el período de tiempo es el último día, el tipo de decoración es el tipo de página y la palabra de decoración es la página de inicio de la tienda.

Proporcional: Crea indicadores atómicos como porcentajes y ratios. Por ejemplo, "índice de pago inalámbrico en el último día", el indicador atómico es "índice de pago", el tipo de modificador es "tipo de terminal" y el modificador es "inalámbrico".

Tipo de diferencia: En lugar de crear un indicador atómico, agregas un modificador y creas un indicador derivado basado en él. Por ejemplo, el índice atómico es el monto del pago del pedido en el último día, el período de tiempo es el último día, el tipo de modificación es el método estadístico y el monto de la modificación es el monto del cambio en el último día.

Tipo de tasa de cambio: cree un indicador atómico, como "tasa de cambio de pago de compradores extranjeros en los últimos 7 días", el indicador atómico es "tasa de cambio de pago", el tipo de modificador es "región del comprador". modificar La cantidad es "compradores extranjeros".

Tipo estadístico (promedio, cuantil, etc.): en lugar de crear un indicador atómico, agregue modificadores y cree indicadores derivados sobre esta base, agregue modificaciones bajo el tipo de modificador "Método estadístico" Volumen, como por; cápita, promedio diario, promedio de la industria, etc. Por ejemplo, "UV promedio mensual natural", el índice atómico es "UV", el tipo de modificador es "método estadístico" y el modificador es "promedio diario".

3 Implementación funcional de la gestión de indicadores

Para implementar la gestión de índices, la información subyacente que debe considerarse es:

Diseño de la función de gestión de índices

Parte de la interfaz de usuario muestra:

Interfaz funcional de índice atómico

Interfaz funcional de indicador derivado

Marco de uso de datos 4

En la especificación Sobre la base de la definición y gestión de indicadores, se puede promover la construcción de tablas de hechos subyacentes y tablas de dimensiones para garantizar una única fuente de datos y un calibre de cálculo unificado para las estadísticas de datos. Al mismo tiempo, mediante la combinación de indicadores y modificadores, es conveniente que el personal de negocios analice y use los datos por sí mismo, reduciendo la eficiencia de la adquisición de datos, generando así conclusiones valiosas, ayudando en la toma de decisiones y dando pleno juego a la valor de los datos.

Uso de marcos para el análisis de datos

Resumen

Este artículo resume cómo dividir los procesos de negocio en función del negocio, involucrando así los indicadores atómicos correspondientes, sobre la base de la combinación. dimensiones Crear indicadores derivados y construir un sistema de indicadores de datos estandarizado y unificado. Esto mejora la singularidad de las fuentes estadísticas de datos y proporciona acceso a herramientas de extracción de indicadores, lo que permite a las empresas posteriores completar los requisitos de análisis y consultas de autoservicio y sentar las bases para el análisis de datos de autoservicio.

Parte del contenido de este libro se basa en las notas de lectura de "El camino hacia Big Data: Alibaba Big Data Practice" del Departamento de Productos y Tecnología de Datos de Alibaba. No dudes en compartirlo con nosotros.