Utilizamos cookies propias y de terceros para mejorar su experiencia y nuestros servicios, identificando sus preferencias de navegación por Internet en nuestro sitio web. Si continúa navegando, consideramos que acepta el uso. Puede encontrar más información en nuestra Política de cookies.

Telefonica Background

Con el rápido desarrollo de la era de Internet, los datos empresariales están aumentando de manera explosiva. Se desarrolla una demanda urgente sobre cómo generar valor a partir de los datos complejos y caóticos y cómo usar los datos para implementar innovaciones y aprovechar las oportunidades de negocio. Obviamente, el procesamiento de datos convencional es incompetente en esta era de grandes datos.

MapReduce Service (MRS) proporciona capacidades de almacenamiento y análisis para datos masivos y construye una plataforma de operación y mantenimiento (O & M) confiable, segura y fácil de usar. Los usuarios pueden solicitar el uso de los servicios de Hadoop, Spark, HBase y Hive para crear rápidamente clústeres y proporcionar capacidades de almacenamiento y de cómputo para el análisis masivo de datos o el procesamiento en tiempo real. Después de que el almacenamiento de datos y la computación se hayan cumplido, el servicio de clúster se puede finalizar y no se cobrará ninguna tarifa en consecuencia. También puede optar por ejecutar clústeres permanentemente

 

undefined

 

MRS ofrece las siguientes funciones: Análisis y cálculo de datos masivos Hadoop

2.7.2: Basado en Hadoop aplicando una infraestructura de sistema distribuida, MRS usa MapReduce para implementar la computación paralela de grandes conjuntos de datos (TB-level o superior). Spark

1.5.1: Spark es un marco de procesamiento por lotes distribuido. Proporciona análisis y minería y capacidades de computación de memoria iterativa y soporta el desarrollo de aplicaciones en múltiples lenguajes de programación, incluyendo Scala, Java y Python. Además, proporciona Spark SQL, que permite que los datos sean consultados y analizados mediante sentencias de lenguaje de consulta estructurada (SQL). HBase 1.0.2: Hadoop Database (HBase) es un sistema de almacenamiento distribuido basado en columnas que ofrece alta confiabilidad, rendimiento y escalabilidad. HBase está diseñado para complementar bases de datos relacionales en el procesamiento de datos masivos. Hive

1.3.0: Hive es un framework de data warehouse construido sobre Hadoop. Almacena datos estructurados utilizando el lenguaje de consulta Hive (HQL), un lenguaje como el SQL. Hive convierte instrucciones HQL a tareas de MapReduce o HDFS para consultar y analizar datos masivos almacenados en clústeres Hadoop.

Almacenamiento de datos masivos

Hadoop Distributed File System (HDFS) ofrece alta tolerancia a fallos y proporciona acceso de datos de alto rendimiento, aplicable al procesamiento de grandes conjuntos de datos. Después de ser procesados ​​y analizados, los datos se cifran utilizando Secure Sockets Layer (SSL) y se transmiten al sistema de almacenamiento de objetos (OBS) o HDFS