Usamos nossos próprios cookies de terceiros para melhorar sua experiência e nossos serviços, identificando suas preferências de navegação na Internet em nosso site. Se você continuar a navegar, consideramos que você aceita o uso. Você pode encontrar mais informações na nossa política de cookies.

Telefonica Background

Com o rápido desenvolvimento da era da Internet, os dados da empresa estão aumentando de forma explosiva. Uma demanda urgente é desenvolvida sobre como gerar valor a partir dos dados complexos e caóticos e como usar os dados para implementar inovações e aproveitar as oportunidades de negócios. Obviamente, o processamento convencional de dados é incompetente nesta era dos grandes dados.

O MapReduce Service (MRS) fornece recursos de armazenamento e análise para dados maciços e cria uma plataforma de operação e manutenção (O & M) confiável, segura e fácil de usar. Os usuários podem solicitar o uso dos serviços Hadoop, Spark, HBase e Hive para criar rapidamente clusters e fornecer recursos de armazenamento e computação para análise de dados maciços ou processamento em tempo real. Após o armazenamento de dados e a computação, o serviço de cluster pode ser encerrado e nenhuma taxa será cobrada em conformidade. Você também pode optar por executar clusters permanentemente.

 

undefined

 

A MRS entrega as seguintes funções:

Análise e computação de dados maciços Hadoop 2.7.2: Com base no Hadoop aplicando uma infra-estrutura de sistema distribuída, a MRS usa o MapReduce para implementar computação paralela de grandes conjuntos de dados (nível TB ou superior). Spark

1.5.1: Spark é uma estrutura de processamento de lote distribuído. Ele fornece recursos de análise e mineração e computação de memória iterativa e suporta o desenvolvimento de aplicativos em várias linguagens de programação, incluindo Scala, Java e Python. Além disso, ele fornece o Spark SQL, que permite que os dados sejam consultados e analisados ​​usando instruções de linguagem de consulta estruturada (SQL). HBase

1.0.2: Hadoop Database (HBase) é um sistema de armazenamento distribuído baseado em coluna que possui alta confiabilidade, desempenho e escalabilidade. O HBase foi projetado para complementar bancos de dados relacionais no processamento de dados maciços. Hive

1.3.0: A Hive é uma estrutura de data warehouse construída no Hadoop. Ele armazena dados estruturados usando a linguagem de consulta de colméia (HQL), um idioma como o SQL. Hive converte instruções HQL para tarefas MapReduce ou HDFS para consultar e analisar dados maciços armazenados em clusters Hadoop.

Armazenamento de dados maciços

O Sistema de arquivos distribuídos Hadoop (HDFS) possui alta tolerância a falhas e fornece acesso a dados de alto débito, aplicável ao processamento de grandes conjuntos de dados. Após serem processados ​​e analisados, os dados são criptografados usando o Secure Sockets Layer (SSL) e transmitidos para o sistema de armazenamento de objetos (OBS) ou HDFS.