Charles Zedlewski

Las aplicaciones de ingeniería de datos como ETL o los Batch Scoring conllevan generalmente grandes cargas de trabajo que se ejecutan durante un tiempo concreto y ayudan a las compañías a sacar información crítica de datos sin procesar.

Ejecutando estos pipelines en infraestructuras elásticas, las compañías pueden ganar en flexibilidad y eficiencia a la hora de ejecutar. Sumado a esto, las empresas también esperan poder utilizar y aprovechar las infraestructuras cloud junto con sus herramientas y tecnologías de procesamiento de datos habituales.

Así, Cloudera Altus Data Engineering simplifica el desarrollo y operaciones de los pipelines de datos elásticos, priorizando el trabajo de los ingenieros de datos y ayudando a organizar la gestión de las infraestructuras y las operaciones, considerando que son procesos complejos que requieren tiempo.

Además, Altus reduce el riesgo asociado a las migraciones en la nube. Este servicio ofrece a los usuarios herramientas unificadas en una plataforma abierta con la que pueden acceder a almacenamiento, metadatos, seguridad y gestión común a través de las numerosas aplicaciones de ingeniería de datos.

“Las cargas de trabajo de ingeniera de datos son claves para las aplicaciones de datos actuales”, explica Charles Zedlewski, vicepresidente senior de productos en Cloudera.

“Altus simplifica el proceso de construcción y ejecución de los pipelines de datos elásticos, a la vez que preserva su portabilidad y hace más sencillo incorporar los elementos de ingeniería de datos a aplicaciones de Business Intelligence y Data Science”.

Cloudera hace más sencilla, rentable y conveniente la ejecución de las cargas de datos en proveedores en la nube como Amazon Web Services (AWS), aprovechado la elasticidad que aporta la nube, así como su bajo coste de almacenamiento, sus múltiples opciones de cálculo y su rápido aprovisionamiento.

De este modo se consigue un servicio de datos capaz de responder a cualquier desafío o problema derivado de la actividad de negocios. Los almacenamientos en la nube como Amazon Simple Storage Service (Amazon S3) están ganando popularidad debido a su resiliencia, escalabilidad y coste relativamente bajo.

De acuerdo con IDC, los despliegues en la nube pública representan actualmente el 12% del mercado global del software en Business Analytics y se espera que esta cifra sea del 25% CAGR en 20201. La nube es uno de los entornos de despliegue de soluciones que está experimentando un crecimiento más rápido entre los clientes de Cloudera y Altus ayudará a que ejecutar cargas de trabajo en ella sea más fácil que nunca.

Entre las características y beneficios de Cloudera Altus están:

• Servicio gestionado para pipelines de datos elásticos - Altus es una nueva solución de PaaS con la que los ingenieros de datos pueden proveer capacidades con infraestructura cloud nativa, de forma rápida y encilla, en Apache Spark, Apache Hive, Hive en Spark y MapReduce 2. Altus ofrece configuraciones y entornos de clúster predeterminados, que permiten reducir de forma significativa los tiempos y operaciones de despliegue de los clúster, automatizando procesos como el aprovisionamiento, la configuración y la terminación.
• Orientación a las cargas de trabajo - Cloudera Altus se focaliza en la productividad de los datos, en lugar de en los clúster o las infraestructuras, de modo que los usuarios puedan enviar, clonar y solucionar problemas sin necesidad de centrarse en la infraestructura.
• Ausencia de silos de datos - El servicio Altus Data Engineering permite a los ingenieros de datos ejecutar lecturas directas del almacenamiento de los objetos en la nube, al igual que hace el resto de la plataforma de Cloudera. Estos datos están disponibles de forma inmediata para otras cargas de trabajo de Cloudera, sin necesidad de replicaciones de datos, ETLs o modificaciones en los formatos de archivo. De este modo, los usuarios pueden incorporar más fácilmente la ingeniería de datos a sus aplicaciones de Data Science, Business Intelligence y DB en tiempo real.
• Compatibilidad con versiones previas y portabilidad de plataformas - Altus ofrece soporte para múltiples versiones de CDH, la plataforma de código abierto más utilizada en la industria. Los usuarios pueden mover fácilmente las cargas de trabajo desde y hacia la nube sin necesidad de modificar sus aplicaciones. Ya que CDH es compatible con versiones anteriores, los clientes pueden aprovechar todas las innovaciones que les llegan desde la comunidad Apache Big Data sin miedo a dañar sus aplicaciones.
• Gestión integrada de las cargas de trabajo - Altus automatiza y simplifica los problemas operativos más comunes que suelen afectar a los pipelines de datos elásticos en la gestión de las cargas de trabajo. Los usuarios pueden solucionar trabajos fallidos, estén presentes o no los clúster y las infraestructuras de cálculo. Además, como parte de la gestión de las cargas de trabajo de Altus, el sistema alerta en caso de detectar desviaciones de rendimiento relevantes y propone ejecutar un análisis para detectar su origen. De este modo, los usuarios pueden ejecutar sus pipelines de datos con mayor fiabilidad y menor coste.

El lanzamiento inicial de Cloudera Altus incluye soporte para Apache Spark, Apache Hive en MapReduce 2 y Hive en Spark. Cloudera Altus ya está disponible en la mayoría de regiones que cuentan con Amazon Web Services (AWS). En el futuro, Cloudera Altus estará disponible también en otras clouds públicas como Microsoft Azure. Más información en www.cloudera.com/altus