Big Data
Código

A Spark y Storm les sale competencia en procesos en tiempo real con Hadoop

DataTorrent edita tanto en Storm como en Spark pero un tercer contendiente, que se ha estado ofreciendo como una aplicación en código abierto, está a punto de entrar en escena y, al igual que aquellos componentes, podría tener un futuro interesante fuera de Hadoop.

Big data

DataTorrent RTS (streaming en tiempo real) se ha estado comercializando durante mucho tiempo para el procesamiento de datos en directo, además de la familia de proyectos en código abierto de la fundación Apache en Hadoop. No obstante, en la actualidad, la empresa DataTorrent está convirtiendo a código abierto el motor del sistema DataTorrent RTS, y piensa ofrecerlo bajo la misma licencia de licenciamiento de Apache 2.0, tal y como hacen sus competidores para, eventualmente, contribuir en la dirección de la Apache Foundation.

 

El proyecto Apex, tal y como se denomina la versión del motor RTS en código abierto de DataTorrent, está orientado no solo a competir con Storm y Spark, sino a superarlos, dado que puede llegar a correr de 10 a 100 veces más rápido que Spark, resulta más fácil de programar, soporta mejor las necesidades de las empresas como tolerancia a fallos y escalabilidad, y tiene la habilidad de facilitar la tarea de demostrar el valor de Hadoop al propietario de un negocio.

 

Así, el proyecto Apex, en forma de plataforma en código abierto de procesamiento in-memory de DataTorrens, puede trabajar como parte de la pila DataTorrent existente, o bien como componente autónomo. Tal y como afirma John Fanelli, vicepresidente de marketing de DataTorrent, el proyecto RTS/Apex de DataTorrent está destinado a facilitar el proceso de trabajo operando con procesamiento en streaming de Spark. “La plataforma Spark representa mucho más que una infraestructura de desarrollo, ya que permite escribir a mano en cualquier momento…  y constituye ahora mismo el sistema más adecuado para el desarrollador a la hora de pensar y programar en más de un paradigma MapReduce.”

 

Fanelli afirma que Spark carece de otras habilidades clave para las empresas, como la gestión de eventos, la habilidad de garantizar la consecución de acontecimientos, y la tolerancia a fallos a nivel de plataforma. Apex no requiere Scala para ser programado, lo que significa que la programación en Java no necesita hacer mucho retooling para sacar ventaja del sistema. Spark está escrito en Scala y puede ser programado en unos cuantos lenguajes, incluyendo Python y Java.



Contenido Patrocinado

Fernando Rubio Román, CTO de Microsoft España. TECNOLOGÍA
Forma parte de nuestra comunidad

 

¿Te interesan nuestras conferencias?

 

 
Cobertura de nuestros encuentros
 
 
 
 
Lee aquí nuestra revista de canal

DealerWorld Digital