Big Data
Código

Yahoo saca a relucir sus progresos en Hadoop

Bajo el chasis de cada implementación Hadoop de Yahoo, emerge la complejidad que ha adquirido dicho ecosistema cloud mostrando por qué la compañía que inventó el framework de software en código abierto todavía lidera la tendencia.

Hadoop

Nos han llegado rumores que apuntan a que Hadoop está atascado. El experto en código abierto Matt Asay, que ha pasado por diversas startups de código abierto antes de aterrizar como vicepresidente de movilidad de Adobe, citaba recientemente a Gartner para aludir a una demanda contra Hadoop considerando a esta consultora como “enemiga”, tras publicar el pasado marzo la valoración de un bloguero de peso de InfoWorld calificando a Hadoop como un sistema “exiguo y poco convincente a la hora de implantar.”

 

El problema, explica Asay,  reside en que para que una compañía consiga obtener valor de Hadoop ésta ha de tener una estrategia clara y definida en cloud. “Sin ello, algunas empresas pueden tener problemas a la hora de manejar Hadoop en el momento de querer escalar; mientras que otras experimentan en el sistema sin la definición de objetivos claros, dando como resultado iniciativas que nunca llegan a despegar", señala este experto.

 

Recientemente, un tecnólogo norteamericano especializado en Hadoop que trabaja para Yahoo descubrió que el despliegue de una infraestructura en Hadoop reporta un sinfín de lecciones que pueden ser aprendidas a partir de una pantagruélica implementación de este framework llevada a cabo en una empresa. “Si alguien tiene interés en saber cómo funciona un despliegue masivo en Hadoop, cualquier experto en código abierto podría ser capaz de mejorar con facilitad la plataforma de Yahoo”, afirma este entendido.

 

Pero ¿qué extensión tiene la plataforma de Hadoop? De acuerdo con un perito en plataformas cloud y big data, el sistema de Yahoo está implementado en 43.000 servidores dotados de 20 clusters YARN (aka MapReduce 2.0) y 600 petabytes de datos en HDFS para servir los esfuerzos en temas de movilidad, investigación, anuncios, personalización, prensa y comunicación. 

 

Este entendido señala, a su vez, que 33 millones de puestos de trabajo son procesados sobre dicha infraestructura cada mes, y que cada trabajo puede llegar a incluir a cientos de miles de tareas. Paralelamente, Yahoo ha liberado la vía del sistema para extender Hadoop más allá de MapRecuce y HDFS con el objetivo de que pueda abarcar a nuevas tecnologías en la siempre creciente familia del elefante amarillo.



Contenido Patrocinado

Fernando Rubio Román, CTO de Microsoft España. TECNOLOGÍA
Forma parte de nuestra comunidad

 

¿Te interesan nuestras conferencias?

 

 
Cobertura de nuestros encuentros
 
 
 
 
Lee aquí nuestra revista de canal

DealerWorld Digital