Aceleración de la transferencia de grandes archivos
Reliable Multicast Transport (RMT)
Tras cinco años de investigación y desarrollo, Internet Engineering Task Force completó a finales del pasado verano los RFC de un estándar que soporta la distribución de grandes archivos a multitud de usuarios. Se trata de Reliable Multicast Transport (RMT).
Reliable Multicast Transport (RMT) ha sido diseñado por IETF (Internet Engineering Task Force) para soportar comunicaciones de grandes volúmenes de datos de uno a muchos por Internet o redes privadas IP. Y, pese a su juventud, ya está presente en la actividad cotidiana de firmas como Siebel Systems y PeopleSoft para distribuir gigabytes de código software entre sedes dispersas dedicadas al desarrollo. Otros usos potenciales del estándar pueden ser la distribución de mapas sísmicos a localizaciones remotas en compañías de gas o petróleo, compartir documentos técnicos entre grandes empresas de construcción y sus subcontratistas o respaldar bases de datos distribuidas entre distintas sedes corporativas con fines de recuperación de desastres.
Los fabricantes de redes que han ayudado al desarrollo de la norma en el seno del grupo de trabajo Reliable Multicast Transport del IETF son, entre otros, Cisco, Microsoft, Motorola y la start-up Digital Fountain, que ya disponía de producto a principios de 2002.
"Si se desea distribuir grandes archivos a múltiples receptores, hay que tener en cuenta previamente cómo consumir los menos recursos Internet posibles y cómo tratar con destinatarios heterogéneos", asegura Allison Mankin, director de Transport Area de IETF, quien supervisó el desarrollo de la norma. "El enfoque estandarizado es prometedor". Según IDC, RMT trata de resolver un problema real de las empresas. Para muchas corporaciones es vital encontrar el modo de pasar grandes archivos y aplicaciones entre el centro de datos, situado en la sede central, y los emplazamientos remotos dispersos geográficamente. La mayor parte de los responsables de TI optan por incrementar el ancho de banda de su red, una solución cada vez más asequible. Pero, en algunos casos, los archivos son tan enormes que esta medida no es la solución.
Otra alternativa para solucionar el problema, a veces complementaria, consiste en usar técnicas de compresión de datos o de gestión del ancho de banda. Sin embargo, IDC se muestra optimista sobre el enfoque multicast tomado por los productos de Digital Fountain y su reseller, Cisco.
Bajo el liderazgo de Digital Fountain
Digital Fountain ocupa la posición líder en el desarrollo de productos con soporte del marco general RMT, ya con clientes como Seibel y PeopleSoft. Estas firmas utilizan servidores especializados de Digital Fountain para asegurar la entrega en el tiempo previsto de piezas de software a sus equipos de desarrollo de Europa, Asia y Suramérica.
PeopleSoft envía entre 60 y 70 bloques de software semanalmente a 14 oficinas de todo el mundo, archivos que ocupan de 50 a 400 Mbps, a través de la red Frame Relay privada de la compañía con conexiones que van de 256 Kbps a 2 Mbps. La compañía quería disponer de un sistema automático para enviar tales archivos del modo más eficiente por conexiones de bajo ancho de banda. Más importante que la velocidad de entrega era garantizar la propia entrega en los tiempos especificados con independencia de las congestiones o caídas de la red. En dos palabras, lo que buscaba la firma era una entrega fiable y predecible del software, de modo que se estuviese seguro de que, por ejemplo, a las nueve de la mañana, hora local, una oficina europea pudiera disponer de un determinado archivo.
Este fue el motivo por el que PeopleSoft adquirió Transport Fountain, de Digital Fountain, que previamente estuvo probando en modo de producción durante cuatro meses. El producto, que costó alrededor de 50.000 dólares, realizó con éxito la entrega programada de todos los archivos de la compañía en una hora y 45 minutos. Así, el retorno de la inversión se producirá cuando ocurra algún evento catastrófico en la red que, en las condiciones anteriores, hubiera supuesto la imposibilidad de disponer de un archivo determinado en un lugar concreto en el momento en que su hubiese necesitado. Es decir, el ROI se mide en la seguridad de que no se producirán pérdidas de tiempo de desarrollo.
El Transporter Fountain de PeopleSoft se estableció en modo unicast (punto a punto), pero la firma planea migrar pronto al modo multicast. De esta manera reducirá el impacto del tráfico en la red y mejorará el rendimiento de la WAN, lo que redundará en más y mayores ventajas y eficiencias.
"Codificación de Luby"
Además de soportar Reliable Multicast Transport, los servidores de Digital Fountain trabajan con una tecnología de codificación matemática patentada, desarrollada por el CTO de la compañía, Michael Luby. Esta técnica de codificación divide los grandes archivos de datos para facilitar su transmisión a través de la red.
En los métodos de entrega de datos convencionales, un archivo de grandes dimensiones se divide en pequeñas piezas que se envían por una WAN con un “acuse de recibo” de entrega devuelto por cada una de ellas cuando llegan a su destino. Todas las piezas alcanzan su destino en el orden correcto. Si la transmisión se interrumpe, el proceso en su totalidad comienza de nuevo.
Utilizando el "algoritmo de Luby", los datos se convierten en series de paquetes llamados Meta-Content, cada uno de ellos con información codificada matemáticamente sobre el archivo entero original. Así, es indiferente el número y orden de paquetes que lleguen a su destino, siempre que se reciba la cantidad “suficiente” de ellos. Qué se considera “suficiente” depende de cada aplicación con la que se esté trabajando. Si la conexión de la red se interrumpe, la transmisión de los paquetes Meta-Content se reinicia desde el momento en que se produjo el fallo. Resumiendo, en términos bélicos se podría decir que estos paquetes son como “pequeños soldados”: no importa cuáles alcanzan su objetivo, sino cuántos.
La innovación de Luby ha sido muy valorada por los miembros de IETF que han trabajado con él en la especificación de Reliable Multicast Transport. "Digital Fountain es realmente el creador de esta clase de aplicaciones multicast. Luby ha creado una técnica matemática que, pese a ser propietaria, funciona perfectamente con el nuevo protocolo”, asegura Mankin. De hecho, tanto Luby como Digital Fountain han estado implicados en los desarrollos alrededor de RMT de IETF desde un primer momento.
El centro de atención del grupo de trabajo Reliable Multicast Transport fue prevenir los problemas de congestión que podría suponer el empleo de comunicaciones multicast en la distribución de grandes archivos. Multicast utiliza User Datagram Protocol (UDP) sobre IP, en vez del más común TCP sobre IP. Y, a diferencia de TCP, UDP no incorpora control de congestión. "Realmente, no se puede hacer multicast con TCP porque la propia técnica de multicast requiere que dos ‘peers’ estén hablando entre sí. Y esto no es práctico. El objetivo era poder disponer de control de la congestión pero sin TCP. Y de ello se ocupó el grupo de trabajo RMT”, explica Mankin.
Documentos base
El pasado 27 de agosto, IETF aprobó los dos primeros documentos del grupo de trabajo Reli
Reliable Multicast Transport (RMT) ha sido diseñado por IETF (Internet Engineering Task Force) para soportar comunicaciones de grandes volúmenes de datos de uno a muchos por Internet o redes privadas IP. Y, pese a su juventud, ya está presente en la actividad cotidiana de firmas como Siebel Systems y PeopleSoft para distribuir gigabytes de código software entre sedes dispersas dedicadas al desarrollo. Otros usos potenciales del estándar pueden ser la distribución de mapas sísmicos a localizaciones remotas en compañías de gas o petróleo, compartir documentos técnicos entre grandes empresas de construcción y sus subcontratistas o respaldar bases de datos distribuidas entre distintas sedes corporativas con fines de recuperación de desastres.
Los fabricantes de redes que han ayudado al desarrollo de la norma en el seno del grupo de trabajo Reliable Multicast Transport del IETF son, entre otros, Cisco, Microsoft, Motorola y la start-up Digital Fountain, que ya disponía de producto a principios de 2002.
"Si se desea distribuir grandes archivos a múltiples receptores, hay que tener en cuenta previamente cómo consumir los menos recursos Internet posibles y cómo tratar con destinatarios heterogéneos", asegura Allison Mankin, director de Transport Area de IETF, quien supervisó el desarrollo de la norma. "El enfoque estandarizado es prometedor". Según IDC, RMT trata de resolver un problema real de las empresas. Para muchas corporaciones es vital encontrar el modo de pasar grandes archivos y aplicaciones entre el centro de datos, situado en la sede central, y los emplazamientos remotos dispersos geográficamente. La mayor parte de los responsables de TI optan por incrementar el ancho de banda de su red, una solución cada vez más asequible. Pero, en algunos casos, los archivos son tan enormes que esta medida no es la solución.
Otra alternativa para solucionar el problema, a veces complementaria, consiste en usar técnicas de compresión de datos o de gestión del ancho de banda. Sin embargo, IDC se muestra optimista sobre el enfoque multicast tomado por los productos de Digital Fountain y su reseller, Cisco.
Bajo el liderazgo de Digital Fountain
Digital Fountain ocupa la posición líder en el desarrollo de productos con soporte del marco general RMT, ya con clientes como Seibel y PeopleSoft. Estas firmas utilizan servidores especializados de Digital Fountain para asegurar la entrega en el tiempo previsto de piezas de software a sus equipos de desarrollo de Europa, Asia y Suramérica.
PeopleSoft envía entre 60 y 70 bloques de software semanalmente a 14 oficinas de todo el mundo, archivos que ocupan de 50 a 400 Mbps, a través de la red Frame Relay privada de la compañía con conexiones que van de 256 Kbps a 2 Mbps. La compañía quería disponer de un sistema automático para enviar tales archivos del modo más eficiente por conexiones de bajo ancho de banda. Más importante que la velocidad de entrega era garantizar la propia entrega en los tiempos especificados con independencia de las congestiones o caídas de la red. En dos palabras, lo que buscaba la firma era una entrega fiable y predecible del software, de modo que se estuviese seguro de que, por ejemplo, a las nueve de la mañana, hora local, una oficina europea pudiera disponer de un determinado archivo.
Este fue el motivo por el que PeopleSoft adquirió Transport Fountain, de Digital Fountain, que previamente estuvo probando en modo de producción durante cuatro meses. El producto, que costó alrededor de 50.000 dólares, realizó con éxito la entrega programada de todos los archivos de la compañía en una hora y 45 minutos. Así, el retorno de la inversión se producirá cuando ocurra algún evento catastrófico en la red que, en las condiciones anteriores, hubiera supuesto la imposibilidad de disponer de un archivo determinado en un lugar concreto en el momento en que su hubiese necesitado. Es decir, el ROI se mide en la seguridad de que no se producirán pérdidas de tiempo de desarrollo.
El Transporter Fountain de PeopleSoft se estableció en modo unicast (punto a punto), pero la firma planea migrar pronto al modo multicast. De esta manera reducirá el impacto del tráfico en la red y mejorará el rendimiento de la WAN, lo que redundará en más y mayores ventajas y eficiencias.
"Codificación de Luby"
Además de soportar Reliable Multicast Transport, los servidores de Digital Fountain trabajan con una tecnología de codificación matemática patentada, desarrollada por el CTO de la compañía, Michael Luby. Esta técnica de codificación divide los grandes archivos de datos para facilitar su transmisión a través de la red.
En los métodos de entrega de datos convencionales, un archivo de grandes dimensiones se divide en pequeñas piezas que se envían por una WAN con un “acuse de recibo” de entrega devuelto por cada una de ellas cuando llegan a su destino. Todas las piezas alcanzan su destino en el orden correcto. Si la transmisión se interrumpe, el proceso en su totalidad comienza de nuevo.
Utilizando el "algoritmo de Luby", los datos se convierten en series de paquetes llamados Meta-Content, cada uno de ellos con información codificada matemáticamente sobre el archivo entero original. Así, es indiferente el número y orden de paquetes que lleguen a su destino, siempre que se reciba la cantidad “suficiente” de ellos. Qué se considera “suficiente” depende de cada aplicación con la que se esté trabajando. Si la conexión de la red se interrumpe, la transmisión de los paquetes Meta-Content se reinicia desde el momento en que se produjo el fallo. Resumiendo, en términos bélicos se podría decir que estos paquetes son como “pequeños soldados”: no importa cuáles alcanzan su objetivo, sino cuántos.
La innovación de Luby ha sido muy valorada por los miembros de IETF que han trabajado con él en la especificación de Reliable Multicast Transport. "Digital Fountain es realmente el creador de esta clase de aplicaciones multicast. Luby ha creado una técnica matemática que, pese a ser propietaria, funciona perfectamente con el nuevo protocolo”, asegura Mankin. De hecho, tanto Luby como Digital Fountain han estado implicados en los desarrollos alrededor de RMT de IETF desde un primer momento.
El centro de atención del grupo de trabajo Reliable Multicast Transport fue prevenir los problemas de congestión que podría suponer el empleo de comunicaciones multicast en la distribución de grandes archivos. Multicast utiliza User Datagram Protocol (UDP) sobre IP, en vez del más común TCP sobre IP. Y, a diferencia de TCP, UDP no incorpora control de congestión. "Realmente, no se puede hacer multicast con TCP porque la propia técnica de multicast requiere que dos ‘peers’ estén hablando entre sí. Y esto no es práctico. El objetivo era poder disponer de control de la congestión pero sin TCP. Y de ello se ocupó el grupo de trabajo RMT”, explica Mankin.
Documentos base
El pasado 27 de agosto, IETF aprobó los dos primeros documentos del grupo de trabajo Reli
