Virtual Desk

Soluciones

Real Time Big Data

El Big Data está en auge. En promedio, una persona sube 15 veces más datos hoy que hace sólo tres años, y de acuerdo con IDC la cantidad de información digital en el mundo se duplica cada dos años.

Se ha pasado de la sincronización de datos por lotes ha actualizaciones más frecuentes, y transmisión en tiempo real de los datos.

El mundo está interconectado a través de la web y aplicaciones móviles, redes de sensores distribuidos y clusters de computación en Cloud que requieren un nuevo tipo de infraestructuras que capturen y analicen los datos manejando el creciente volumen y velocidad de éstos.

La mejor manera de obtener valor del Big Data en tiempo real es a través de un middleware que se encargue de unificar la información, de gestionar la cola de mensajes, de su entrega para la publicación en aplicaciones y sensores, que sean capaces de enviar datos sin preocuparse de donde se necesitan o cómo deben llegar.

Esto implica la creación y gestión de temas y colas, reglas de enrutamiento dinámico, y el manejo inteligente de las condiciones de fallos (por ejemplo, las aplicaciones o los enlaces de la red que estén caídas o lentas).

Virtual Desk es experto en la implementación de soluciones Real Time Big Data y dispone del middleware necesario para su implementación, de forma que puede ofrecer a su organización la implementación de soluciones de este tipo en un corto espacio de tiempo, garantizando el éxito del proyecto con unos costes muy ajustados.

Virtual Desk ofrece soluciones de datos en movimiento que destacan por la distribución eficiente de grandes volúmenes de datos en tiempo real. Por el manejo de todos los aspectos relacionados con la expedición y la distribución mediante una implementación Middleware pura, Virtual Desk puede soportar altos volúmenes de mensajes con un rendimiento mucho mayor que otras tecnologías de movimiento de datos.

Estas son algunas de las implementaciones que pueden llevarse a cabo utilizando nuestro middleware:

Nuestro Middleware está basado en Spark, una tecnología que comenzó a crearse en 2012. Spark ejecuta Map Reduce y el procesamiento distribuido en memoria, haciendo un uso muy eficiente del hardware.

Nuestra plataforma resuelve y puede hacer cosas que Hadoop no puede. Hemos utilizado Hadoop en múltiples proyectos, ha sido una tecnología disruptiva que nos permitió iniciarnos en el mundo del Big Data, pero al final vimos sus limitaciones. Nuestros clientes necesitan procesos interactivos en tiempo real, no en dos horas o en treinta minutos. Hadoop hace todo en disco, por tanto no hace un uso efectivo de toda la memoria. De hecho Cloudera decidió utilizar Impala para la parte interactiva.

Nuestra plataforma se basa fundamentalmente en Spark y en Cassandra para persistencia, utilizando tecnologías como Hortonworks, Hive, Mahout, Storm, Spring XD, Spring-Hadoop, Spring-Spark entre otras.