Linux sigue ganando adeptos en las empresas por sus costos y su "personalización"; cada día más vendors agregan ofertas de equipos con Linux preinstalado y surgen nuevas aplicaciones para estas máquinas.
Daimler-Chrysler es otra de las "Global Fortune" que se suman a la tendencia y acaban de adquirir un cluster de 108 maquinas para simular "crash-tests".
Lo importante.
Los clusters dejan de ser utilizados en ámbitos académicos para pasar a un ambiente corporativo real y exigente en serio y Linux como OS deja de lado su sitio como estrella dentro de los servidores y pasa a manejar un cluster enorme.
La configuración de Chrysler no deja de sorprender: 108 Workstations con doble procesador P4 de 2,2Ghz; red de 1Gb/Sec; 2,76 Terabytes de almacenamiento de alta velocidad y RedHat como sistema operativo.
Sólo me pregunto porque si el vendor es IBM no incluyeron AIX como OS aunque seguramente los costos fueron el tema clave. Porque la competencia en sistemas paralelos o clusters no es Windows sino UNIX y sus variantes.
Beowulf
Beowulf deja de ser utlizado para "fuerza bruta" exclusivamente y pasa a tener aplcaciones más... sutiles y de cálculo como las financieras y de simulación.
Hasta ahora este tipo de clusters estaban casi exclusivamente dedicados al ámbito académico; por su costo y rendimiento eran una buena plataforma para enseñar programación paralela.
Si quieren más información acerca de un cluster Beowulf las pueden encontrar acá; pero básicamente es un cluster "cerrado" y "dedicado" sin acceso remoto y con capacidad vía Soft de manejar los parámetros del sistema operativo para lograr un mejor Load-Balancing y performance.
El chiste fácil
Nada como Windows para un Crash-test :)
jajaja… es verdad
Los clusters baratos basados en Linux hace ya unos años que se estan usando en varias industrias.
En la petrolera, por ejemplo, son muy importantes por la necesidad de simulación de reservorios, tambien la industria del cine, para el rendering de los efectos especiales!, te acordas del Titanic? todas las escenas sobre el mar, la brumita y demas? fue producida por un cluster de maquinas Linux.
Tambien como barata, barata antes las opciones de comprar equipos de procesamiento masivo paralelo de fabricantes como IBM, SGI o SUN, esta la opción de usar procesadores Digital Alpha, este procesador tuvo historicamente mas rendimiento de punto flotante y clock que los INTEL.
Mi ultimo proyecto en la industria petrolera fue la selección de un ambiente de simulación de reservorios basado en procesamiento masivo paralelo
Gracias a este proyecto gane conocimientos en estas cuestiones y tuve ocasión de probar de todo, SP2 de IBM, Origin de SGI, MPE de SUN, y clusters de Linux.
Para mi no hay nada como un cluster de linux, sobre todo ahora con las maquinas que esta liberando SGI, basadas en IA64 de Intel y mejoras al Linux basadas en caracteristicas del IRIX.
La onda ahora es el GRID, con la posibilidad de mesclar todos contra todos.
El Globus Toolkit viene ganando aceptación y hasta IBM esta tratando de hacer negocios con el, La bitacora digital 1011: Grid Computing con Globus
Espero poder aportar a la confusión general ;-)
Fabio, entonces vos sos el indicado para responderme una duda a mi ;)
Beowulf no es el intento de procesamiento masivo de datos que antes hacian las “supercomputadoras”? O sea, para mi lo importante de este cluster, que es totalmente diferente al Grid es el “entorno” Beowulf y que sea tomado para una simulacion con requerimientos de procesamiento masivo como el de crash-test.
No se qeu necesidad de procesamiento tiene la simulacion de reservorios; es un crunching total de data? :)
Este tipo de cluster permite aprovechar la capacidad de procesamiento en conjunto.
Para poder lograr esto hay que portar tus aplicaciones al cluster.
El cluster te provee varias facilidades para la administración y para el desarrollo de las aplicaciones.
Estas aplicaciones son algo diferentes por diseño, que las que corren sobre equipos normales.
El diseñador piensa la aplicación para que pueda dividirse en tareas que cooperan entre si corriendo en paralelo.
Este tipo de aplicaciones son gralmente aplicaciones de number crunching, como bien decis.
El grid es mas amplio que este tipo de cluster Beowulf.
Conceptualmente los Grid son de mas amplia aplicación, pero basados en las mismas ideas basicas, digamos para hacerla corta, si queres explotar un Grid tenes que pensar tus aplicaciones para un Grid.
IBM esta trabajando desde hace un par de años, muy fuerte en esta linea, preparandose para dar servicios de computación basados en Grid a nivel global.
Imaginate un ASP, que te da servicio de procesamiento 7X24, follow the sun y toda la pelota!!
En cuanto a la simulación de reservorios, es number crunching.
En resumen tus ideas estan correctas! ;-)
By(t)e!
Gracias :)
Una duda mas… a nivel OS; porque AIX que es más estable y más “pensado” para estas tareas no fue usado por este cluster?
(Onda… ya que sabés instruíme ;)
AIX es unix, on steroids, pero UNIX al fin, como Linux.
AIX es muy estable, incluso mas que otros UNIX que conozco, pero Linux es tambien estable!!!.
Algunos de los componentes de AIX mas apreciadas por los administradores son el LVM y el JFS que le dan mucha robustez a todo lo que el manejo de storage y los sistenas de archivos.
El Logical Volume Manager y los Journaled File Systems, hoy dia estan disponibles en Linux, gracias a IBM.
Por otras parte AIX es un producto con esquemas de licenciamiento atados al perfil de HW que tenes y el software que corre sobre AIX esta atado a esquemas similares.
Onda!, tenes guita para pagar HW RISC y licencias de AIX!!! entonces te doy con un caño con el resto.
Beowulf o o Globus son open source y corren bien sobre varios SO entre ellos Linux, tambien open source, es decir todo suma, pero menos!!!. :-)
Si bien el costo de la inversión inicial, es bajo, si el proyecto es exitoso y hay que desarrollar otras etapas de proyecto, el costo de estas otras etapas, basadas en servicios profesionales para desarrollar y hacer crecer el cluster es alto.
Hay empresas que prefieren invertir en un staff que mantenga las aplicaciones bajo demanda y de esta manera acotar el costo de mantenimiento y desarrollo de las aplicaciones.
El SP2 de IBM, la maquina de procesamiento masivo paralelo que IBM vendia hace unos años atras, estaba basada basicamente en un SW similar a Beowulf, claro esta, on steroids!!.
Si un fabricante de SW para simulación de reservorios queria correr sobre SP2 debia portar su SW al cluster para poder explotar su potencia de proceso. Ese costo lo termina pagando el que compra el SP2 y el SW en cuestión para correr simulaciones.
Es decir, te matan porque total, tenes guita!!.
Hoy la cuestión es vender servicios profesionales y HW, por eso IBM esta alli, ellos tienen mas que experiencia en esto, nooo??? ;-)
Si, pero al ser AIX parte de IBM y el HW tambien.. podrian utilizar un esquema de licenciamiento diferente, no? O sea, estrategicamente para el cliente es un lock-in tremendo; pero para IBM seria genial…
Igual supongo que los Consulting Services de ellos es lo que va traer el revenue growth a futuro.
Y de paso.. que buenos commentarios man… quiero comments de esa calidaddddddd! :)
Mariano, a ver si preparas un post con todo lo que hemos aprendido de Fabio!!
Gracias Gente! es solo que me apasiona poder hablar de mi laburo! y compartir experiencias :-)
Salute!
Ya terminaron???
Igual, no entendi nada. ;-)
Yo me iré con Vuarnet a tomar unas cañas, hablar del tiempo,… porque aqui, entre SP2, HW, SW, revenue growth y demás familia…
Eso sí, como a alguien se le ocurra preguntarme sobre el tema… me llevo aprendido esto para casa x)
Hola! disculpen quiero saber cuales son los componentes de los Sistemas operativos de linux para un cluster?
Hace un tiempo, un profesor me comento que existia la manera de hacer un cluster casero con linux y cuatro 486, alguien sabe donde podria conseguir informacion sobre esto?
existe alguna tecnologia de clusters para linux que me permita hacer balanceo de carga utilizando unicamente dos Pentium 2?? quiero hacerlo con fines de estudio.
Gracias
Mi experiencia incluye configuracion de clusters de alto rendimiento con NIS NFS, openmpi, torque, etc. Pero al llegar a globus toolkit me rpovoca una confusion por lo siguiente:
ya no es necesario hacer un cluster porque globus puede hacer lo mismo que un custer beowulf???
de que manera se integra globus con un cluster, creo que esa es la pregunta exacta!!!.
Esa informacion seria muy valios, “Como integrar globus con un cluster de alto rendimiento.
Saludos.