From nothing to more than nothing Carlo Nardone's Weblog

Grid Engine 6.1 courtesy binaries are now ready for download. The courtesy binaries are available at
http://gridengine.sunsource.net/project/gridengine/61downloads/download.html

New functionality delivered with GE 6.1:

• Resource Quotas allow to limit the maximum number of running jobs per user, user group, projects on arbitrary resources like queues, hosts, memory, software licenses. A firewall-like rule syntax allows an unprecedented flexibility in defining Grid Engine Resource Quotas (RQ). The man pages qquota(1), sge_resource_quota(5) and qconf(1) describe the new functionality.
• the complex string attributes (CSTRING, STRING, RESTRING, HOST) has been enhanced to allow regular boolean expressions for wildcards or patterns. The new syntax is defined in the sge_types(1) man page and examples can be found in complex(5).
• the environment variable LD_LIBRARY_PATH is no longer set for Solaris and Linux by the Grid Engine settings.[c]sh file. Instead the dynamic library path is determined at runtime.
• new switch "-wd" for qsub, qalter, qsh, qrsh and qmon to specify the job working directory.
• MySQL support for the Grid Engine Accounting and Reporting Console (ARCo)
• support for Apple Mac OS X on the x86 platform
• support for Linux on Itanium (IA64)
• native HP-UX 11.x 64-bit binary support
• Solaris 10 DTrace script supports monitoring and helps to do a bottleneck analysis
• with the help of our community members job online usage is now supported for Apple Mac OS X, IBM AIX and HP HP-UX
• various qmon usability improvements
• Tight SGE-SSH integration (not part of courtesy binaries)
• support for FreeBSD at source code level
• built-in support to collect load and memory usage for AIX 5.x with perfstat library (not part of courtesy binaries)
• for developers an early access to a Java API (JGDI) is part of the courtesy binary distribution

The corresponding source code tags in the "gridengine" and "arco" project CVS repositories have the name
V61_TAG

A snapshot of the sources is available at the Documents & files page
http://gridengine.sunsource.net/files/documents/7/136/sge-V61_TAG-src.tar.gz http://gridengine.sunsource.net/files/documents/7/135/arco-V61_TAG-src.tar.gz

A list of fixed problems since GE 6.1beta is available at
http://gridengine.sunsource.net/project/gridengine/61patches.txt

A new study from IDC, URL http://www.idc.com/getdoc.jsp?containerId=204310 :
Worldwide Technical Utility Grid: Initial Market Sizing and 2006–2010 Forecast
Nov 2006

This IDC study provides our initial market sizing market forecast for utility grid spending within the technical computer systems market. Utility computing is a usage model in which users pay for computational resources through an established fee-per-time schedule, as if they were utilities. These fees can cover hardware, software, or storage usage and associated services. Typically, a utility computing user logs into a remote computer hosted by a provider, possibly uploading data pertinent to the calculation. The provider then logs the time and resources used. Utility computing as a service has existed for many years, but with the increased demand for high-performance computing (HPC) resources, it is emerging as a worldwide trend.

"We believe that the best opportunities for 'discontinuous growth' in the technical utility grid market stem from identifying new underserved markets and demonstrating new operation strategies with strong total cost/benefit advantages," said Christopher Willard, research vice president, Technical Computing Systems.

Cedo alla tentazione di farmi un pò di pubblicità ...
Ecco alcune presentazioni Grid/HPC che ho tenuto recentemente ad eventi pubblici:

• Grid2006, 4/7/2006, Milano.
  Grid Computing per il vantaggio competitivo delle imprese: come le tecnologie e le soluzioni Sun creano valore
  (versione leggermente modificata rispetto a quella del 27/6 per la JavaConference)
• JavaConference 2006, 27/6/2006, Milano.
  Grid Computing per il vantaggio competitivo delle imprese: come le tecnologie e le soluzioni Sun creano valore
• HPC User Forum IDC, 30/5/2006, Bologna.
  UltraScale Computing @ Sun
• 5th EGEE Conference - Industry Forum, 25/10/2005, Pisa.
  Grids, ISVs and Finance: Takeways from the Field
• GRID Computing Workshop, 24/6/2005, Università Milano Bicocca.
  Build distributed architectures with Jini, JavaSpaces and JXTA technologies
• JavaConference 2004, 8/6/2004, Milano.
  Dal Grid open source a Java: N1 Grid Engine

Informazioni generali su Grid Engine sono riportate su questo blog alla entry gridengine_intro_e_api .

Per quanto riguarda l'interoperabilità fra Grid Engine e una infrastruttura Grid di tipo globale, cioè fra domini amministrativi separati, da tempo sono disponibili delle integrazioni fra Grid Engine e Globus Toolkit nelle sue varie versioni. Sun ha collaborato per questo con varie istituzioni accademiche, in particolare l'EPCC di Edinburgo (www.epcc.ed.ac.uk/sungrid/), i consorzi universitari White Rose Consortium in GB, Progress in Polonia, MCNC in USA.

I package realizzati dall'EPCC sono descritti in:

• Transfer-queue Over Globus (TOG) - Going Global with Globus and Grid Engine
  http://gridengine.sunsource.net/tog.html
• JOb Scheduling Hierarchically (JOSH) - Going Global with Globus V3 and Grid Engine
  http://gridengine.sunsource.net/josh.html

Due documenti Sun Blueprint descrivono approcci simili a tale integrazione:

• Global Grid Connectivity Using Globus Toolkit With Solaris Operating System (May 2004) -by Chong-Wee Simon See and Gabriel Ghinita
  This article describes how to integrate grid computing with Globus Toolkit software for a site using Sun N1 Grid Engine software (formerly Sun Grid Engine) as a local resource manager. This article provides background information and step-by-step instructions for installing, configuring, integrating, and testing Globus Toolkit software with Sun N1 Grid Engine software on x86 architecture using the Solaris 9 Operating System.
  www.sun.com/blueprints/0504/817-6228.pdf
• Building a Global Compute Grid - Two Examples Using the Sun ONE Grid Engine and the Globus Toolkit (April 2003) -by Charu Chaubal & Radoslaw Rafinski
  Currently, much research activity is based around the implementation of advanced resource sharing networks, which are geographically distributed. Much of this research has taken advantage of the Globus Toolkit, an open source toolkit provided by the Globus organization. In this Sun BluePrints article, the problem of building a compute grid using the Globus Toolkit and how it can best be integrated with Sun ONE Grid Engine are discussed. Two case studies in the academic arena are presented.
  www.sun.com/blueprints/0403/817-2649.pdf

Tuttavia il prodotto al momento più significativo per abilitare l'interoperabilità in senso WSRF è il frutto del progetto che Sun ha sponsorizzato con il London e-Science Center, vedi www.lesc.ic.ac.uk/projects/SGE-GT4.html
Tale integrazione è disponibile con un supporto commerciale (allargato alla versione Sun N1GE6 compreso il tool ARCo) mediante il partner Sun iForce Gridwise Technologies basato in Polonia. Il prodotto si chiama GE-GT Adapter.

Le tecnologie Sun per realizzare delle infrastrutture intra-grid non si fermano al solo Grid Engine. In particolare con le tecnologie Jini, RIO e Javaspaces sono possibili soluzioni con una granularità più fine rispetto ai job tipici di Grid Engine. Dal punto di vista del supporto commerciale, tipicamente in questo contesto Sun ha un'ottima relazione con Gigaspaces (www.gigaspaces.com).

Il prodotto software Sun N1 Grid Engine 6 (N1GE6) è descritto a partire dalla URL
www.sun.com/software/gridware/ .

Il white paper "N1 Grid Engine 6 Features and Capabilities" di Paulo Tiberio Bulhoes, Chansup Byun, Rick Castrapel, and Omar Hassaine (SUPerG, May 2004), disponibile alla URL
www.sun.com/products-n-solutions/edu/whitepapers/pdf/N1GridEngine6.pdf
espone dettagliatamente le caratteristiche tecniche di N1GE6 particolarmente in relazione alle precedenti versioni.

Si tratta sostanzialmente di un prodotto di gestione dei workload su un insieme eterogeneo di sistemi distribuiti in LAN aziendale. Per workload si intende un insieme di processi o task in grado di eseguire elaborazioni in maniera indipendente o debolmente accoppiata. E' un modello sufficientemente generico da poter incorporare in pratica una grande varietà di applicazioni, purchè i singoli task da eseguire richiedano almeno qualche secondo di elaborazione sulle risorse disponibili.

In molte situazioni operative le singole applicazioni sono in pratica già dei task e non hanno bisogno di essere adattate per venir utilizzate con N1GE6. Questo avviene tipicamente nelle applicazioni di calcolo tecnico-scientifico, ma non solo. In altri casi occorre ripensare l'architettura applicativa adottando un disegno "distribuito", tenendo conto del servizio fornito dal software di workload management e sfruttando le API descritte nel seguito.

Sun N1GE6 è un prodotto articolato, flessibile e maturo con più di 12 anni (Sun lo ha acquisito nel 2000), che comunica via standard socket IP e nato in ambito Unix. Infatti supporta, oltre a Solaris, tutte le distribuzioni Linux e i principali Unix commerciali. Con gli ultimi update è anche possibile inserire nelle risorse grid nodi Windows server. Come descritto nel white paper, i demoni che implementano le funzionalità di master e scheduler sono particolarmente efficienti e in grado di servire centinaia di migliaia di richieste di accodamento al secondo su migliaia di execution server.

Il prodotto base (con piene funzionalità di gestione in ambienti Enterprise comprese le policy fra gruppi, dipartimenti e applicazioni) è rilasciato Open Source con supporto di tipo community, il tutto pienamente documentato alla pagina Web
http://gridengine.sunsource.net
Tuttavia il prodotto disponibile in licenza da Sun, oltre al supporto, prevede alcune funzionalità significative in ambienti complessi, in particolare il tool di accounting e reporting (ARCo) con interfaccia su DB standard (Oracle o Postgres). A tale proposito un breve documento che dettaglia le differenze fra Grid Engine 6 (community) e Sun N1 Grid Engine 6 è disponibile alla URL
www.sun.com/software/gridware/N1GEvsGE.pdf

E' chiaro che l'accounting e reporting è un plus nelle situazioni in cui si vuole predisporre un servizio in modalità utility, perchè permette di misurare e tenere traccia dell'utilizzo effettivo delle risorse controllate dal middleware Grid.

I manuali di utilizzo e amministrazione di N1GE6 sono disponibili a partire dalla URL
docs.sun.com/app/docs/coll/1017.3
mentre sul sito community sono utilizzabili molti HowTo oltre alle discussioni del forum. Altre informazioni tecniche utili sono raccolte nel sito indipendente
http://gridengine.info/

N1GE6 può essere configurato in maniera molto sofisticata per rispondere alle diverse esigenze operative. Utili esempi sono raccolti nei Blueprint di Charu Chaubal:

• Scheduler Policies for Job Prioritization in the N1 Grid Engine 6 System (October 2005)
  www.sun.com/blueprints/1005/819-4325.pdf
• Using Host Groups and Cluster Queues in the Sun N1 Grid Engine 6 System (August 2005)
  www.sun.com/blueprints/0805/819-3165.pdf
• Sun Grid Engine, Enterprise Edition-Configuration Use Cases and Guidelines (July 2003)
  www.sun.com/blueprints/0703/817-3179.pdf

Per rendere le applicazioni "grid-aware", Grid Engine supporta delle API standard per interfacciare le applicazioni con gli ambienti DRM (Distributed Resource Management) quali appunto Grid Engine, in maniera indipendente dalla specifica implementazione DRM e quindi dallo specifico prodotto. Tali API, denominate DRMAA (www.drmaa.org), sono uno standard secondo il Global Grid Forum (www.ggf.org) e sono supportate da Sun, Intel, IBM, Altair (PBSpro), Condor e altri. Ad esempio, il dettaglio del binding in Java si trova nell'HowTo del sito community:
http://gridengine.sunsource.net/howto/drmaa_java.html

E' chiaro che, con questo meccanismo a disposizione, è possibile realizzare soluzioni complesse molto sofisticate che permettono di far "parlare" middleware che implementano servizi di business (ad es. Application Server) con un'infrastruttura distribuita, controllata da Grid Engine, in grado di gestire batch di elaborazione più pesante. Sun ha in progetto di realizzare una futura versione di N1GE in grado di far questo out-of-the-box. Ci sono anche casi di integratori che hanno realizzato dei web services per fornire in ASP servizi di elaborazione per applicazioni verticali (es. Decision Support) mediante questo tipo di approccio.