Eric Bezille's Weblog Architecture and Innovation

Translate in English

Hier soir c'était la rentrée pour le GUSES, l'occasion de parler Solaris et OpenSolaris avec des cas d'usages métiers très concrets...
Une soirée où nos amis banquiers étaient assez bien représentés et nous ont fait part de quelques retour d'expériences intéressantes.

1) ZFS et performances

ZFS est très prisé pour sa simplicité et l'ensemble des fonctionnalités qu'il apporte : snapshot, checksum, ....
Reste le point important des performances. A ce titre, je tiens à rappeler l'existence du site ZFS Evil Tuning Guide et notamment quelques paramètres important à positionner :

• Encadrer l'utilisation de la mémoire système entre ZFS et vos applications (comme iozone, pour les personnes cherchant à effectuer des comparaisons, par example). Dans le cas d'une évaluation récente face à Ext3, sur un système avec 16Go de RAM, le bon paramètrage a été un positionnement du ARC limité à 10 Go (laissant 6 Go pour l'application -IOzone- ).
  Pour limiter le taille mémoire utilisée par ZFS, positionner dans /etc/system : set zfs:zfs_arc_max = 0x280000000 (pour limiter à 10Go)
  En outre, il faut dimensionner la swap de façon adéquate également pour que la réclamation de pages mémoires entre ZFS et les applications se face de façon optimum.

• Dévalider le flush des caches des disques dans le cas où le système de fichier ZFS se trouve sur une baie de disque avec un cache RAM sécurisé. Si ce paramètre n'est pas positionné, toutes les 5 secondes environs ZFS va forcer la baie à flusher l'ensemble de son cache sur les disques !! Pour plus d'explication et quelques résultats : http://milek.blogspot.com/2008/02/2530-array-and-zfs.html
  Pour dévalider le flush de façon permanente, ajouter dans /etc/system : set zfs:zfs_nocacheflush = 1

• Utiliser le bon record size au niveau de chacun des systèmes de fichier ZFS
  # zfs set recordsize=8k mypool/myDatafs;zfs set recordsize=128k mypool/myRedologfs
  http://blogs.sun.com/roch/entry/tuning_zfs_recordsize

• Attention au prefetch de ZFS qui peut avoir un effet de bord additionnel avec le prefetch des baies disques, et conduire à la "pollution" du cache (de la baie). Donc si les I/O ne sont pas séquentielles, il peut être pertinent de dévalider le prefetch de ZFS.
  Pour dévalider le prefetch de ZFS, ajouter dans /etc/system : set zfs:zfs_prefetch_disable = 1

2) Solaris Temps réel vs. Linux Temps réel
Un point important recherché avec un système temps réel est son aspect déterministe. C'est ce qu'ont pu observer des utilisateurs de Solaris face à Linux (avec un noyau temps réel) dans ce contexte. Linux a faible charge ayant un traitement plus rapide des requêtes que Solaris, mais étant fortement instable à forte charge (traitement plus long des requêtes que Solaris). Là où Solaris gardait un comportement constant, et donc déterministe...  Pour cela, l'utilisation des techniques de processeurs set (psrset(1M)) et de binding des interrupts (psrset(1M) options -f et -n)  sont des éléments de Solaris intéressant à utiliser.

3) Les optimisations de Solaris avec Intel Nehalem (Xeon 5500 Series)
J'ai déjà écrit sur ce sujet, mais depuis, un document assez fouillé sur ces optimisations est disponible à l'adresse suivante :The Solaris Operating System---Optimized for the Intel Xeon Processor 5500 Series

Il comprend notamment un chapitre pour les développeurs autour des outils d'optimisation et des options de compilation permettant de tirer parti des avancées offertes par le Xeon 5500.

4) Les fonctions avancées d'OpenSolaris et Solaris pour construire des architectures Cloud
Mikael Lofstrand, Sun Chief Technologist-Networking vient de publier un document décrivant les architectures associées, étayé au travers de la mise en oeuvre d'une plate-forme Cloud s'appuyant sur ces principes, dont notamment la couche de virtualisation réseau Crossbow et les containers Solaris : The VeriScale Architecture: Towards a Scalable and Elastic Datacenter

Pour conclure, sachez que les membres du GUSES nous préparent une conférence pour fin octobre, début novembre sur un retour d'expérience client avec la consolidation Solaris sur environnement Oracle utilisant les containers et ZFS.

Translate in English

Translate in English

C'est avec un petit décalage de 15 jours que je reviens sur la table ronde disques SSD et stockage x86, organisée par Jean-Pierre Dumoulin, lors du dernier ITIForum du CRIP. Je reprends également ce billet en français, ce qui est préférable, à la vue du résultat de la dernière traduction électronique de l'anglais vers le français ! Je vous en laisse juge en cliquant ici.

Lors de cette table ronde, les membres du CRIP, nous avaient posé 2 questions, à mes confrères fournisseurs de stockage, ainsi qu'à quelques utilisateurs : François Dessables de PSA, Christian Jaubert de Bouygues Télécom et Jacques-Alain Barret de Manpower.
2 questions sur lesquelles je vais tenter de vous faire un bref résumé.

1) Utilisation des disques SSD ( Flash ) , quels enjeux pour l'industrie, pourquoi l'adoption est-elle plus lente en France ?

Globalement un consensus s'est dégagé sur cette question. Les SSD sont une tendance de fond qui se retrouve petit à petit dans l'ensemble des offres. Sachant qu'il faut bien distinguer les disques SSD d'entreprise de ceux utilisés pour le grand public.

Toutefois, 2 stratégies de mises en oeuvre apparaissent. Une stratégie classique, qui consiste à intégrer les disques SSD au sein des baies existantes, l'autre, celle de Sun notamment, qui s'appuie sur les disques SSD pour accélérer les I/O de manière transparentes aux applications et aux administrateurs.

Dans le cas des disques SSD au sein des baies de stockages, il est nécessaire de définir quelles seront les données qui en bénéficieront, tout un travail en perspective. Car vous n'allez pas remplir une baie avec un ensemble complet de disques SSD (pour ne pas avoir à vous poser cette question) pour 2 raisons : le coût, la capacité des contrôleurs des baies actuelles, qui de toute façon ne pourraient pas tenir les IOPS potentielles. Naturellement, Sun disposant de baies de stockage de ce type, nous sommes capable de répondre à ce besoin pour certains cas d'usages adaptés. Ce besoin de réfléchir au placement des données et à sa pertinence, c'est peut-être une des raisons qui explique l'adoption lente en France -outre le fait que tous les acteurs du stockage n'en disposent pas...

L'autre axe de développement sur lequel Sun investit et délivre des solutions déjà disponibles aujourd'hui, c'est l'OpenStorage, commercialement connus sous les gammes x45xx et 7000. J'ai déjà produit un billet sur cette « révolution ». En 2 mots, nous rapprochons les disques SSD au plus prêt des processeurs, au sein des serveurs, et nous nous en servons également comme (très très gros) cache secondaire dans nos « baies » OpenStorage. Ainsi, toutes les applications en bénéficient de facto. Je vous invite à consulter ce blog pour quelques chiffres de performance en stockage de type NAS.

Maintenant, pour en faciliter l'adoption, l'enjeux pour les industriels, dans les 2 stratégies, est de fournir les guides de mises en oeuvre en fonction des usages. Ce que nous faisons bien évidement... Si vous souhaiter déployer, par exemple, vos bases Oracle sur Sun Storage 7000, je vous engage notamment à lire ce Blueprint. Et si vous avez un doute, n'hésitez pas à nous consulter, nous pourrons vous guider !

Pour plus d'information sur les disques SSD (technologies) et la démarche d'intégration, je vous renvoie à cet article d'Adam Leventhal : "Can flash memory become the foundation for a new tier in the storage hierarchy?", ainsi qu'à son blog.

Maintenant passons à la deuxième question de cette table ronde...

2) L'émergence des offres de stockage sur base X86 ( à l'image de ce qu'utilisent les grands acteurs du web, Google, Amazon, ... ) , quelle utilisation pour l'industrie, est-ce une opportunité de réduire les coûts dans le contexte de crise actuel ?

Pour répondre à cette dernière, je vais être beaucoup plus synthétique en vous invitant à (re)lire : "Openstorage: La révolution dans la gestion des données", déjà cité précédemment.

Je compléterais juste par le fait qu'au-delà du HPC (voir: Solving the HPC I/O bottleneck - Sun Lustre Storage System) et des stockages en grilles, les utilisations pour l'industrie que je vois dès aujourd'hui sur certains projets auxquels je participe se situent principalement dans le stockage d'environnement virtualisés type VMWare ainsi que les environnements de bases de données en développement et intégration. En effet, les solutions de stockage x86 offrent une réelle opportunité de réduire les coûts. D'autres cas d'usages existent et quelques uns sont résumés dans l'image ci-contre.

Comme pour les disques SSD, le stockage x86 est une tendance de fond (voir: Data Trends... Driving Storage (radical) Evolution), avec la performance des processeurs actuels et les solutions logiciels complètes disponibles comme la stack OpenStorage d'OpenSolaris. Nous sommes au début de la standardisation de l'offre de stockage avec :

• abandon des solutions propriétaires,
• adoption de solution standards à base de x86 et des logiciels open source associés,
• s'appuyant sur des technologies innovantes (SSD, ZFS,...)

Donc, fort potentiel de gain en performances et en coûts. C'est sur ce constat qu'il y a bientôt un an, Sun a fédéré ses ingénieries serveurs et stockages. Nos serveurs x86 (incluant les disques SSD) devenant le composant de base pour construire nos solutions de stockage x45xx et Sun Storage 7000, en y ajoutant l'intelligence avec OpenSolaris et toutes ses fonctions OpenStorage (snapshot, réplications, « de-duplication » à la mode ZFS...).

Translate in English

Translate in French

First, I apologize for the french natives, as this time, they will have to use the electronic translation to get it in french... But as all the Cloud Camp Paris was delivered in English and brought people from all over Europe and even from the US with the venue of Dave Nielsen, I though I should do this directly in English.

So, during this event, I had the opportunity to present, in 5 minutes - which was a challenge ! - what Sun is doing "Behind the Clouds". Due to the timing, I concentrate on few examples, in the different Cloud Computing categories : SaaS, PaaS and IaaS... on what Sun is/will provide from Storage/Compute resources, Developers Platforms Services to Software as a Service....

Let's start with the Infrastructure as a Service layer...  We do provide all the optimized building blocs to provide Storage and Compute services : through optimized HW, optimized OS and FS with OpenSolaris and ZFS up to the management of  heterogeneous (Linux, Windows, Solaris, OpenSolaris...) Virtual Machines through VirtualBox.  Also through its very scalable design pattern, MySQL is a major component of Could Computing providers. You will find a lot's of MySQL nodes inside Google or even Yahoo!... There was an interesting discussion during the Clouds Architecture Workshop about the models and François did an interesting summary on his blog. I just would like to take the opportunity to balance the statement that he reported about MySQL... Actually in any type of architecture, you need to understand how the underlying building blocs scales do get it right, and unfortunately everything is not on http://www.highscalability.com . So if you want to scale with MySQL, you can, if you don't know how to do it, ask us...

So not only are we providing the building blocs for Cloud Computing providers, like A-Server, but we are also optimizing them with advance solutions like Hadoop, hosted on Cloud Providers Clouds. And in this regards, all knows the NYT example of using Clouds, but a less know fact is that they used the OpenSolaris Hadoop images on Amazon Web Services to do it.

Last but not least, those are the components on which we are building our own Public Cloud that will be early acces this Summer and already available to Sun Employees... And as it's in Sun DNA, we are Open, to avoid Cloud Vendor lock-in, and are already providing an Open API AND Open Sourced it  to manage Clouds. I invite you to have a look into Project Kanaï web site.
So, I think that Sun was  heavily  involved in the Infrastructure as a Service was of no surprise for you.
But what about Sun in the other layers of Cloud Computing...

So what are we doing and providing TODAY as Platform as a Service... I took 2 examples.
The first one is project DarkStar, which is an Online Gaming Massive Multiplayer Platform... on which Online Gamings are already develops and on which you as a developer can develop your own game, leveraging lot's of scalability directly out of this platform like sharding principle.

The second example is Zembly (which is an acronym that's stand for assembly), This Platform offers an Online IDE for developers to share components and built-out application that are accesible through Social Network Plaforms like Google, Facebook, Instant Messaging applications like MSN,... up to iPhones.  And this is Open !  If you do have an API to acces to your own network, you can upload your API inside Zembly, and suddenly you have acces to Developers and Social Network at the same time, connecting your own network into it... Just imagine if  a Telco Operator API was available inside Social Network Application - indeed, you may want to check Ericson Labs modules on Zembly. Suddenly you could send SMS to your friends, geo locate them from your desktop... Bringing the mobility into the social network.... This is a Cloud Social Application Platform...
Zembly is also a way for you  to acces Sun Open Cloud today, as it is running on it. 

Last friday, I was at The Aquarium session in Paris, where Emmanuel De La Gardette provided a deep dive into Zembly. Here are the links to  my presentation and the one from Emmanuel on Zembly . There is also a book on Zembly ( Assemble the Social Web with zembly) and you can also find some examples on YouTube ( Creating a Facebook Application Using zembly (Part 1) ,Bring Your Own API).

Last but not least, some example of Sun SaaS services in developments or already available...
Deploy to the Cloud function inside VirtualBox.
Save to / Open from the Cloud inside OpenOffice... already available for Sun Employees..
Identity Management for and from the Cloud with Sun IDM....
And of course, in the Sun Philosophy : No Vendor Lock-in ! That's why we open our API and Open Sourced it, but also why we are actively involved through the OpenGridForum in the Open Cloud Computing Interface definition... Which was covered by Sam Johnston and Solomon Hykes during one of the breakout session.

So this was a quick overview  of some real things that we are doing today « Behind the Clouds »...

I also want to take the opportunity to thanks all the participants and organizers of this first cloud camp in France, as well as the experts from Sun that participates to this event. We share and learn a lot... also in the organization process... We will improve for the next one, that we plan to held around september/october timeframe. If you want to participate and provide your ideas and passion please register into the cloudcampparis google group.

Eventually, I wanted to thanks François for having pushing me to release this blog...

Update : Constantin Gonzalez did also blog on Cloud Camp Paris with a lot's of details, notes - especially the Clouds Architectures session - and even audio recording of the lightning talks ! I invite you to visit his blog, it's a very interesting reading and listening.

Translate in French

Translate in English


Le Cloud Computing voit l'émergence d'une nouvelle façon de faire et de consommer l'IT.
Avec les nombreux changements intervenus dernièrement dans l'industrie, saisissez l'opportunité de partager votre expérience grâce aux nombreuses discussions organisées lors de ce premier évènement en France. Utilisateurs finals, professionnels de l'IT et vendeurs sont tous encouragés à y participer.

Cet évènement est fait pour et par les acteurs du Cloud Computing et se veut interactif.
Il est constitué de sessions informelles et de partages sur les thèmes comme :

• Qu'est ce que le Cloud Computing, pourquoi et pourquoi pas ?
  
• Open Cloud - au sujet de l'interopérabilité
• Clouds Architecture - au sujet des "Design Pattern" pour faire et utiliser les Clouds
  
• Clouds Security - nouveautés ? différences ?

La conférence sera introduite par Sam Johnston, qui participe activement à des projets d'utilisation du Cloud dans les entreprises, mais aussi au travers de groupes de travail, dont l'Open Grid Forum et l'initiative Open Cloud Computing Interface.

Si vous souhaitez vous même contribuer à cet évènement, pour présenter vos solutions pour le Cloud Computing ou contribuer à une des sessions, n'hésitez pas à me contacter.

Pour plus de détail sur l'agenda, et venir nous rejoindre le 11 juin à Telecom Paris, à partir de 18h30 :

Translate in English

Translate in English

Première réunion hier avec quelques acteurs du Cloud Computing, pour lancer l'organisation d'un Cloud Camp à Paris fin mai.
L'occasion de faire un état des lieux du Cloud Computing en France. En effet, terme très à la mode, il reste à aider les entreprises à identifier les cas d'usages et le modèle économique associé.

Le Cloud Computing : pourquoi ?
Premièrement, le Cloud Computing représente une évolution du modèle d'acquisition : l'informatique comme un service. Pour une part cela n'est pas nouveau et nous avons déjà une forte expérience sur ce point au travers des modèles ASP (ou SaaS), comme Salesforce.com, où d'autres solutions bien connues comme PayPal. Là où l'on voit une évolution aujourd'hui, c'est dans l'extension du modèle d'acquisition de service qui ne s'arrête plus seulement à l'application mais qui couvre aujourd'hui la possibilité soit de développer directement sur une plate-forme externe (PaaS), soit d'acquérir de la puissance informatique en tant que service en fonction de ses besoins et cela de manière immédiate (IaaS). L'un des maître mot du Cloud Computing étant la flexibilité par le payement à l'usage : "je ne paie que ce dont j'ai besoin, quand j'en ai besoin".

Alors pourquoi seulement maintenant ? Une conjonction de plusieurs facteurs :

• technologiques  : la bande passante réseau, la maturité du modèle et des logiciels open source couvrant tous les besoins d'un système d'information, les nouvelles technologies permettant de valoriser la capacité de traitement des serveurs et du stockage associé, tous ces facteurs contribuent à permettre la mise en place d'infrastructures matérielles et logicielles avec la connexion adéquate au meilleur coût.Comme le disait hier Sam Johnston : les technologies pour le "Cloud Operating Environnement"
• sociaux : la société a évolué, internet est devenu un vecteur d'échange compris par tous, et tout le monde à l'habitude d'utiliser des services sur la toile.
  

Le Cloud Computing : pour qui ?
La réponse est simple : pour tous... Toutefois, les facteurs d'adoption et d'usage seront différents si l'on se trouve dans une entreprise du CAC40 ou dans une startup.
Les startups sont les premières à utiliser massivement le Cloud Computing, car pour les développeurs c'est un moyen à coût d'acquisition matériel nul, voir à coût d'administration nul -en fonction du modèle choisie (PaaS ou IaaS)-. Les startups partant d'une infrastructure vierge, peuvent adopter d'autant plus facilement le modèle. D'ailleurs, chez Sun, nous avons déjà mis à disposition des startups et ISV des environnements de type IaaS sur la toile, afin de leur permettre d'évaluer leurs solutions sur nos environnements. L'étape suivante arrivera cet été avec l'ouverture en Bêta du Sun's Open Cloud.
Pour les entreprises plus mature disposant d'un historique informatique, avec des applications plus complexe, l'adoption du modèle Cloud Computing se fait plus par fonction, et souvent en commençant en mode SaaS : l'extension de l'utilisation d'un Saleforce.com sur d'autres applications comme la messagerie par exemple. Mais très rapidement, ce modèle se doit d'évoluer pour apporter la flexibilité attendue par les développeurs et donc le business, tout en répondant à certaines contraintes souvent évoquées, comme la sécurité des données... Et cela se fera de 2 façons :

• la capacité pour les développeurs de valoriser le Cloud Computing "Public" (c'est à dire au travers d'un fournisseur externe), tout en pouvant déployer ensuite en interne (usage "Hybride")
  
• la capacité de l'informatique interne à adopter un modèle Cloud Computing : "Privé", pour les cas d'usages les mieux adaptés, pour être plus agile tout en optimisant au mieux l'utilisation de l'infrastructure.
  

Qu'est-ce qui différencie ce modèle d'un modèle d'hébergement ou d'infogérance ?

2 points clés :

• le mode d'acquisition, qui notamment pour l'IaaS consiste à l'auto-provisioning et la facturation à la demande.
  
• l'adaptabilité en quasi-temps réel : la capacité d'ajouter ou de retirer de la ressource en fonction du besoin et de façon quasi-instantanée
  

La flexibilité, oui mais.... Attention, pour en tirer partie, il faut savoir s'adapter au Cloud Computing, comme Smugmug, et souvent concevoir "at design time" en pensant Cloud, pour que cela fonctionne de façon flexible (c'est à dire par un modèle de croissance horizontale, où "scale out") "at run time" (merci à Emmanuel De La Gardette pour la formulation). Le maître mot ici étant : la maîtrise de l'asynchronisme et... des capacités des fournisseurs de Cloud.

L'importance de l'interopérabilité  et des standards
Dans la même philosophie où pour des raisons de gouvernances vous disposez de plusieurs fournisseurs, et vous vous appuyez sur des standards pour pouvoir passer de l'un à l'autre facilement, il en va de même pour le Cloud Computing, surtout si vous appuiez une fonction critique de votre entreprise sur ce modèle. C'est le même principe de réversibilité dans l'infogérance, à ceci prêt que dans le cas du Cloud Computing "Public", vous ne récupérez pas le matériel, voir même pas l'application. C'est là où il faut faire très attention au format de stockage des données et au mode de réversibilité associé... C'est une des raisons pour laquelle le Sun Cloud arrive avec une API de management ouverte, comme l'explique Tim Bray, afin de simplifier l'interopérabilité.
Quant à vos données et à la gouvernance en générale dans le Cloud de Sun, Michelle Dennedy est notre Chief Gouvernance Officer à ce titre.

Vous voulez en savoir plus, vous êtes un acteur et désirez partager sur ce sujet passionnant, c'est l'occasion de venir nous rejoindre lors du prochain Cloud Camp, dont je ne manquerais pas de vous tenir informé dans un prochain post.

Sinon je vous invite à consulter également le white paper de Jim Baty et Jim Remmell pour situer le Cloud Computing dans la réalité : non seulement en terme de cas d'usages, mais aussi en terme de technologies sous-jacentes.

Mise à jour - 9 mai 2009 : http://www.cloudcamp.com/paris  pour vous enregistrer au Cloud Camp qui aura lieu finalement le 11 juin.

Translate in English

Translate in English

Comme promis, suite à la venue sur Paris de Roch Bourbonnais, Senior Performance Analyst, voici le détail de la soirée organisée avec les membres des communautés OpenSolaris (GUSES) et MySQL (LeMUG). Roch traitera des meilleures pratiques d'optimisation dans différents contextes : systèmes de fichiers, SGBD, et MySQL. Nous aurons également le plaisir d'accueillir Frédéric Vannière, Directeur Technique de Planet-work qui lancera la table ronde de questions/réponses en nous faisant bénéficier de son retour d'expérience sur le sujet.

Date : Mercredi 18 Mars

Lieu : SUPINFO, 52 rue de Bassano, 75008 Paris

Inscription : formulaire en ligne

Agenda :

18h30	Accueil
19h00	Introduction - Dernières tendances du stockage (by myself)
19h10	Gestion des performances et cas d'usages : les meilleures pratiques avec ZFS et Open Storage autours des systèmes de fichiers, des bases de données et de MySQL en particulier Roch Bourbonnais, Senior Performance Analyst, Sun Microsystems
20h20	Table-ronde Frédéric Vannière, Directeur Technique de Planet-Work, ZFS et OpenStorage - retour d'expérience -  Q&A
21h00	Networking

 Je tiens à remercier Supinfo qui nous prête ces locaux à cette occasion, mais aussi l'Ecole Polytechnique qui s'était aussi proposée pour nous accueillir.

Translate in English

Translate in English

Lorsque nous mettons en place un partenariat, comme dans le cas d'Intel, ce n'est pas pour être un simple revendeur, mais bien pour innover ensemble, et apporter le meilleur des 2 sociétés à  nos clients.
A ce titre, je vous ai déjà parlé de l'ingénierie optimisée de nos systèmes x86/x64, mais notre collaboration va bien au-delà... Solaris (et OpenSolaris) est une des raisons majeures de l'accord de partenariat qui nous lie avec Intel. De part sa stabilité et sa capacité à exploiter des systèmes multiprocesseurs et multi-coeurs, Solaris dispose de fonctions avancées... Fonctions qu'Intel intègre à sa nouvelle architecture multi-coeur, Nehalem  pour :

exploiter un grand nombre de Threads, grâce au "Dispatcher" optimisé de Solaris tirer partie des architectures NUMA, avec la fonction "Memory Placement Optimization" (MPO) gérer la consommation d'énergie, au travers du projet TESLA optimiser les performances des machines virtuelles en collaborant dans le projet de Virtualization xVM Server intégrer les nouveaux jeux d'instructions dans les outils Solaris (Studio, ...) pour tirer partie des nouvelles fonctions matérielles du processeur (XML instruction, loop CPC, counters...)

(note: ce n'est pas moi sur la vidéo, mais David Stewart, Software Engineering Manager d'Intel) 

Toutes ces intégrations sont disponibles dans les distributions OpenSolaris2008.11 et  Solaris 10 Update 6.

A cela s'ajoute également l'optimisation des couches logicielles pour les architectures mutli-coeurs.
Sun fournit des logiciels opensource recompilés pour ces architectures, au travers des distributions CoolStack.
Ces logiciels sont disponibles sur architectures x86/x64, mais également SPARC. Car il ne faut pas l'oublier, Sun a toujours une avance importante sur les technologies mutli-coeurs. Nous avons lancé dès 2005 un processeur SPARC CMT (CMT pour Chip Multi-Threading) 8 coeurs, avec 4 threads par coeur, soit 32 threads matériels d'exécution. Ceci a posé un certain nombre d'enjeux au niveau du système d'exploitation. Enjeux qui permettent aujourd'hui à Solaris d'exceller sur ce type d'architectures. Nous sommes aujourd'hui à la 3ième génération de ce processeur (eh oui, une par an, pas mal pour le monde des processeurs), qui supporte 8 coeurs, 8 threads par coeur et des systèmes jusqu'à 4 processeurs (256 threads d'exécutions matériels !).

Maintenant, la question que nous avons souvent : quand utiliser x86/x64 et quand utiliser le processeur SPARC CMT massivement multi-coeurs/multi-threads ?

De façon synthétique, l'architecture x86/x64 est aujourd'hui plus généraliste, et est à privilégier dans les cas où l'application n'est pas mullti-thread, et où la performance d'un thread ainsi que le temps de réponse associé est le facteur important, en bref, clé pour le HPC.

A contrario, le SPARC CMT est vraiment spécialisé pour :

• les applications fortement multi-threads (Java en fait partie bien sûr, ce qui rend éligible un nombre important d'applications)
  
• la prédictibilité du comportement (même sur très fortes charges transactionnelles) : pas de surprise !
  
• la consommation électrique optimisée (fréquence moins élevée = moins de dissipation calorifique)
• le MTBF élevé, de part une intégration importante de fonctions au niveau du processeur (gestionnaire mémoire, I/O, réseau et de cryptographie !)
  

Un point à ne pas négliger non plus : la configuration et le paramétrage des logiciels dans un environnement multi-coeur change !
Il faut penser différemment et parfois même revoir son paramétrage applicatif à l'inverse des habitudes. Tuning JVM pour mutli-cores : GC ! , pool thread java...!

Donc si vous souhaitez tirer partie au mieux des nouvelles architectures multi-coeurs :

1. sélectionnez le matériel par rapport à vos besoins : x86/x64 ou SPARC CMT
   
2. utilisez le bon OS : Solaris ou OpenSolaris
3. utilisez la bonne stack logiciel
4. utilisez les bons paramètres
5. et obtenez le meilleur meilleur ratio prix/performance/watt/m²

Note : je n'ai pas évoqué ici les systèmes "high-end", SPARC64, car dans une autre classe de serveurs que ceux de type x86/x64 et SPARC CMT. Toutefois, ces systèmes ont un rôle à jouer dans des environnements nécessitant des besoins de croissance applicative verticale (SMP, pour Symetric Multi-Processing), beaucoup d'entrées/sorties et avec un niveau de criticité élevé (car ils disposent notamment de fonctions d'intervention à chaud).

Translate in English

Avant de plonger dans la naissance de la révolution OpenStorage, j'aimerais commencer par souligner 2 éléments importants de la gestion des données aujourd'hui :

• l'explosion des données à gérer, stocker, analyser. Nous en sommes déjà aux PB dans les entreprises (j'ai personnellement 2TB sur mon bureau...)... bientôt les Exabytes...
  
• un marché propriétaire et captif pour les stocker. Si je me permets une analogie, un marché qui ressemble fortement au marché des imprimantes : grosse compétition sur le stockage au prix au giga (l'imprimante au moins cher) et ensuite, un prix très élevé sur les fonctions propriétaires additionnelles indispensables pour gérer de telles volumétries -logiciels de réplications, de snapshots, de compression... - (cartouches propriétaires et non standard pour les imprimantes)
  

Et Sun dans tout ça ? Nous sommes effectivement très présents sur le marché du stockage, et comme nous aimons beaucoup l'innovation, nous avons pris un virage radical dans l'économie du stockage et de la gestion des données : l'Open Storage. La première solution qui nous a servi de validation du concept s'appelle le X4500 : un serveur hybride, moitié stockage, moitié serveur, permettant de stocker 48TB dans 4U, mais surtout une solution performante, ouverte et intégrée, qui représente déjà 11PB chez un de nos clients français dans le monde de la recherche. Une solution qui fournit toutes les fonctions nécessaires dès le départ : le prix au giga incluant la réplication, le snapshot, la compression... et plus besoin de fsck() car le système de fichier (ZFS) garantit l'intégrité : une des raisons majeures pour laquelle notre client avec 11PB a retenu cette solution (imaginez que vous soyez obligé de vérifier l'intégrité d'un système de fichier de 48TB : ça prend du temps !).

Comme cette solution est basée à 100% sur nos technologies matérielles et logicielles, cela nous permet d'avoir une approche au meilleur coût, surtout que nous valorisons l'open source pour l'enrichir. Voilà pour le deuxième point évoqué plus haut : fini le marché propriétaire et captif, vive l'Open Storage !

Maintenant, il est également important de répondre au premier point : l'explosion des données à traiter. Ce point est critique et suppose une toute nouvelle approche par rapport aux systèmes de stockages classiques SAN ou NAS actuels. En effet, comment traiter toujours plus de données ? Un premier élément de réponse nous est donné par Google, qui, ne trouvant pas de solution sur le marché pour classer toutes les données d'internet a développé sa propre solution. Le principe est simple : comme il est impossible de ramener des PB, voir Exabytes de données vers des serveurs de traitements, ils ont intégré l'application au plus près des données, données qui sont réparties sur les briques à la fois serveur et stockage : le GoogleFS et l'algorithme Map/Reduce... qui sont maintenant disponibles en open source, au travers des projets hadoop (Map/Reduce) et HDFS (GoogleFS)... Je viens d'ailleurs de récupérer l'image ISO OpenSolaris (livehadoop) incluant l'ensemble pour jouer un peu avec (grâce à VirtualBox). Evidement, la brique Sun X4540 (extension du X4500) correspond parfaitement à ce type de déploiement. C'est d'ailleurs ce qu'a fait Greenplum pour sa solution de Business Intelligence.

... mais quand même, pour les suspicieux, les résultats sont là avec en plus pas mal de règles de mise en oeuvre en fonction des types de profils d'I/O qui sont donnés par Brendan Gregg.

Comme je le disais récemment, l'avantage de la démarche d'adoption des technologies ouvertes de Sun, c'est que non seulement vous pouvez télécharger le logiciel mais aussi le matériel ! pour l'essayer chez vous gratuitement ! Et en plus très simple à installer, à en croire ceux qui l'ont déjà testé :

• http://opensrs.com/blog/2008/12/testing-suns-open-storage-platform/
• http://www.pcpro.co.uk/reviews/245627/sun-storage-7110-unified-storage-system.html
• http://www.backupanytime.com/blog/2008/11/18/my-review-of-sun-storage-7210-unified-storage-system/

Si vous voulez en savoir plus, l'un des développeurs de cette technologie, expert en performance, sera à Paris le 18 Mars, Roch Bourbonnais. Je vous tiendrai informé prochainement de la logistique pour ceux que cela intéresse. Mais vous pouvez dès maintenant réserver votre soirée...

Translate in English

Simon Phipps, Chief Open Source Officer de Sun, a récemment participé au Club Innov-IT -initiative soutenue par Jean-Louis Missika- à la mairie de Paris. Suite à sa venue,  j'ai voulu faire un état des lieux des innovations technologiques de Sun, qui couvrent non seulement les logiciels Open Source mais pas seulement.

Sun Microsystems a toujours investi fortement en recherche et développement (1,8 Milliard de $ aujourd'hui), car notre stratégie, résumée par "The Network is the Computer", repose sur la valorisation des technologies pour simplifier le système d'information et les solutions qui s'y rapportent. Pour cela nous disposons d'une offre nous permettant de couvrir l'ensemble de la chaîne :

• du centre informatique, au travers d'innovations "Green IT" tel que le Data Center mobile et extensible, Sun Modular Data Center 20 (40% plus efficace qu'un Data Center classique), déclinable en "POD" au sein de Data Center existants, ayant permis à Sun d'atteindre un PUE ( Power Usage Effectiveness) de 1,28 ! L'optimisation d'un Data Center passant bien entendu par une mesure effective, nous avons également développé une solution permettant de fournir en temps réel la consommation électrique, la charge et la climatisation nécessaire par système. Intelligent Power Monitoring fournit de ce fait une cartographie complète d'un centre informatique sur le plan énergétique (http://www.sun.com/service/power/) -offre déjà précurseur du "Cloud Computing", car délivrée en tant que SaaS-. Au-delà de ces technologies, nous avons développé un savoir faire en services d'accompagnement pour vous aider à optimiser votre centre informatique existant ou à en bâtir un nouveau.

• des données, avec une offre complète des disques aux librairies, et notamment avec un modèle disruptif : OpenStorage. En effet, par le modèle OpenStorage, nous fournissons une solution ouverte incluant l'ensemble des logiciels de stockage (réplication, snapshot, compression...) dès le départ avec la baie, évitent toute surprise ultérieure. Cette offre couvre actuellement des volumétries de 2TB à 266TB et va évoluer rapidement en volumétrie sur l'année 2009. Cette offre se complète par des solutions intégrées permettant d'optimiser la gestion du cycle de vie de la donnée autour de l'archivage de mail ou la gestion de données vidéo par exemple.

• des systèmes, avec la couverture du marché du volume au travers de nos partenariats avec Intel et AMD, et une intégration novatrice, permettant d'optimiser la consommation électrique, l'espace et la climatisation requis pour des serveurs à architecture x86/x64. Ce savoir faire, couplé à notre expertise dans le logiciel open source, nous place comme l'acteur majeur des solutions de calculs intensifs HPC aussi bien scientifique que commercial, ainsi que des technologies Web 2.0 d'aujourd'hui et de demain. En outre,  notre gamme de serveurs basés sur des processeurs SPARC nous permet d'accroitre la compétitivité avec une offre unique et fournit à nos clients des gains conséquents en performance et en énergie, avec par exemple, jusqu'à 14000 utilisateurs Siebel sur un serveur T5440 (http://www.sun.com/solutions/enterprise/siebel/) pour 1900 watts de consommation. Avec le haut de gamme des serveurs Sun, nous fournissons également une garantie unique sur le marché en terme de pérennité des investissements. En effet, nous supportons l'ajout des processeurs SPARC64 de nouvel génération dans les systèmes existant et cela conjointement avec les processeurs de génération précédente.
  

• de la virtualisation des ressources informatique. Point également majeur autour de l'optimisation de l'utilisation des systèmes et du stockage pour en maîtriser à la fois le nombre et la consommation. Nous fournissons des solutions de virtualisation qui couvrent les environnements de développement, de tests et de support (xVM virtualbox), les utilisateurs finaux (xVM VDI), les serveurs (Solaris, Partitions Physiques, Partitions Logiques, et plus à venir), le stockage (thin provisioning, virtualisation SE9990v) et la sauvegarde (VTL).

• des logiciels. Avec un modèle open source garantissant l'accès au moindre coût et de façon pérenne à des solutions développées pour vos besoins. Les solutions logiciels de Sun couvrent les domaines suivants:

  
  

  • le système d'exploitation, au travers de Solaris, qui est supporté sur un grand nombre de plate-formes Sun et non-Sun et qui constitue une des clés de l'accord entre Sun et Intel, du fait de sa capacité à prendre en charge les processeurs multi-coeurs (tendance forte du marché des processeurs).
    

  • la base de données, avec MySQL, très utilisée dans les systèmes embarqués et sur les technologies Web ou télécom à forte disponibilité. Avec là encore un TCO optimum (http://www.mysql.com/tco/)
    
    

  • le serveur d'application Java, Glassfish, offrant toutes les fonctionnalités attendues sur ce type d'environnement et une intégration aisée pour les développeurs
    
    

  • le bus d'intégration d'applications, OpenESB
    
    
    

  • la sécurité avec notre offre de gestion d'identité leader du marché et déclinée en opensource avec openSSO, openDS, openID
    
    

  • la plate-forme de développement Netbeans, ainsi que les compilateurs et outils d'analyses au travers de l'offre Sun Studio 12. Il faut noter que l'adoption de Sun Studio 12 permet des gains substantiel dans le cycle de développement, par la fourniture d'outils d'analyse de performances et d'optimisation uniques en standard.
    
    

  • les logiciels pour le calcul intensifs avec LUSTRE et Sun Grid Engine
    
    
    

  • Java. En tant que créateur de cette technologie, nous contribuons à son enrichissement et à son optimisation, avec récemment des machines virtuelles avec performances optimisées (HotSpot) et des solutions de développement graphique enrichie (JavaFX). Nous fournissons également une formation d'optimisation de développement logiciel autour de JAVA, C/C++ pour aider à tirer partie des processeurs multi-coeurs, au travers d'un atelier de 5 jours, s'appuyant sur le code de nos clients : donc avec des bénéfices immédiat et une capitalisation au sein de l'entreprise.
    
    

  • Staroffice. Offre bureautique dominante du monde libre au travers de sa version OpenOffice et déjà largement déployée au sein de l'administration française, de l'éducation nationale et des particuliers.

    
    

• jusqu'à l'entreprise étendue, au travers de notre solution de bureau virtuel sécurisé. Cette solution offre un ROI important sur la gestion des postes clients et de l'énergie associée avec nos clients légers SunRay qui consomment 4w (+4w sur le serveur) et un coût d'exploitation minimal (chez Sun, 2 personnes pour toute l'Europe).

  

  Et elle offre également au travers de sa seconde composante, Sun Secure Global Desktop, la possibilité de déporter l'accès de  n'importe quelle application de l'entreprise (microsoft, linux, unix, mainframe,...) en toute sécurité, quelque soit l'endroit dans le monde (unique sur le marché pour une couverture mondiale). Chaque composante (SunRay / Sun Secure Global Desktop) peuvent être déployés séparément ou conjointement en fonction des besoins et des calendriers.

Comme vous le voyez, Sun innove pour optimiser le système d'information et les solutions qui y sont associées. Tout cela en respectant les standards et l'ouverture de ses solutions au plus grand nombre.

NB: La liste des solutions et innovations présentée dans cet article est loin d'être exhaustive, sachez notamment que Sun contribue à plus de 750 projets Open Source.

Translate in english