Présentation

Un petit article pour présenter plus généralement le SheevaPlug. En effet les articles précédents se sont focalisés sur l'utilité d'un serveur de manière générale, mais il y a pas mal de questions sur le SheevaPlug en lui même. Le SheevaPlug c'est donc cette petite bête :

Il comporte (pour simplifier) :

• Une mémoire interne (flash) de 512Mo
• Une mémoire vive de 512Mo
• Un processeur ARM de 1Ghz.

C'est l'équivalent d'une configuration de PC d'il y a 7 ans à peu près A défaut que celui-ci ne consomme que 5 Watts, ce qui est largement inférieur à n'importe quel PC, même basse consommation. Avec si peu de puissance il est évident qu'on ne peut pas faire tourner Crysis dessus, et c'est normal car sa fonction principale est d'être un serveur.

Un serveur c'est une machine qui va répondre à des requêtes externes pour, par exemple, servir des pages web, échanger des mails, stocker des données, et pour tout cela, point besoin de puissance. Personnellement je l'utilise, entre autre, pour faire de la compilation (voir ici un petit bench) automatique de KissCount, avoir un serveur SSH, un serveur mail, héberger mon blog, héberger une forge logicielle, accèder à mes comptes. Pour information la compilation de KissCount prend 15 minutes par version/architecture (soit 1h en tout) contre 1 minutes sur un PC de dernière génération. Elle est réalisée à 1h du matin pour ne pas peturber les autres services.

A l'intérieur du Sheeva

Concernant le système d'exploitation, le SheevaPlug est livré avec une Ubuntu toute prête. En effet on est sur un processeur ARM, donc Linux est tout choisi pour faire fonctionner le système. Bien sûr on aurait pu prendre un BSD, mais le portage n'est pas top, voir même un eCos si certains ont du temps ... MacOS on oublie tout de suite et les seuls Windows qui supportent ARM sont WindowsCE et WindowsPhone 7, mais là encore rien n'est fait pour les acceuillir. Avec Ubuntu on dispose de toute la logithèque GNU/Linux !

De plus le Sheeva ne possède pas d'écran et aucun connecteur pour en brancher un. Ce n'est évidement pas un problème car dans le monde GNU/Linux on peut parfaitement administrer une machine en ligne de commande via SSH (console à distance) en téléchargeant les logiciels et en éditant les fichiers de configuration via un éditeur en mode texte (nano, vi, emacs ...). mais une fois les bon paquets on peut aussi faire l'administration courante via des interfaces web. Les plus téméraires pourront installer un environnement graphique et/ou faire un affichage déporté via SSH, mais c'est complètement inutile et consommateur de ressources.

MAJ : NewIT propose quand même des écrans tactiles via USB (moniteurs MIMO)

Pour les bidouilleurs il faudra de toutes façons passer au moins par la sortie série (en micro USB) du Sheeva afin de modifier la séquence de lancement pour pouvoir booter sur un périphérique autre que la flash ou la carte SD. C'est très pratique pour récupérer la main sur le système quand celui-ci est cassé (comme décrit dans ce billet lorsque le SheevaPlug ne démarre plus).

512Mo de flash c'est suffisant pour le système d'exploitation, mais on se retrouve vite limité. Personnellement j'ai opté pour installer une Debian sur une clé USB 16Go, et tant qu'on ne veut pas stocker sa collection de DivX, c'est largement suffisant ! Il faut cependant faire attention avec ce port USB. Si le périphérique que vous branchez ne possède pas sa propre alimentation, le courant va être récupéré depuis le SheevaPlug, ce qui peut causer des dégâts si la demande est trop importante. Donc pour une clé USB ça passe, mais si vous branchez un disque dur ou un hub il faut faire attention à ce que ceux-ci possèdent leurs propre alimentation !!

Il y a un port eSata sur la version que j'ai acheté, mais je ne l'ai jamais utilisé, je suppose que le problème d'alimentation est le même.

Bref je possède le SheevaPlug depuis 8 mois et je n'ai eu aucun problème, une fois configuré on l'oublie, il ne chauffe pas et me permet d'héberger mes propres services sans soucis (il ne faut pas oublier de faire des sauvegardes régulières). Je ne voulais pas prendre de GuruPlug car il n'est pas plus puissant mais consomme plus à cause du Wifi et du Bluetooth. Il est aussi réputé pour des problèmes d'alimentation. Le double ethernet est bien si on veut faire une passerelle ou un pare-feu.

Le prix

La première année : 130€ chez NewIt + 4€ pour le nom de domaine (certificat SSL offert) + 5€ pour l'électricité. Donc 139€/an soit 11,58€/mois
A partir de la seconde année : 7€ pour un nom de domaine OVH + 15€ pour un certificat SSL + 5€ pour l'électricité. Donc 27€/an soit 2,25€/mois

C'est donc tout à fait raisonable (surtout à partir d'un an). On avait annoncé une baisse rapide du prix de ces joujous, mais je ne pense pas que ça arrivera un jour car les quantités vendues sont trop faibles.

Conclusion

En conclusion le SheevaPlug est l'appareil parfait pour tout ceux qui veulent un petit serveur chez eux ou se lancer dans de l'auto-hébergement !

Après m'être battu un moment avec iconv, voici un petit exemple de conversion ISO-8859-1 vers UTF-8 :

#include ‹iconv.h›

int translate_text(char** text, char free_text)
{
    char* tmp_in, *tmp_out, *original_out;
    size_t mult_size, size_in, size_out;

    if (!text || !*text) return 1;

    converter = iconv_open ("UTF-8", "ISO-8859-1");

    if (converter <= 0)
        return 1;

    size_in = strlen(*text);
    mult_size = size_out = size_in*4; // Because UTF8 is bigger thant ISO-XXX
    tmp_in = *text;
    original_out = tmp_out = malloc(size_out);

    iconv(converter, &tmp_in, &size_in, &tmp_out, &size_out); // All variables are modified by iconv

    original_out[mult_size-size_out] = 0;

    if (free_text) free(*text);

    *text = original_out;

    iconv_close(converter);

    return 0;
}

Dans mon article précédent je faisais une petite comparaison entre le SheevaPlug et un DELL OptiPlex quasi dernière génération. Voilà un petit retour d'expérience sur la compilation croisée depuis le Sheeva.

Pour rappel : la compilation croisée c'est compiler depuis un plateforme matérielle/logicielle A pour créer des binaires qui s'exécuteront sur une plateforme matérielle/logicielle B. Exemple : on compile sur une plateforme ARM pour une plateforme x86, ou encore une plateforme x86 64 bits vers x86 32 bits.

1) Récupérer crosstool-ng

Jusque là pas de problème, il s'installe facilement et est multi-plateforme (ce n'est que du script bash).

2) Compilation de la toolchain

La ça coince un peu plus, comme indiqué précédement j'ai eu des problèmes avec la eglibc, mais ça s'est résolu en modifiant une config d'exemple. J'ai compilé deux toolchains : une en 32 bits (i686-nptl-linux-gnu) et une en 64 bits (x86_64-nptl-linux-gnu).

3) Compilation du logiciel

Pour un simple "Hello World !" il n'y a pas de soucis, mais dès qu'on commence à construire un logiciel un peu plus costaud on a rapidement quelques ennuis.

Tout d'abord il faut préparer le Makefile à la cross compilation pour supporter la définition externe des variables type CXXFLAGS ou LDFLAGS. Cela consiste à remplacer CXXFLAGS="Quelque chose" par CXXFLAGS+="Quelque chose", idem pour LDFLAGS. Il faut aussi changer CXX=g++ en CXX=$(HOST)g++.

Les modifications pour KissCount sont dans ce commit.

Second problème : les bibliothèques externes type GTK ou dans mon cas wxWidgets. Là il faut ruser un peu plus, on ne peut pas installer directement le runtime car le paquet est compilé pour une architecture ARM donc ld ne va pas s'y retrouver. A moins de passer une option pour ignorer les différences d'architecture, mais je n'ai pas testé, et surtout je ne voulais pas installer ce paquet avec toutes ses dépendances (GTK, Xorg, ...) sur le serveur. J'ai donc importé à la fois les entêtes (headers) et les bibliothèques (.so) dans les dossiers include_wxwidgets_32 et lib_wxwidgets_32 (idem pour la version 64 bits) depuis une machine où ces paquets sont installés.

Dans le Makefile on fait appel à wx-config pour récupérer les valeurs de LDFLAGS et CXXFLAGS, j'ai donc crée un faux wx-config qui va renvoyer le chemin de include_wxwidgets_32 et lib_wxwidgets_32. Ensuite on définit HOST avec "i686-nptl-linux-gnu-" ou "x86_64-nptl-linux-gnu-", puis on déroute PATH vers ~/x-tools/i686-nptl-linux-gnu/bin:.:$PATH (le "." est l'endroit où il y a le wx-config). Enfin on lance LDFLAGS="-Wl,--allow-shlib-undefined" make. L'option "allow-shlib-undefined" permet de ne pas faire une résolution récursive des symbols dans les bibliothèques partagées, ainsi on n'a pas besoin de copier tout GTK pour pouvoir lier notre programme avec wxWidgets (qui dépend GTK).

La compilation se passe bien ... en 32 bits ! On peut même exécuter le programme sans problème sur une autre machine. Mais en 64 bits ça coince lors de l'édition de lien finale avec les erreurs suivante :

undefined reference to `__libc_csu_init'
undefined reference to `__libc_csu_fini'

Cela vient du fait que la libc 32 bits (de la plateforme de compilation) ne définit pas ces symbols et le compilateur (même 64 bits) utilise la libc de l'hôte. Personnellement j'ai fait deux liens symboliques :

ln -s /lib64     ~/x-tools/x86_64-nptl-linux-gnu/x86_64-nptl-linux-gnu/sys-root/lib/
ln -s /usr/lib64 ~/x-tools/x86_64-nptl-linux-gnu/x86_64-nptl-linux-gnu/sys-root/usr/lib/

On met à jour LDFLAGS dans le Makefile avec -L/lib64 et -L/usr/lib64 et le tour est joué !

4) Compilation automatique (Nightly build)

Pour courronner le tout, j'ai fait un petit script qui va s'exécuter chaque nuit (via crontab), vérifier depuis le dépôt git s'il n'y a pas une nouvelle version pour chaque branche et si c'est le cas, la compiler pour chaque architecture ! Il suffit alors de feinter inDefero en utilisant un liens symbolique "Nightly_Build_${branche}_${ARCH}.tar.bz2" pour rendre la nouvelle version disponible. De plus le script envoie un mail en cas d'echec ou de réussite (que demander de plus ??).

Ma hierarchie de dossier est la suivante :

/KissCount
|-- lib_wxwidgets_32/
|-- include_wxwidgets_32/
|-- lib_wxwidgets_64/
|-- include_wxwidgets_64/
|-- wx-config
|-- mega_compile.sh
|-- lib_i686/                  # Spécifique KissCount
|-- lib_x86_64/                # Spécifique KissCount
|-- kisscount_master/
|-- kisscount_dev/

Attention : lors du clone du dépôt git, il faut cloner un dépôt public, sinon il demande le mot de passe pour faire un pull.

Mon script de compilation mega_compile.sh

Et dans /etc/crontab :

0  2    * * *  www-data cd /KissCount && ./mega_compile.sh > /dev/null

En ayant marre de construire manuellement les tarballs binaires de KissCount, j'ai décidé de confier cette tâche à mon petit serveur (c'est le premier pas vers le packaging). Petit problème : le SheevaPlug tourne sur un processeur ARM, processeur encore peu répandu sur le "desktop" (ordinateur personnel/de bureau). En effet la majorité totalité de ces ordinateurs ont un processeur x86 (Intel/AMD). Mais pas de panique, il suffit de créer une chaîne de compilation croisée (cross toolchain) pour produire nos binaires x86 à partir d'une plateforme ARM !

Trêve bavardage, on récupère la dernière version de crosstool-ng (j'aurais pu en choisir un autre, mais celui là a l'air bien et surtout je n'avais pas envie de la construire "à la main"). Je me bats un peu en essayant d'utiliser la eglibc (Embedded Glibc, notamment utilisée par le projet Debian) ... échec. Par dépit je prends une configuration d'exemple légèrement modifiée. Une petite chose qui manque : la possibilité, par défaut, de faire un restart (obligé d'activer l'option dans debug).

Ce petit exercice va donc permettre de faire une comparaison entre les deux architectures. Bien sûr la comparaison est un peu biaisée car ce ne sont pas des gammes équivalentes, mais essayons quand même. La compilation est un exercice qui met en jeu beaucoup de composants systèmes :

• Lecture/Écriture de fichiers (système de fichier, noyau via les caches, disque, DMA)
• Mémoire/Calculs (processeur, bus interne, cache processeur, compilateur)

Les chiffres bruts :
Temps de compilation sur le SheevaPlug : 8h
Temps de compilation sur le DELL : 1h

Vu comme cela on se dirait : ARM, c'est naze. Mais regardons de plus près :

DELL OptiPlex 360

• Intel(R) Core(TM)2 Duo E7500 @ 2.93GHz 3Mo de cache, FSB 1066Mhz : un seul des deux cœurs a été utilisé
• 4 Go de mémoire vive bicanale type DDR2 SDRAM non ECC (800 MHz)
• Disque dur 320 Go en SATA II avec un système de fichier Ext4, le tout à 7500rpm
• Ubuntu 10.4 64 bits
• Noyau Linux 2.6.32

SheevaPlug

• ARM (9, v5 te) Marvell Kirkwood (Feroceon 88FR131 rev 1 (v5l)) 1Ghz, 16KB de cache L1, 256KB de cache L2 @500Mhz
• 512 Mo DDR2 SDRAM 16 bits
• Clé USB Toshiba 16Go en Ext2
• Debian stable (4 / Lenny) 32 bits
• Noyau Linux 2.6.32

Il y a un facteur 8 entre les deux systèmes qui peut s'expliquer par : le cache de l'ARM est ridicule (ça coûte cher), la fréquence du bus est deux fois moins importante, la taille du bus est divisée par 4, le système de fichier de la clé USB est relativement lent en écriture (4.7 Go nécessaires pour la compilation et 141 Mo la toolchain finale). En partant de là je trouve que les performances sont tout à fait correctes, surtout que même avec 8h de compilation on est gagnant niveau consommation électrique ! J'espère réellement que cette architecture va débarquer sur PC une fois qu'elle sera un peu plus musclé ! C'est ce qu'on verra avec les nouveaux Cortex A5/A8/A9 qui font déjà des merveilles sur smartphone (même s'il y a beaucoup d'accélérateurs autour). Et puis Microsoft a décidé de faire une version ARM de Windows, ce n'est pas pour rien ;)

Configuration toolchain 32 bits
Configuration toolchain 64 bits

Un peu de pub pour un petit outil dont on ne peut plus se passer une fois qu'on y a goûté. Quand on est développeur et qu'on utilise régulièrement la ligne de commande (projets, compilation, gestion de version ...) on se retrouve souvent dans les même dossiers (projetX, build, etc ...) et il n'est pas rare que ces chemins soient lointains les uns des autres. Joel Schaerer a donc humblement développé autojump. "humblement" car c'est un petit outil, mais qui remplit pleinement sa fonction (et en plus l'auteur est Français).

La version vanilla d'autojump mémorise sa position dans le système de fichiers à chaque commande, permettant ainsi de faire des statistiques sur les endroits où l'on se trouve le plus souvent, mais surtout de pouvoir sauter d'un endroit à un autre grâce à la commande "j" qui analyse son paramètre et essais de le faire correspondre à un chemin connu (les plus utilisés seront les premiers). Autojump supporte bien évidement l'auto-complétion par tabulation !

Exemple : Si le chemin "/home/soutade/Projets_Perso/KissCount" est enregistré dans autojump, il suffit d'entrer "j kiss" pour sauter directement à cet endroit, ce qui est un gain de temps considérable.

Autojump supporte plusieurs paramètres : "j greg kiss" saute sur "/home/greg/Projets_Perso/KissCount"

En cas de conflit on peut utiliser tab et choisir le chemin le plus approprié :

cd v2__[tab]
v2__1__/home/soutade/Projets/v2-helium-greg
v2__2__/home/soutade/Projets/v2-helium

La commande "jumpstat" permet d'avoir un aperçu de la base

...

54.5:  /home/shared/musique

60.0:  /home/joel/workspace/coolstuff/glandu

83.0:  /home/joel/workspace/abs_user/autojump

96.9:  /home/joel/workspace/autojump

141.8: /home/joel/workspace/vv

161.7: /home/joel

Total key weight: 1077

D'autres alternatives existent comme apparix, wcd ou kcd mais je les trouve moins élégantes (nécessite de scanner le système de fichier, utilisation moins transparente ...).

Le code d'autojump est disponible ici : https://github.com/joelthelion/autojump/wiki

Une démonstration (en) est disponible sur youtube : http://www.youtube.com/watch?v=tnNyoMGnbKg

Une fois installé, c'est adopté. Néanmoins en réfléchissant deux secondes je trouvais dommage qu'autojump soit appelé à chaque commande. En effet quand je suis dans un répertoire et que je fait cd .. je n'ai pas forcément envie que ce soit répertorié. J'ai donc retroussé mes manches et modifié le comportement du logiciel (https://github.com/soutade/autojump/tree/v2).

Sur ma version "cd" devient un alias d'autojump. Elle permet donc à la fois de sauter à un endroit et d'enregistrer un chemin dans la base de façon transparente. Si un dossier n'est pas trouvé dans la base ou qu'il est dans le répertoire courant, c'est la complétion normale de bash qui s'applique.

Il y a donc deux modes : manuel (il faut faire cd -a "chemin" pour enregistrer un chemin) ou automatique (chemin enregistré à chaque commande cd). Tout ceci est paramétrable dans le autojump.bash.

Par effet de bord on peut indifféremment manipuler la base avec la commande autojump ou cd.

En plus de cette modification j'ai aussi rajouté la commande "autojump/cd --remove key" qui permet de supprimer une entrée dans la base (la complétion pour key est effective), ainsi que la commande "cd/autojump --purge num" qui permet de supprimer toutes les entrées dont le nombre est inférieur ou égal à num.

En résumé, quelle que soit la version utilisée, il faut absolument essayer cet outil !

La version 2 d'Autojump est disponible