Bientôt un an depuis la version précédente d'IWLA (mon analyseurs de statistiques web écrit en Python) et, sans m'en rendre compte, il y a des tas de nouveautés ! Au menu:

• Mise en lumière des différences (par rapport à la dernière analyse) pour les mots clés ainsi que les fichiers téléchargés
• Rappel du résumé annuel dans les statistiques mensuelles
• Ajout de la durée de l'analyse
• Détection des navigateurs
• Détection des systèmes d'exploitations
• Détection des pays (grâce à iptogeo)
• Détection des clientS RSS
• Statistiques détaillées pour un/des visiteur(s) particuliers
• Possibilité de mettre à jour des configurationS par rapport à celles par défauts (sans écrasement) avec le suffixe "_append"
• Statistiques par heures
• Possibilité de spécifier plusieurs fichiers à analyser
• Support des fichiers compressés (.gz)
• Possibilité de ne pas compresser la base de données (option -z)
• Possibilité de spécifier ses propres moteurs de recherche
• Requêtes DNS inversés pour les clientS RSS

Quelques bugs ont été corrigés :

• Le dernier jour du mois n'était pas analysé
• Les pages accédées à la même seconde n'étaient pas analysées

Comme quoi, un logiciel "stable" n'existe pas. Je suis plutôt content de cette version qui est vraiment complète et avec des fonctionnalités non présentes dans AWStats ! Cela tient surtout en la modularité de l'architecture qui, certes, réduit un peu les performances, mais offre une grande souplesse dans l'écriture de modules (filtres).

IPToGeo

Voici la première version d'IPToGeo. Il s'agit d'un double service (serveur et ligne de commande), qui permet de récupérer l'assignation géographique (code pays ISO) d'une adresse IP. Je parle ici d'assignation, car, même si dans 90% des cas, la localisation du fournisseur est la même que celle de l'utilisateur, il reste 10% où ce n'est pas vrai. Par exemple, un fournisseur de service VPN peut avoir des utilisateurs dans le monde entier, donc les utilisateurs finaux ne seront pas ceux de l'adresse remontée dans le journal. Pour avoir une géolocalisation précise, il faudra se tourner vers d'autres services qui ont des bases de données beaucoup plus fines.

Pour se faire, IPToGeo va récupérer les données des 5 RIR (Regional Internet Registries) : AfriNIC, APNIC, ARIN, LACNIC et RIPE NCC et les compiler en données statiques pour fournir une base de données sous forme d'un arbre non équilibré (pour le langage C). Le but est d'utiliser le moins de ressources possible et d'avoir une très forte réactivité.

La partie serveur est écrite en C, les données sont générées à partir d'un script Python. Les tests sont eux aussi en Python (une classe haut niveau est fournie). Afin d'améliorer encore la sécurité, il y a un support (optionnel) de seccomp. Les adresses IPv4 et IPv6 sont supportées.

Pourquoi iptogeo alors qu'il existe déjà des bases de données gratuites (notamment celle de Maxmind) ? Tout d'abord pour des raisons de confidentialités. Faire une requête sur une IP pour obtenir une position géographique est une source d'information pour celui qui écoute le trafic réseau. Ensuite, parce que c'est simple : la compilation des données et la recherche a demandé peu de travail (de plus, les données sont fournies gratuitement et mises à jour quotidiennement). Ce projet m'a permis de poser les bases d'un serveur optimisé, sécurisé (via seccomp) et qui écoute aussi bien en IPv4 qu'en IPv6. Finalement, parce que la recherche telle qu'implémenté nativement dans AWStats, et qui se base sur l'extension du DNS inversé est mauvaise (impossible de déterminer la position d'un .com grâce à son extension). En effet, le but de la classe Python est du test, mais aussi et surtout pour être intégrée à iwla.

Comme d'habitude, les sources sont disponibles sous licence GPLv3 dans ma forge inDefero.

IPv6

Petit aparté sur IPv6. Naïvement, je pensais qu'IPv6, c'était comme IPv4 avec des adresses plus longues, du coup il était idiot de ne pas migrer, surtout que l'on prédit sans cesse l'épuisement des adresses IPv4 au niveau mondial. Au lieu de réaliser cette migration, les opérateurs réseaux utilisent des techniques plus ou moins louches pour pallier à ce problème (NAT, double NAT, adresses privées...).

Pour rappel, IPv4 est un système d'adressage qui date de janvier 1980, on est donc au début de l'informatique moderne. À ses 18/19 ans, la norme IPv6 a été finalisée par l'IETF. Norme qui a aujourd'hui elle-même 18 ans. 1998, c'est le tout tout début du haut débit en France, le bas débit ayant déjà bien vécu et une solide expérience dans un réseau mondial appelé Internet ayant été acquise par l'IETF.

La norme IPv6 a donc été définie, non pas seulement pour augmenter la taille des adresses IP, mais aussi pour corriger tout un tas de défauts d'IPv4. Les deux normes doivent cohabiter : d'un côté, une norme archaïquerudimentaire, et de l'autre une super norme qui se révèle pourtant beaucoup plus complexe.

C'est cette question de complexité qui fait toute la différence. Tout le monde est capable de comprendre rapidement les mécanismes IPv4 (en plus de pouvoir retenir plus ou moins facilement une adresse de tête). L'administration y est simple, même si la puissance de calcul des routeurs doit être plus importante. C'est ce qui fait sa force (en plus d'être déjà en place depuis des années) là où IPv6 amène plein de nouveaux concepts nécessitant d'adapter tous les étages du réseau (matériel, administration, logiciel...) : auto-configuration, adresse privée + adresse publique, renouvellement d'adresse...

D'un point de vue technique, IPv6 est pourtant implémenté dans les équipements depuis des années. Linux facilite lui aussi la migration en faisant une correspondance automatique IPv6 -> IPv4 pour les serveurs qui n'écoutent qu'en v4. Néanmoins, basculer le réseau mondial en IPv6, c'est potentiellement priver les utilisateurs de réseau à cause d'une mauvaise configuration (qui va assurer le support ?). Risque trop important dans un monde qui se veut "tout connecté". La transition se fait donc extrêmement lentement (tout le monde freine le plus possible) via des services comme des tunnels (6rd) ou encore l'implémentation de double pile au niveau des boxs. Paradoxalement, ces solutions de migrations sont finalement plus complexes à mettre en œuvre que l'IPv6 natif !

SQLite3 is a wonderful library allowing to have a tiny SQL database in a simple file rather than a big (but more powerful) SQL server. I use it a lot for my projects to be "self contained".

Unfortunately, SQLite3 has some limitations. One of them is the unavailability to modify columns constraints or to delete them.

By upgrading from Django 1.5 to Django 1.8, I found that I cannot add a new user to my database. The problem is that the constraint of the last_login column in the User schema (controlled by Django framework) has changed. Now it can be NULL, while the table was created with a non NULL constraint. I got this exception :

NOT NULL constraint failed: auth_user.last_login

I already faces this kind of situation. The solution is pretty simple and does not requires modifying code.

First of all, make a backup of your database.

To get round this problem, we will export database in SQL commands format, modify it with a simple text editor and import it again.

Assume that your database is named denote.db

$ cp denote.db denote.db.bak
$ sqlite3 denote.db
$ .output denote.sql
$ .dump
$ .exit
$ rm denote.db
$ emacs denote.sql
...
$ sqlite3 -init denote.sql denote.db
$ sudo apachectl restart

That's all !

For complex modifications, it can be long/boring, so I recommend to use tools like sed, perl or python scripts, regexp replace mode from emacs...

Voilà un petit cadeau en ce début décembre : la version 0.7 de gPass. Cette version était en test depuis trop longtemps ! Et c'est dommage, car elle apporte plein de nouveautés fort sympathiques :

Côté Serveur :

• Suppression des arguments par défaut (non supporté par Chrome)
• Affichage d'un message d'erreur quand la requête échoue
• Export de la base de données !
• Deux nouvelles protections : temps minimum entre deux requêtes et nombre de mots de passe limité par requête (REQUESTS_MIN_DELAY et MAX_PASSWORDS_PER_REQUEST de conf.php)
• Suppression du caractère '\' lors de la génération des mots de passes

Côté client (addon)

• Plus de sites webs compatibles (meilleure détection des champs)
• Utilisation de jpm à la place de cfx pour l'addon de Firefox

Cette version reste compatible Firefox et Chrome, alors n'hésitez plus !

PS : la version 0.7 de Firefox est en cours de validation

Le service f2email était en place depuis un an et demi, mais cela fait environ 6 mois qu'il n'est plus fonctionnel. Je décide donc de le stopper.

Les sources restent disponibles sur ma forge.

Pourquoi ne pas le maintenir ? Parce que Facebook impose trop de restrictions. Le monde entier s'est déchaîné lors de la sortie de Graph API, comme quoi on allait pouvoir espionner automatiquement les personnes... Ce n'est pas complètement faux. Les premières API mises à disposition étaient relativement "large" au niveau des permissions. On assiste aujourd'hui au phénomène inverse : on ne peut plus rien faire !

Dorénavant, les applications (même si elles ne sont pas distribuées) ont besoin d'être approuvées par Facebook (qui ne vérifie même pas le code source...), ce qui nécessite de remplir tout un tas de contraintes. J'ai essayé deux ou trois fois de soumettre la mienne avec des explications sur le pourquoi des permissions et la façon de s'authentifier. J'ai toujours été rejeté...

Ensuite, la lecture des amis. Il n'est possible de découvrir ou de lire le flux de vos amis que si ceux-ci ont installé l'application. On ne peut même plus accéder au flux "public". Autant dire que personne n'a installé f2email (et ce n'était pas le but).

De plus, on ne peut plus (via la graph API) accéder aux profils que via leurs identifiant numérique. Adieu le /JeanDujardinOfficiel, bonjour le /247465978636124.

J'ai vaguement essayé de migrer vers l'API 2.4, sans succès (c'est la version qui tourne actuellement).

Graph API n'est désormais destinée qu'aux mini-jeux monétisables, plus aux réelles applications utiles, dommage...