Trois modèles locaux, dix contrôles et un site à choisir

Trois modèles locaux, le même portfolio fictif. Tous réussissent dix contrôles ; images, durées et aides reçues racontent trois résultats différents.

Technologie et informatique
Le parcours des contrôles réussis par Qwen, Ornith et LFM, avec les changements d’assistance annotés.
Visualisation originale des données de l’essai : une trajectoire par checkpoint, avec les changements de traitement de LFM annotés. Le graphique décrit ce cas, sans classement général des modèles.

J’ai demandé à trois modèles locaux de construire le même portfolio. Tous ont fini par réussir dix contrôles fonctionnels. Mon jugement sur les sites est resté très différent : Qwen le meilleur sur le plan esthétique, Ornith très bon, LFM rejeté. Après l’essai, j’ai désinstallé LFM.

L’écart entre ces deux évaluations justifie de regarder le travail de près. Un filtre peut fonctionner dans une page peu convaincante. Une composition réussie peut cacher quatre fiches impossibles à ouvrir. Le temps nécessaire pour aboutir dépend aussi de l’aide que nous sommes prêts à apporter.

Voici le récit d’un essai réalisé sur mon Mac les 23 et 24 octobre 2026 : une tâche, un parcours documenté pour chacune des trois configurations testées. Fichiers, étapes ratées et corrections ont été conservés. Les images montrent ce qui a changé ; les logs vérifient ce qu’une capture ne peut démontrer.

Un portfolio fictif, des demandes concrètes

Nora Valli est une designer imaginaire. Les projets le sont aussi : Trame et Luce lenta pour l’éditorial, Soglia et Orto urbano pour le branding, Atlante et Marea pour le numérique. Noms, catégories et années étaient fixés par le brief. Les modèles pouvaient rédiger les descriptions.

Le brief exigeait trois fichiers fonctionnels, HTML, CSS et JavaScript, sans framework, CDN ni police distante. Recherche et filtres devaient se combiner, le compteur suivre les résultats et l’état vide apparaître au bon moment. Chaque projet devait ouvrir un détail cohérent, avec fermeture, Échap et gestion du focus. Il fallait aussi un thème persistant, une présentation, un formulaire de démonstration et une mise en page sans débordement à 390 et 1440 pixels.

Pour la première version, chaque modèle pouvait demander une seule image au même générateur externe. Il choisissait le prompt et l’emplacement du fichier reçu. Les pixels venaient de ce service : les attribuer au modèle local confondrait deux travaux différents. Les trois fichiers image sont restés inchangés pendant les corrections, comme le confirme la comparaison de leurs empreintes.

Un assistant d’IA coordonnait l’essai : il a préparé outils et contrôles, rédigé les retours et, dans les phases avancées de LFM, fourni diagnostics et indications algorithmiques. Les modèles locaux ont écrit et modifié les fichiers par des outils contrôlés ; sans navigateur ni shell, ils ne voyaient pas les concurrents. Aucune correction manuelle n’a été appliquée aux portfolios.

L’accès aux fichiers passait par Pi, un agent de programmation reliant les réponses des modèles aux outils de lecture et d’écriture. Les modèles tournaient avec MLX, un framework de calcul sur Apple Silicon, via les deux backends de la fiche technique. Ce logiciel organise et exécute l’essai ; les pages étaient vérifiées séparément dans le navigateur.

Le Mac et l’environnement de l’essai

Composant Configuration de la machine utilisée
Ordinateur MacBook Pro 16 pouces, 2026 ; identifiant Mac17,8
Processeur Apple M5 Pro
CPU 18 cœurs : 6 super cœurs et 12 cœurs de performance
GPU 20 cœurs
RAM 48 Go de mémoire unifiée ; le système relève 51 539 607 552 octets, soit 48 Gio
Bande passante mémoire 307 Go/s nominaux selon Apple ; non mesurés dans cet essai
Neural Engine 16 cœurs selon Apple ; son utilisation n’est pas mesurée par le benchmark
Système d’exploitation macOS 27.0.1, build 26A434
Alimentation Branché sur secteur lors du relevé initial
Agent Pi 1.2.0
Runtime Node 26.11.1 ; Python 3.15.0 pour les scripts de l’essai
Navigateur de vérification Chrome 155.0.8059.85
Backend Qwen mlx-vlm 0.6.15, MLX 0.32.1
Backend Ornith et LFM mlx-lm 0.32.2, MLX 0.32.4

Puce, mémoire, alimentation, système et GPU figurent dans les logs. Le modèle précis du Mac et le détail des cœurs CPU ont été ajoutés par un inventaire local ultérieur, toujours le 24 octobre : aucun numéro de série ni UUID n’est inclus. L’identifiant correspond au MacBook Pro 16 pouces de 2026 ; les noms des cœurs et les valeurs nominales viennent des spécifications Apple.

Les modèles ont tourné un par un. Le Mac effectuait aussi d’autres tâches : sa charge n’était pas isolée. La capacité physique du SSD, la consommation énergétique et les performances thermiques n’ont pas été mesurées. La bande passante nominale ne doit pas être lue comme une vitesse de génération observée.

Nom utilisé dans le récit Checkpoint effectif Révision
Qwen orcarouter/Qwen3.8-27B-Uncensored-MLX, variante 4 bits 34c32b5b1b2c24181e121a5cba3df8924fa66bce
Ornith ornith-ai/Ornith-1.5-35B-A3B-MLX-4bit 19504d912fa8fc7622bf6b1de3db5d5d890b1f02
LFM LiquidAI/LFM2.5-24B-A2B-MLX-4bit 667408d494bde191c2cb9dd4f4549827816b9275

Ces versions précises des modèles, appelées checkpoints, identifient les configurations testées. Elles ne représentent pas de manière interchangeable des familles entières. Leur identité est vérifiée dans les fiches des dépôts aux révisions indiquées. Le nom communautaire de Qwen est conservé en entier : l’essai n’a pas évalué les capacités suggérées par « uncensored ».

Lire le brief complet.

Trois directions visuelles, avant les scores

Qwen construit une page claire, avec une grande image du studio, des titres à empattements, des italiques terre et beaucoup d’espace. Ornith juxtapose titre et image, utilise des accents rouges et verts et classe les projets en fiches à grandes initiales. LFM présente un large bandeau bleu dégradé, avec un rapport peu résolu entre titre, texte et commande principale. Le fichier généré existe, mais n’est pas encore intégré dans la version initiale ; il apparaîtra pendant les corrections.

Mon ordre de préférence est Qwen, puis Ornith, puis LFM. C’est un jugement personnel déclaré, formulé après l’essai. Pour en explorer les raisons possibles, il faut comparer proportions, hiérarchies et intégration de l’image ; le nombre de contrôles réussis répond à une autre question.

Toutes les captures ci-dessous sont des reproductions éditoriales ultérieures des artefacts conservés, sans modification ni nouvelle inférence. La baseline est la première version, aussi appelée itération 0. Le viewport de bureau est de 1440×900 ; une image de page entière peut dépasser 900 pixels de haut. Chaque image renvoie au fichier original agrandissable.

Qwen, baseline : page claire avec photographie du studio, titres à empattements et projets en deux colonnes.
Qwen, baseline. Page entière depuis un viewport 1440×900. La designer, les clients et les résultats présentés appartiennent à la fiction du brief.
Ouvrir le fichier original
Ornith, baseline : en-tête à deux colonnes, image abstraite et fiches rouges et vertes.
Ornith, baseline, même viewport. La structure est déjà largement celle conservée dans la version finale.
Ouvrir le fichier original
LFM, baseline : bandeau bleu dégradé, titre et commande principale peu séparés, projets sous l’en-tête.
LFM, baseline, même viewport. Version de départ à distinguer de la correction au round 13.
Ouvrir le fichier original

Derrière une bonne première impression

Qwen partait de neuf contrôles complets et d’un partiel. Le problème concernait les détails des projets : quatre dialogues sur six ne fonctionnaient pas. Cliquer sur Soglia laissait la page affichée sans ouvrir le contenu demandé.

Qwen avant correction : Soglia en surbrillance, sans dialogue ouvert.
Qwen, baseline, après clic sur Soglia. Viewport 1637×1311. Les métadonnées indiquent `dialogOpen=false` : la capture montre l’état final ; action et résultat sont documentés dans le JSON.
Ouvrir le fichier original

Après deux itérations supplémentaires, la même action ouvre un détail avec titre, année, rôle et description. La solution ajoute un fallback JavaScript : les données sont récupérées même lorsque les attributs HTML d’origine contenant du JSON sont tronqués. Le comportement demandé passe ; le balisage malformé reste à corriger avant un usage réel.

Qwen après la deuxième correction : dialogue Soglia ouvert avec données et description.
Qwen, round 02, mêmes action et viewport. La correction fonctionnelle conserve le défaut initial des attributs et le contourne dans le code.
Ouvrir le fichier original

Ornith partait de huit contrôles complets. Le filtre Branding changeait d’apparence, mais laissait les six projets visibles. La commande annonçait une sélection que la collection ne respectait pas.

Ornith avant : Branding sélectionné, compteur à six, autres catégories toujours visibles.
Ornith, baseline. Viewport 1637×1311. Branding est actif, mais Trame et Atlante restent visibles. Métadonnées : six projets visibles.
Ouvrir le fichier original

Dans son unique round de correction, Ornith corrige les références aux variables du filtre. Soglia et Orto urbano restent, comme demandé. La faute « 2 progettoi trovatoi » est toujours là : le contrôle vérifie le compte et l’état, sans certifier chaque mot de l’interface.

Ornith après : Branding montre seulement Soglia et Orto urbano.
Ornith, round 01. Mêmes viewport et filtre : deux projets, faute d’origine conservée. Aucune retouche éditoriale du portfolio.
Ouvrir le fichier original

Les contrôles complets combinent filtre et recherche. La séquence attendue passe de six résultats à deux, puis à un et zéro, avant de revenir à six par réinitialisation. Si une recherche « Soglia » affiche encore ce projet sous Editoriale, filtre et requête travaillent séparément : une capture d’un filtre réussi ne vérifie pas leur combinaison.

Une itération peut corriger, répéter ou aggraver

Ici, une itération supplémentaire signifie une nouvelle exécution de Pi, avec nouvelle session et nouveau prompt, à partir des fichiers précédents, suivie de tous les contrôles externes. Un appel d’outil ou une réponse du modèle ne constitue pas une nouvelle itération.

Configuration Départ Parcours des contrôles complets Itérations supplémentaires
Qwen 9, plus un partiel 9 → 9 → 10 2
Ornith 8 8 → 10 1
LFM 4 4 → 4 → 4 → 4 → 4 → 4 → 4 → 3 → 5 → 6 → 8 → 9 → 9 → 10 13
Parcours observés : Qwen de neuf à dix en deux corrections, Ornith de huit à dix en une, LFM de quatre à dix en treize, avec une régression.
Données originales CSV et JSON. Chaque ligne s’arrête au dernier essai exécuté : aucun round hypothétique n’est ajouté. Les annotations LFM signalent des changements de traitement, sans leur attribuer un effet causal isolé.
Ouvrir le fichier original

Chaque flèche de LFM correspond à une exécution conservée, y compris sans amélioration. La chute de quatre à trois est le round 07 : une réécriture perd le gestionnaire du formulaire. Le débordement mobile est un problème distinct, déjà présent, qui n’explique pas ce point perdu.

Au premier rattrapage, Qwen utilise les 24 appels d’outils disponibles. La séquence comprend lectures de script.js, remplacements et check_files répétés, puis d’autres remplacements et contrôles. Le second round atteint encore 24 appels, cette fois avec les dix contrôles externes réussis.

Il s’agit d’une répétition opérationnelle observable dans les logs. Qwen et Ornith avaient déjà enable_thinking=false dans les requêtes natives. Ces étapes ne permettent ni de reconstruire un processus mental interne ni de prouver un défaut général de Qwen. check_files vérifiait fichiers et syntaxe : le modèle pouvait le répéter sans voir le dialogue encore fermé dans le navigateur.

Ornith effectue huit appels d’outils et trois remplacements dans son unique correction. Le runner enregistre environ 48 secondes. Le défaut est vite résolu sur ce parcours, mais les problèmes initiaux différaient en nombre et difficulté de ceux des concurrents.

L’aide reçue par LFM

Le traitement de LFM a changé en cours de route. Après deux tentatives sans progrès, le prompt devient plus ciblé. À partir du round 04, la limite par réponse passe de 8192 à 16384 tokens, avec un plafond total de 24 000. Dès le round 06, le format des messages, ou template, change aussi : on abandonne un préfixe expérimental fermant le bloc think pour le format natif, avec thinking demandé.

Après la régression du round 07, le coordinateur limite les outils aux petits remplacements, utilise de brèves consignes en anglais et fournit des diagnostics d’implémentation. Au round 10, il donne aussi le texte italien de confirmation du formulaire. Au round 13, il explique comment relier les liens à la création des fiches, utiliser le projet courant, activer la classe ouvrant le dialogue et garder le focus sur le bouton de fermeture.

Cette aide est consultable dans le prompt original du round 13, avec le diff produit. Le modèle écrit les patchs, mais reçoit une part substantielle de la solution. Le 10/10 final doit être lu comme un résultat fortement assisté.

LFM final : filtre Branding actif et dialogue Soglia ouvert au-dessus des deux résultats.
LFM, round 13, viewport 1637×1311. Branding puis ouverture de Soglia. La capture documente l’état visible ; prompt, diff et audit étayent le récit de la correction.
Ouvrir le fichier original

Les contrôles qui demandent une séquence

Un dialogue ouvert n’est qu’une partie du contrôle. Il faut ouvrir les six projets, vérifier la cohérence des contenus, fermer par bouton et Échap, puis retrouver le focus sur le lien initial. Tab et Maj+Tab ont été testés sur un dialogue représentatif. Identités des contrôles et résultats figurent dans les JSON d’audit : la photo seule ne prouve pas le maintien du focus.

L’état vide doit être compréhensible et réversible. Chez Ornith, une recherche sans résultat affiche zéro, un message et une réinitialisation. Les défauts de langue restent visibles ici aussi.

Ornith final : recherche sans correspondance, zéro résultat et commande de réinitialisation des filtres.
Ornith, round 01, viewport 1637×1311. Aucun résultat ; message et réinitialisation présents. La séquence combinée complète figure dans les audits.
Ouvrir le fichier original

Une page sombre ne prouve pas la persistance du thème. Il faut changer, recharger et comparer l’état conservé. L’évaluateur avait d’abord lu la couleur trop tôt, au début de la transition d’Ornith : un faux négatif corrigé et documenté sans compter un nouvel essai du modèle.

Ornith final en thème sombre après changement et rechargement.
Ornith, round 01, viewport 1637×1311. Thème après changement et rechargement ; séquence et états enregistrés dans les métadonnées et audits historiques.
Ouvrir le fichier original

Le formulaire devait refuser les données manquantes et les e-mails invalides, puis confirmer localement l’envoi de démonstration. Des données synthétiques ont été utilisées. La mention « rien envoyé » est nécessaire au lecteur, mais l’absence de transmissions externes repose aussi sur l’inspection du code, pas seulement sur la promesse de la page.

Ornith final : confirmation du formulaire indiquant la démonstration et l’absence d’envoi à des services externes.
Ornith, round 01, viewport 1637×1311. État après saisie et confirmation locale. Code et audit accompagnent la capture.
Ouvrir le fichier original

Le téléphone révèle d’autres problèmes

Les quatre images suivantes utilisent un viewport 390×844. Le navigateur réserve 15 pixels à la barre de défilement : le contenu mesure donc 375 pixels de large. Dans les versions finales des trois portfolios, scrollWidth et clientWidth valent tous deux 375.

Qwen final sur mobile : image du studio et titre dans la largeur du téléphone.
Qwen, round 02 : clientWidth 375, scrollWidth 375.
Ouvrir le fichier original
Ornith final sur mobile : titre, image et commandes dans la largeur du téléphone.
Ornith, round 01 : clientWidth 375, scrollWidth 375.
Ouvrir le fichier original
LFM au round 07 sur mobile : navigation coupée et contenu dépassant la largeur disponible.
LFM, round 07 : clientWidth 375, scrollWidth 471 dans la reproduction éditoriale. Le débordement est réel ; la régression du score concerne le formulaire.
Ouvrir le fichier original
LFM final sur mobile : navigation et titre tiennent dans la largeur disponible.
LFM, round 13 : clientWidth 375, scrollWidth 375. La correction responsive est aussi vérifiée au round 11.
Ouvrir le fichier original

L’absence de débordement est un contrôle précis et limité. Elle ne mesure ni le confort de chaque geste, ni la lisibilité de tous les textes, ni l’équilibre de la composition. Il faut continuer à utiliser et observer la page pour évaluer ces qualités.

Tous à dix, trois sites différents

Voici les pages finales, toujours depuis des viewports de bureau 1440×900. Les images originales des portfolios sont restées identiques pendant les corrections. Le code a modifié certains comportements ; la structure visuelle distingue toujours trois résultats.

Qwen final : page complète avec photographie, composition éditoriale et projets.
Qwen, round 02 final. Dix contrôles réussis, avec fallback JavaScript et balisage encore à corriger.
Ouvrir le fichier original
Ornith final : page complète avec en-tête côte à côte et fiches sur trois colonnes.
Ornith, round 01 final. Dix contrôles réussis après une seule correction ; les fautes n’ont pas été corrigées à la main.
Ouvrir le fichier original
LFM final : page complète avec image dominante, projets en deux colonnes, présentation et formulaire.
LFM, round 13 final. Dix contrôles réussis après changements de protocole et aide croissante à l’implémentation.
Ouvrir le fichier original

Dans mon jugement final, Qwen est le résultat esthétique que je préfère, Ornith est très bon, LFM ne me convainc pas. Son 10/10 ne change pas ce choix. Le nombre compte des contrôles fonctionnels définis avant les corrections et précisés pendant l’audit : ce n’est pas une note globale de web design.

Des défauts hors du périmètre de la suite subsistent. Le texte alternatif final de l’image LFM est générique. Les attributs HTML de Qwen doivent être revus. Les phrases des formulaires et compteurs demandent une révision éditoriale. Un site prêt pour d’autres utilisateurs nécessiterait d’autres contrôles.

Le temps enregistré et le travail absent du compte

Configuration Première version Correction Total Sortie enregistrée pendant les corrections
Qwen 1656,4 s 2470,1 s 4126,6 s au moins 7581 tokens
Ornith 505,3 s 48,2 s 553,4 s 873 tokens
LFM 161,3 s 2070,6 s 2232,0 s 139 532 tokens

Les durées sont mesurées par le programme qui lance et termine chaque exécution, appelé runner. Elles comprennent démarrage, attentes serveur, travail de l’agent et nettoyage final. Ce n’est pas le seul temps GPU, et tout le travail de coordination et d’évaluation n’est pas inclus. Les temps de requête comprennent traitement du contexte, génération et communication locale ; ils chevauchent ceux du runner : les additionner compterait deux fois.

Qwen présente des timeouts et une requête interrompue sans décompte final des tokens. Les tokens enregistrés sont donc une borne inférieure, pour la baseline comme les corrections. Pendant les corrections, nouveaux inputs et lectures du cache valent respectivement 849 146 et zéro pour Qwen, 18 149 et 76 388 pour Ornith, 863 073 et 1 108 820 pour LFM. Ce sont des comptes répétés par requête, pas des corpus de mots uniques. Tokeniseurs et backends diffèrent.

La mesure API des tokens de reasoning séparés est indisponible, notée NA. Le zéro normalisé dans les enregistrements Pi ne prouve pas une absence de raisonnement. Pour LFM, 84 blocs thinking émis sont conservés ; leur texte a été retokenisé en 87 101 tokens : une mesure dérivée d’une partie de la sortie, à ne pas additionner au total ni qualifier d’accès à la pensée interne. Il n’existe pas de mesure fiable des secondes consacrées au reasoning.

Les tokens du coordinateur et le coût du générateur d’images n’ont pas non plus été mesurés. Je n’en déduis aucun coût économique, énergétique ou total du système.

Après l’essai, j’ai désinstallé LFM : environ 13,59 Go de poids et fichiers de lancement supprimés. Les archives de l’expérience restent intactes.

Ce qui rend cet essai vérifiable

À la fin, la même suite figée a été réexécutée sur les 19 versions conservées : trois baselines et seize corrections. Les 190 verdicts individuels correspondent aux scores canoniques. Cette réévaluation contrôle la cohérence des artefacts après correction de l’évaluateur ; elle n’ajoute aucune réplication d’inférence.

Le protocole de correction a été écrit après observation des baselines. Les adaptations sont consignées dans les rectifications. L’ordre n’était pas randomisé ; les bugs initiaux différaient ; les aides sont devenues très différentes, surtout pour LFM. Cache, backends et activité système n’étaient ni identiques ni isolés. Le coordinateur opérationnel était une IA, pas un juge humain indépendant. Le jugement esthétique ultérieur est le mien.

Avec une trajectoire par checkpoint et un seul portfolio, les données décrivent un cas. Elles ne permettent ni classement universel, ni estimation statistique des chances de réussite, ni explication causale de l’effet du thinking. Les tests étaient connus et les retours les concernaient : atteindre dix sur dix mesure la correction de cette tâche.

J’en retiens un critère concret pour mon travail : vérifier les gestes promis, observer la page même après le score et compter l’aide nécessaire pour y arriver. La décision d’utiliser un résultat reste ouverte au jugement de celles et ceux qui l’utiliseront.

Données, sources et provenance

Le paquet public réunit données, documents de méthode, contrôles et images sélectionnés. Le manifest SHA256 permet de vérifier les fichiers téléchargés. Les chemins et URL locaux ont été retirés des copies ; les images raster originales restent sans retouche. Le jugement esthétique ultérieur reste distinct des scores fonctionnels.

Aperçu du portfolio Qwen
Qwen, baseline. Reproduction éditoriale du portfolio conservé.