Mêmes poids, autre comportement

En 2024, une démonstration publique a rendu l'idée difficile à ignorer : un modèle qui ne parlait plus que d'un pont, sans que ses poids changent. La démo est restée en ligne une journée. La question qu'elle a laissée derrière elle est toujours utile.

Deux réponses, un seul modèle

Prenez un modèle à poids ouverts. Donnez-lui deux fois le même prompt. Dans un cas, il répond comme prévu. Dans l'autre, il se comporte comme si on lui avait donné une consigne qui n'apparaissait nulle part dans le prompt.

Rien n'est réentraîné. Aucun jeu de données n'est collecté. Aucune heure de GPU n'est dépensée en fine-tuning. L'intervention a lieu pendant que le modèle génère.

C'est cette distinction qui m'intéresse. Le fine-tuning change le modèle. Le contrôle à l'inférence change les conditions dans lesquelles le modèle s'exécute.

Pourquoi ça compte

Pour une équipe d'IA en production, la différence est concrète :

Coût. Pas d'entraînement, pas de jeu de données annoté, pas de nouveau checkpoint à héberger.
Latence. Le changement fait partie du passage avant, pas d'un second modèle dans le chemin de la requête.
Réversibilité. On désactive l'intervention et le comportement d'origine revient.
Comportement par client. Les mêmes poids peuvent servir plusieurs marques, tons ou styles de refus avec des réglages différents à l'exécution.
Expérimentation de sûreté. On peut tester un comportement avant de s'engager dans un fine-tuning, et mesurer ce que l'intervention coûte en fluidité.

Rien de tout cela ne remplace un bon prompt. C'est une surface de contrôle de plus, pour les cas où le prompt ne suffit pas.

Ce que je teste

Je reproduis l'effet sur un modèle à poids ouverts avec Hugging Face Transformers. Le dispositif est volontairement petit : un modèle, un ensemble de prompts fixe, une référence, et une intervention mesurée. Je garde la méthode privée jusqu'à ce que les chiffres soient là. Ce n'est pas du mystère. C'est la différence entre une démo et un résultat.

La question n'est pas « est-ce que c'est possible ». Des travaux publics ont montré que oui. La question est de savoir si c'est assez fiable pour être utile, et à partir de quand la complexité ne vaut plus le coût.

Ce que je ne prétends pas

Je n'ai pas terminé la reproduction. Je publierai les transcriptions et l'évaluation quand je les aurai.

Deux mises en garde sont déjà claires dans la littérature publique :

le prompt reste une référence solide, et souvent le bon premier outil ;
cette famille de techniques est plus fragile que les démos ne le suggèrent : la plage utile est étroite, et l'effet peut coûter en fluidité.

Si le résultat est faible, je le dirai. Un résultat négatif reste un résultat, et il est plus utile à une équipe qu'une histoire convaincante sans chiffres.

Ce qui vient ensuite

Trois artefacts : une référence, une exécution avec intervention, et une évaluation qui les compare sur le même ensemble de prompts. Puis une décision : est-ce que cela bat un prompt système ? Pour quels comportements ? À quel coût ?

C'est la forme d'une réponse qu'une équipe de production peut utiliser. Pas « regardez, ça marche », mais « voici quand ça marche, et voici ce que ça coûte ».

Sources

Anthropic, Golden Gate Claude (2024)
Neuronpedia, pour explorer et comparer les caractéristiques des modèles
AxBench (Wu et al., 2025), une comparaison des techniques de pilotage
Gemma Scope, autoencodeurs parcimonieux ouverts pour la famille Gemma