Une publication m'a fait m'arrêter et réfléchir pendant une demi-heure S0 Tuning

Idée centrale : sans modifier les poids du modèle, en ajustant uniquement une matrice d'état initiale, il est possible d'améliorer considérablement la capacité de codage du modèle.
Sur Qwen3.5-4B, en utilisant seulement 48 échantillons d'entraînement HumanEval (pas 48k, mais 48), le S0 tuning a augmenté le pass@1 de 23,6 points de pourcentage.
Comparé à LoRA, le S0 est supérieur de 10,8 points de pourcentage. p < 0,001, statistiquement significatif.
Sur FalconH1-7B, le S0 atteint 71,8 %.
Cela signifie qu'après réglage, la vitesse du modèle et sa taille restent inchangées, seul le "point de départ" est amélioré.
Pour ceux qui déploient des modèles locaux, cela ouvre une porte : prendre un modèle généraliste, l'ajuster avec quelques dizaines d'échantillons de domaine pour en faire un modèle spécialisé, sans aucun coût de performance.
L'article est sur arxiv : 2604.01168. Ceux qui travaillent sur l'adaptation de modèles devraient le lire.