L’article examine le phénomène selon lequel les LLM (grands modèles de langage) présentent une performance instable dans les applications en entreprise d’IA, qu’il qualifie de « baisse des capacités cognitives », et fournit des exemples pour illustrer l’impact réel sur les processus de travail des entreprises. Les données montrent que la plupart des modèles grand public sont en état de dégradation, ce qui affecte la productivité et la stabilité des entreprises. Celles-ci doivent commencer à accorder une attention accrue à la stabilité des modèles en tant que nouvelle norme, sinon elles s’exposeront à des risques pour l’infrastructure.

Un fichier Markdown nommé CLAUDE.md, fourni par Andrej Karpathy, a inspiré le projet Claude Code à franchir les 15 000 étoiles sur GitHub. Ce document définit des lignes directrices de comportement pour les erreurs courantes des LLM dans l’écriture de code, en mettant l’accent sur l’approche guidée par l’objectif, la confirmation des besoins et la divulgation proactive des compromis. Il reflète l’importance accordée par les développeurs à l’ingénierie du comportement de l’IA, et pourrait même être plus efficace que le choix d’un modèle puissant.

La recherche de l’Université de Californie révèle des failles de sécurité dans la chaîne d’approvisionnement des grands modèles de langage (LLM), en particulier les attaques de type homme-du-milieu malveillantes pouvant être menées par des routeurs tiers. L’étude a constaté que 26 routeurs injectaient des commandes malveillantes, afin de voler des identifiants (credentials) et des données sensibles. Il est difficile pour les utilisateurs de distinguer le traitement des identifiants de leur vol, et le « mode YOLO » augmente encore le risque pour la sécurité. L’étude recommande aux développeurs d’isoler les opérations sensibles et de choisir des services de routeurs offrant une analyse (audit) transparente afin de renforcer la protection.

Une étude de sécurité révèle qu’au sein de l’écosystème d’agents LLM, plus de 20 % des routeurs API gratuits injectent activement du code malveillant, entraînant le vol d’actifs et une crise des identifiants. De plus, l’incident de fuite de code de Claude a permis aux pirates d’exploiter la curiosité des développeurs pour diffuser des logiciels malveillants. L’équipe de recherche propose un mécanisme de défense en trois niveaux pour faire face aux risques de sécurité de la chaîne d’approvisionnement.

Le fondateur de Solayer révèle une vulnérabilité de sécurité dans les routeurs de modèles de langage de grande taille (LLM) : sur 428 routeurs, plus de 20 % présentent des comportements malveillants, comme le vol de clés privées, etc. L’étude recommande aux développeurs de mettre en place, côté client, un mécanisme d’authentification d’intégrité indépendant, et propose trois solutions de défense pour se prémunir contre les attaques de la chaîne d’approvisionnement.

Covenant AI a annoncé le 10 avril son retrait du réseau Bittensor, accusant la figure centrale Jacob Steeves de trahison envers les engagements de la décentralisation, et en énumérant de nombreuses actions de répression. Covenant AI a souligné que, derrière l’apparence d’une gouvernance décentralisée, Bittensor est en réalité contrôlé par une seule personne, formant un « théâtre de la décentralisation ». Le projet de préentraînement LLM décentralisé de l’équipe, Covenant-72B, exerce une influence importante dans l’industrie ; ce retrait est considéré comme un choix volontaire plutôt qu’un échec.

Une communauté open source lance une alternative gratuite à Claude Cowork, en mettant l’accent sur l’exécution locale et la prise en charge de plusieurs grands modèles de langage, avec notamment des fonctionnalités de contrôle vocal, de compatibilité avec les bases de connaissances et de génération automatique de graphes de connaissances. Cette initiative constitue un défi pour des produits commerciaux comme Anthropic’s Claude Cowork, tout en répondant aux besoins des utilisateurs qui exigent la confidentialité des données et l’autonomie. Cette tendance montre que les outils d’IA locaux deviennent progressivement plus populaires, en offrant davantage d’options aux utilisateurs.

Le précédent directeur de l’IA chez Tesla, Andrej Karpathy, a proposé une méthode de lecture en trois niveaux pour les grands modèles de langage (LLM), en mettant en avant sa valeur en tant que « amplificateur de lecture », plutôt que comme « accélérateur d’écriture ». Ce processus comprend la lecture du texte original, la génération d’un résumé et la réalisation d’une analyse méta, afin d’aider les lecteurs à se concentrer sur l’essentiel au milieu d’une surcharge d’informations. Cependant, cette méthode nécessite que l’utilisateur dispose de connaissances dans son domaine pour évaluer l’exactitude de l’analyse.

L’article examine l’importance du cadre Agent Harness Engineering dans les produits d’IA, et souligne que les différences de performance du même modèle LLM d’un produit à l’autre proviennent principalement de la logique d’ordonnancement, de l’écosystème d’outils, de la gestion de la mémoire et de la gestion du contexte, entre autres aspects liés à la conception du harness. Même si les capacités du modèle se ressemblent, un bon ingénierie du harness peut permettre à un modèle intermédiaire de surpasser un modèle de premier plan. Le cadre de Pachaar rappelle aux développeurs qu’après avoir choisi le modèle sous-jacent, la véritable concurrence réside dans l’amélioration de la qualité du harness.