Pourquoi l’IA a besoin de gouvernance
Dans les deux communautés de développeurs AGI chinois et anglais, la communauté chinoise discute davantage de l’augmentation de la productivité apportée par la technologie AI, mettant davantage l’accent sur le développement et la découverte des besoins en outils AI, et sur la mise à niveau et la transformation des structures industrielles existantes. En revanche, dans la communauté de développeurs anglophones, l’accent est davantage mis sur une forme de paradigme technologique représentée par Auto-GPT, réalisant une exécution entièrement automatique et hautement intelligent de tâches AGI automatisées.
L’exploration de ces deux voies technologiques différentes signifie une différence dans les risques et la gouvernance de l’IA auxquels seront confrontées les communautés de développeurs chinois et anglophones à l’avenir. Les géants de l’IA de la communauté anglophone sont beaucoup plus conscients des risques liés à l’IA que les cadres de sociétés technologiques en Chine.
Par exemple, dans la charte OpenAI, on peut voir que OpenAI a toujours pris en compte la sécurité de l’IA et une réglementation raisonnable depuis ses débuts ; la communauté chinoise était absente de l’appel de Musk à arrêter l’entraînement de GPT-5. Les développeurs de la communauté chinoise devraient se considérer comme des développeurs mondiaux, réfléchir de manière proactive et explorer comment faire face aux nouveaux risques mondiaux de l’ère de l’AGI et explorer la gouvernance de l’AGI.
Dans le dernier article d’OpenAI, la proposition de gouvernance de la superintelligence consiste à établir un organisme de réglementation international. En fait, la Chine devrait participer activement à ce processus de manière proactive. Sinon, la capacité de dicter l’ordre technologique de l’ère AGI sera désavantagée et les coûts de correction ultérieurs seront élevés. Ces coûts de correction ne sont pas seulement des coûts économiques, mais aussi une invasion invisible basée sur l’éthique et la discipline omniprésentes de l’IA.
Comme mentionné dans l’article "Despite “super-human” performance, current LLMs are unsuited for decisions about ethics and safety”,
Lorsque le modèle de rappel fournit des raisons à ses réponses, nous sommes confrontés à de graves problèmes, notamment la défense des situations les plus odieuses et l’illusion de faits inexistants dans la situation d’origine. Ces problèmes, associés aux attaques de réécriture susmentionnées et aux erreurs systématiques, montrent clairement que les LLM actuels ne sont pas adaptés à la prise de décisions éthiques ou sécuritaires.
Lorsque l’IA franchit les limites de l’éthique et de la sécurité, et guide le public dans une position morale en apparence raisonnable, le dialogue interactif représenté par les grands modèles de langage continuera à être amélioré et à construire les faits et théories nécessaires à cette position morale, permettant ainsi aux entreprises d’IA d’exercer un “moral disciplining” dans le domaine public à travers “l’illusion de raisonnement”.
À partir de la protection des politiques publiques et des données personnelles, pouvons-nous discuter d’un modèle de gouvernance de l’IA distribué, car l’IA habilite l’émergence d’une nouvelle génération de superindividus, les futurs individus auront généralement des données massives dépassant celles des organisations d’entreprise actuelles, ces individus devraient logiquement avoir un plus grand pouvoir de parole dans les dialogues publics.
Avec DAO comme représentant du nouveau paradigme organisationnel, comment obtenir le soutien et la protection des politiques publiques en ce qui concerne la 01928374656574839201 de données et la sécurité des transactions pour les super-individus est un défi de gouvernance auquel nous sommes confrontés.
Gouvernance super intelligente Sam AltmanGreg BrockmanIlya Sutskever
C’est le bon moment pour commencer à réfléchir à la gouvernance de l’intelligence artificielle superintelligente - les futurs systèmes d’intelligence artificielle auront des capacités révolutionnaires, même supérieures à celles de l’intelligence artificielle générale (AGI).
D’après ce que nous avons observé jusqu’à présent, on peut imaginer que, dans les dix prochaines années, les systèmes d’intelligence artificielle dépasseront le niveau d’expertise dans la plupart des domaines et seront capables d’effectuer des activités de production équivalentes à celles des plus grandes entreprises d’aujourd’hui.
Que ce soit pour le meilleur ou pour le pire, l’intelligence artificielle superpuissante sera plus puissante que toute autre technologie à laquelle l’humanité a été confrontée dans le passé. Nous pourrions avoir un avenir de prospérité immense, mais nous devons gérer les risques pour y parvenir.
Compte tenu des risques potentiels pour la survie, nous ne pouvons pas nous contenter d’une stratégie passive. L’énergie nucléaire est un exemple historique courant de cette caractéristique technologique ; la biologie synthétique en est un autre.
Nous devons atténuer les risques de la technologie d’intelligence artificielle d’aujourd’hui, mais la superintelligence nécessitera un traitement et une coordination spécifiques.
Un point de départ Dans notre réussite à guider ce processus de développement, il y a beaucoup d’idées importantes que nous devons suivre de près. Ici, nous avons exploré trois de ces idées.
Tout d’abord, nous devons coordonner nos efforts de développement principaux pour assurer à la fois la sécurité et la fusion transparente de la super intelligence. Cela peut être réalisé de plusieurs manières: les gouvernements du monde entier peuvent établir conjointement un projet pour absorber les nombreux efforts actuels; ou nous pouvons convenir d’un protocole (avec le soutien de la nouvelle organisation mentionnée ci-dessous) pour limiter la hausse de la capacité d’intelligence artificielle à un taux spécifique chaque année.
Bien sûr, nous devrions également demander des exigences de responsabilité très élevées à certaines entreprises pour exiger qu’elles agissent avec rigueur.
Ensuite, ***nous aurons très probablement besoin, à la fin, d’une organisation similaire à l’Agence internationale de l’énergie atomique (AIEA) pour superviser les efforts liés à l’intelligence artificielle. Tout effort dépassant un certain seuil de capacité (ou de ressources de calcul, etc.) devrait être soumis à la supervision d’une autorité internationale, capable d’inspecter les systèmes, d’exiger des audits, de vérifier la conformité aux normes de sécurité et de restreindre le déploiement et le niveau de sécurité.
Le suivi des calculs et de la consommation d’énergie peut avoir un impact considérable et nous donne un peu d’espoir quant à la capacité de mettre en œuvre cette idée.
En tant que première étape, la société peut accepter volontairement de commencer à mettre en œuvre certains éléments qui pourraient être requis à l’avenir par l’organisation, et en tant que deuxième étape, certains pays peuvent mettre en œuvre le cadre de cette organisation.
Cette institution devrait se concentrer sur les risques potentiels de survie de Goutte, plutôt que sur la résolution de problèmes qui devraient être traités par des pays individuels, tels que la définition du contenu autorisé par l’intelligence artificielle.
Troisièmement, nous avons besoin de la capacité technologique pour garantir la sécurité d’une super intelligence. C’est un problème de recherche ouvert sur lequel nous et d’autres travaillons dur.
Contenu hors de portée Nous pensons qu’il est important de permettre aux entreprises et aux projets Open Source de développer des modèles en dessous d’un seuil de compétence significatif, sans avoir besoin de réglementation telle que décrite ici (y compris des mécanismes fastidieux tels que des licences ou des audits).
Le système actuel crée une valeur énorme pour le monde, bien qu’il comporte des risques qui sont comparables à ceux des autres technologies Internet, et les mesures prises par la société semblent appropriées.
En comparaison, le système que nous suivons aura des capacités qui dépassent toute technologie actuelle. Par conséquent, nous devons faire attention à ne pas affaiblir notre suivi de ces systèmes en appliquant des normes similaires à des technologies bien en deçà de ce seuil.
La participation du public et son impact potentiel Cependant, pour la gouvernance des systèmes les plus puissants et les décisions qui les concernent, une surveillance publique robuste est nécessaire. Nous pensons que les peuples du monde devraient décider démocratiquement des limites et des paramètres par défaut des systèmes d’IA. Bien que nous ne sachions pas encore comment concevoir de tels mécanismes, nous prévoyons d’expérimenter pour favoriser leur développement. Dans des limites étendues, nous pensons toujours que les utilisateurs individuels devraient avoir un contrôle important sur le comportement des systèmes d’IA qu’ils utilisent.
Compte tenu des risques et des difficultés, il vaut la peine de réfléchir à la raison pour laquelle cette technologie doit être développée.
Chez OpenAI, nous avons deux raisons fondamentales. Tout d’abord, nous croyons que cette technologie apportera un avenir meilleur que ce que nous pouvons imaginer aujourd’hui (nous avons déjà vu quelques exemples précoces dans des domaines tels que l’éducation, le travail créatif et la productivité personnelle).
Le monde est confronté à de nombreux problèmes et nous avons besoin de plus d’aide pour les résoudre ; cette technologie peut améliorer notre société, et la capacité créative de chacun à utiliser ces nouveaux outils nous surprendra certainement. La hausse de l’économie et de la qualité de vie sera étonnante.
Deuxièmement, nous pensons que l’arrêt de la création d’une super-intelligence est une tâche risquée et difficile sur le plan intuitif.
Parce que les avantages apportés par l’intelligence artificielle sont si énormes, le coût de sa construction est en baisse chaque année, le nombre de personnes impliquées dans sa construction augmente rapidement, et elle fait fondamentalement partie de notre développement technologique. Pour arrêter son développement, il faudrait des mesures similaires à un système de surveillance mondial, mais même de telles mesures ne garantiraient pas le succès.
Par conséquent, nous devons faire les choses correctement.
Le chemin vers l’AGI réalise la transformation de la valeur cognitive et des ressources ici, trouve des individus super AGI partageant les mêmes idées, et construit ainsi une communauté de coopération et de co-création AGI basée sur le modèle DAO.
Partage et interprétation des articles de recherche AI de pointe, pour vous permettre de prendre une longueur d’avance sur les tendances technologiques avant les autres. Deuxièmement, vous aurez la possibilité de participer à des salons de recherche AI et peut-être de collaborer avec les auteurs de ces articles.
2, partager ici des sources d’information de qualité ainsi que découvrir comment les sources d’information de qualité peuvent aider dans la carrière personnelle et établir une base de connaissances durable à long terme (comme l’Arbitrage des connaissances entre la communauté chinoise et anglaise).
3, analyse stratégique du développement des individus et des entreprises dans l’ère AGI et Web3, consolidation de la base et stratégie de développement de levier.
* Le programme de co-création des gestionnaires va bientôt être lancé;
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Trump et Musk discutent de politique pendant 2 heures chez X Space, avec un lot de Jetons Meme politiques, Jouons à Créer une position.
Pourquoi l’IA a besoin de gouvernance
Dans les deux communautés de développeurs AGI chinois et anglais, la communauté chinoise discute davantage de l’augmentation de la productivité apportée par la technologie AI, mettant davantage l’accent sur le développement et la découverte des besoins en outils AI, et sur la mise à niveau et la transformation des structures industrielles existantes. En revanche, dans la communauté de développeurs anglophones, l’accent est davantage mis sur une forme de paradigme technologique représentée par Auto-GPT, réalisant une exécution entièrement automatique et hautement intelligent de tâches AGI automatisées. L’exploration de ces deux voies technologiques différentes signifie une différence dans les risques et la gouvernance de l’IA auxquels seront confrontées les communautés de développeurs chinois et anglophones à l’avenir. Les géants de l’IA de la communauté anglophone sont beaucoup plus conscients des risques liés à l’IA que les cadres de sociétés technologiques en Chine. Par exemple, dans la charte OpenAI, on peut voir que OpenAI a toujours pris en compte la sécurité de l’IA et une réglementation raisonnable depuis ses débuts ; la communauté chinoise était absente de l’appel de Musk à arrêter l’entraînement de GPT-5. Les développeurs de la communauté chinoise devraient se considérer comme des développeurs mondiaux, réfléchir de manière proactive et explorer comment faire face aux nouveaux risques mondiaux de l’ère de l’AGI et explorer la gouvernance de l’AGI. Dans le dernier article d’OpenAI, la proposition de gouvernance de la superintelligence consiste à établir un organisme de réglementation international. En fait, la Chine devrait participer activement à ce processus de manière proactive. Sinon, la capacité de dicter l’ordre technologique de l’ère AGI sera désavantagée et les coûts de correction ultérieurs seront élevés. Ces coûts de correction ne sont pas seulement des coûts économiques, mais aussi une invasion invisible basée sur l’éthique et la discipline omniprésentes de l’IA. Comme mentionné dans l’article "Despite “super-human” performance, current LLMs are unsuited for decisions about ethics and safety”, Lorsque le modèle de rappel fournit des raisons à ses réponses, nous sommes confrontés à de graves problèmes, notamment la défense des situations les plus odieuses et l’illusion de faits inexistants dans la situation d’origine. Ces problèmes, associés aux attaques de réécriture susmentionnées et aux erreurs systématiques, montrent clairement que les LLM actuels ne sont pas adaptés à la prise de décisions éthiques ou sécuritaires. Lorsque l’IA franchit les limites de l’éthique et de la sécurité, et guide le public dans une position morale en apparence raisonnable, le dialogue interactif représenté par les grands modèles de langage continuera à être amélioré et à construire les faits et théories nécessaires à cette position morale, permettant ainsi aux entreprises d’IA d’exercer un “moral disciplining” dans le domaine public à travers “l’illusion de raisonnement”. À partir de la protection des politiques publiques et des données personnelles, pouvons-nous discuter d’un modèle de gouvernance de l’IA distribué, car l’IA habilite l’émergence d’une nouvelle génération de superindividus, les futurs individus auront généralement des données massives dépassant celles des organisations d’entreprise actuelles, ces individus devraient logiquement avoir un plus grand pouvoir de parole dans les dialogues publics. Avec DAO comme représentant du nouveau paradigme organisationnel, comment obtenir le soutien et la protection des politiques publiques en ce qui concerne la 01928374656574839201 de données et la sécurité des transactions pour les super-individus est un défi de gouvernance auquel nous sommes confrontés.
Gouvernance super intelligente
Sam AltmanGreg BrockmanIlya Sutskever
C’est le bon moment pour commencer à réfléchir à la gouvernance de l’intelligence artificielle superintelligente - les futurs systèmes d’intelligence artificielle auront des capacités révolutionnaires, même supérieures à celles de l’intelligence artificielle générale (AGI). D’après ce que nous avons observé jusqu’à présent, on peut imaginer que, dans les dix prochaines années, les systèmes d’intelligence artificielle dépasseront le niveau d’expertise dans la plupart des domaines et seront capables d’effectuer des activités de production équivalentes à celles des plus grandes entreprises d’aujourd’hui. Que ce soit pour le meilleur ou pour le pire, l’intelligence artificielle superpuissante sera plus puissante que toute autre technologie à laquelle l’humanité a été confrontée dans le passé. Nous pourrions avoir un avenir de prospérité immense, mais nous devons gérer les risques pour y parvenir. Compte tenu des risques potentiels pour la survie, nous ne pouvons pas nous contenter d’une stratégie passive. L’énergie nucléaire est un exemple historique courant de cette caractéristique technologique ; la biologie synthétique en est un autre. Nous devons atténuer les risques de la technologie d’intelligence artificielle d’aujourd’hui, mais la superintelligence nécessitera un traitement et une coordination spécifiques. Un point de départ Dans notre réussite à guider ce processus de développement, il y a beaucoup d’idées importantes que nous devons suivre de près. Ici, nous avons exploré trois de ces idées. Tout d’abord, nous devons coordonner nos efforts de développement principaux pour assurer à la fois la sécurité et la fusion transparente de la super intelligence. Cela peut être réalisé de plusieurs manières: les gouvernements du monde entier peuvent établir conjointement un projet pour absorber les nombreux efforts actuels; ou nous pouvons convenir d’un protocole (avec le soutien de la nouvelle organisation mentionnée ci-dessous) pour limiter la hausse de la capacité d’intelligence artificielle à un taux spécifique chaque année. Bien sûr, nous devrions également demander des exigences de responsabilité très élevées à certaines entreprises pour exiger qu’elles agissent avec rigueur. Ensuite, ***nous aurons très probablement besoin, à la fin, d’une organisation similaire à l’Agence internationale de l’énergie atomique (AIEA) pour superviser les efforts liés à l’intelligence artificielle. Tout effort dépassant un certain seuil de capacité (ou de ressources de calcul, etc.) devrait être soumis à la supervision d’une autorité internationale, capable d’inspecter les systèmes, d’exiger des audits, de vérifier la conformité aux normes de sécurité et de restreindre le déploiement et le niveau de sécurité. Le suivi des calculs et de la consommation d’énergie peut avoir un impact considérable et nous donne un peu d’espoir quant à la capacité de mettre en œuvre cette idée. En tant que première étape, la société peut accepter volontairement de commencer à mettre en œuvre certains éléments qui pourraient être requis à l’avenir par l’organisation, et en tant que deuxième étape, certains pays peuvent mettre en œuvre le cadre de cette organisation. Cette institution devrait se concentrer sur les risques potentiels de survie de Goutte, plutôt que sur la résolution de problèmes qui devraient être traités par des pays individuels, tels que la définition du contenu autorisé par l’intelligence artificielle. Troisièmement, nous avons besoin de la capacité technologique pour garantir la sécurité d’une super intelligence. C’est un problème de recherche ouvert sur lequel nous et d’autres travaillons dur. Contenu hors de portée Nous pensons qu’il est important de permettre aux entreprises et aux projets Open Source de développer des modèles en dessous d’un seuil de compétence significatif, sans avoir besoin de réglementation telle que décrite ici (y compris des mécanismes fastidieux tels que des licences ou des audits). Le système actuel crée une valeur énorme pour le monde, bien qu’il comporte des risques qui sont comparables à ceux des autres technologies Internet, et les mesures prises par la société semblent appropriées. En comparaison, le système que nous suivons aura des capacités qui dépassent toute technologie actuelle. Par conséquent, nous devons faire attention à ne pas affaiblir notre suivi de ces systèmes en appliquant des normes similaires à des technologies bien en deçà de ce seuil. La participation du public et son impact potentiel Cependant, pour la gouvernance des systèmes les plus puissants et les décisions qui les concernent, une surveillance publique robuste est nécessaire. Nous pensons que les peuples du monde devraient décider démocratiquement des limites et des paramètres par défaut des systèmes d’IA. Bien que nous ne sachions pas encore comment concevoir de tels mécanismes, nous prévoyons d’expérimenter pour favoriser leur développement. Dans des limites étendues, nous pensons toujours que les utilisateurs individuels devraient avoir un contrôle important sur le comportement des systèmes d’IA qu’ils utilisent. Compte tenu des risques et des difficultés, il vaut la peine de réfléchir à la raison pour laquelle cette technologie doit être développée. Chez OpenAI, nous avons deux raisons fondamentales. Tout d’abord, nous croyons que cette technologie apportera un avenir meilleur que ce que nous pouvons imaginer aujourd’hui (nous avons déjà vu quelques exemples précoces dans des domaines tels que l’éducation, le travail créatif et la productivité personnelle). Le monde est confronté à de nombreux problèmes et nous avons besoin de plus d’aide pour les résoudre ; cette technologie peut améliorer notre société, et la capacité créative de chacun à utiliser ces nouveaux outils nous surprendra certainement. La hausse de l’économie et de la qualité de vie sera étonnante. Deuxièmement, nous pensons que l’arrêt de la création d’une super-intelligence est une tâche risquée et difficile sur le plan intuitif. Parce que les avantages apportés par l’intelligence artificielle sont si énormes, le coût de sa construction est en baisse chaque année, le nombre de personnes impliquées dans sa construction augmente rapidement, et elle fait fondamentalement partie de notre développement technologique. Pour arrêter son développement, il faudrait des mesures similaires à un système de surveillance mondial, mais même de telles mesures ne garantiraient pas le succès. Par conséquent, nous devons faire les choses correctement.
Le chemin vers l’AGI réalise la transformation de la valeur cognitive et des ressources ici, trouve des individus super AGI partageant les mêmes idées, et construit ainsi une communauté de coopération et de co-création AGI basée sur le modèle DAO.