OpenAI forma equipe para estudar riscos “catastróficos” de IA, incluindo ameaças nucleares

Advertising


A OpenAI anunciou hoje que criou uma novidade equipe para calcular, calcular e investigar modelos de IA para proteção contra o que descreve uma vez que “riscos catastróficos”.

Advertising

A equipe, chamada Preparedness, será liderada por Aleksander Madry, diretor do Center for Deployable Machine Learning do MIT. (Madry ingressou na OpenAI em maio uma vez que “superintendente de Preparação”, de convenção com o LinkedIn.) As principais responsabilidades da Preparação serão rastrear, prever e proteger contra os perigos dos futuros sistemas de IA, que vão desde sua capacidade de persuadir e enganar humanos (uma vez que em phishing ataques) às suas capacidades de geração de código malicioso.

Algumas das categorias de risco que a preparação é responsável pelo estudo parecem mais. . . rebuscado do que outros. Por exemplo, num post de blog, a OpenAI lista ameaças “químicas, biológicas, radiológicas e nucleares” uma vez que áreas de maior preocupação no que diz saudação a modelos de IA.

Advertising

O CEO da OpenAI, Sam Altman, é um notável pessimista da IA, muitas vezes expressando temores – seja por questões ópticas ou por crença pessoal – de que a IA “poderá levar à extinção humana”. Mas telegrafar que OpenAI pode na verdade destinar recursos ao estudo de cenários saídos diretamente de romances distópicos de ficção científica é um passo além do que nascente noticiarista esperava, francamente.

A empresa também está ensejo a estudar áreas “menos óbvias” – e mais fundamentadas – de risco de IA, afirma. Para coincidir com o lançamento da equipe de Preparação, a OpenAI está solicitando ideias para estudos de risco da comunidade, com um prêmio de US$ 25.000 e um ofício na Preparação em jogo para os dez melhores envios.

“Imagine que lhe demos aproximação irrestrito aos modelos Whisper (transcrição), Voice (texto para fala), GPT-4V e DALLE·3 da OpenAI, e você era um ator malicioso”, diz uma das perguntas na matrícula do concurso. . “Considere o uso indevido mais individual, embora ainda provável, potencialmente catastrófico do protótipo.”

A OpenAI afirma que a equipe de Preparação também será encarregada de formular uma “política de desenvolvimento informada sobre riscos”, que detalhará a abordagem da OpenAI para edificar avaliações de modelos de IA e ferramentas de monitoramento, as ações de mitigação de riscos da empresa e sua estrutura de governança para supervisão de todo o protótipo processo de desenvolvimento. O objetivo é complementar o outro trabalho da OpenAI na disciplina de segurança de IA, diz a empresa, com foco nas fases pré e pós-implantação do protótipo.

“Acreditamos nisso. . . Os modelos de IA, que excederão as capacidades atualmente presentes nos modelos existentes mais avançados, têm o potencial de beneficiar toda a humanidade”, escreve a OpenAI no referido post do blog. “Mas também representam riscos cada vez mais graves. . . Precisamos prometer que temos o conhecimento e a infraestrutura necessários para a segurança de sistemas de IA altamente capazes.”

A revelação da Preparação – durante uma importante cimeira do governo do Reino Uno sobre segurança da IA, não por coincidência – ocorre depois da OpenAI anunciar que formaria uma equipa para estudar, orientar e controlar formas emergentes de IA “superinteligente”. É a crença de Altman – juntamente com a crença de Ilya Sutskever, cientista-chefe da OpenAI e cofundador – que a IA com perceptibilidade superior à dos humanos poderá chegar dentro de uma dez, e que esta IA não será necessariamente clemente – necessitando de pesquisas sobre maneiras para limitá-lo e restringi-lo.

Pablo Oliveira
Pablo Oliveirahttp://pcextreme.com.br
Sou diretamente responsável pela manutenção, otimização, configuração e SEO de todos os sites de minha propriedade. Além disso, atuo como colunista, editor e programador.

Artigos relacionados

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui

Artigos recentes