A biblioteca de referência em vídeo sobre alinhamento, controle e os problemas que seguem abertos.
Recursos
O que passamos a quem pergunta por onde começar. Quase tudo está em inglês, que é onde o campo publica.
Cinco leituras para começar
Nesta ordem. As duas primeiras não pressupõem nada; a última é uma sequência e leva várias sessões.
- Preventing an AI-related catastrophe (80,000 Hours)
- The Most Important Century (Holden Karnofsky, Cold Takes)
- Why AI alignment could be hard with modern deep learning (Ajeya Cotra, Cold Takes)
- Core Views on AI Safety (Anthropic)
- AGI Safety from First Principles (Richard Ngo, Alignment Forum)
Vídeos
Para entender o campo sem ler um artigo inteiro.
Documentários longos sobre para onde vai a IA. O primeiro, sobre o cenário IA 2027, passou dos dez milhões de reproduções.
Animações que adaptam ensaios clássicos sobre IA, racionalidade e risco existencial.
Explicações animadas e curtas, cada uma sobre um risco ou uma proposta concreta.
Debates e entrevistas em que as duas posições sobre o risco se discutem de frente.
Podcasts
Conversas longas, boas para o trajeto ou a academia.
O podcast de referência em alinhamento técnico: entrevistas extensas com quem faz a pesquisa.
Conversas com pesquisadores, fundadores e gente de política pública sobre o que fazer com a própria carreira.
Semanal, com gente dos laboratórios de fronteira. Serve para acompanhar o que vai saindo.
Entrevistas com pesquisadores, reguladores e filósofos sobre risco existencial.
Livros
Quando você já quer o argumento completo e não um resumo.
Uma narrativa acessível de por que é difícil alinhar um sistema com o que de fato queremos.
O argumento de um dos autores do manual clássico de IA para redefinir o campo em torno da incerteza.
O livro que levou a discussão sobre IA geral ao debate público. É de 2014 e se nota, mas fixa o vocabulário.
A versão mais direta do caso pessimista. Útil mesmo para quem não compartilha a conclusão.
Cursos
Com prazos, tarefas e alguém do outro lado.
A porta de entrada que mais recomendamos. Trabalha-se em grupos de oito com um facilitador, desmontando uma ameaça passo a passo para ver em qual desses passos convém intervir.
Cada unidade deixa algo pronto: um relatório dirigido a quem decide, um mapa de quem manda sobre os modelos de fronteira e uma posição própria defendida por escrito.
Percorre alinhamento, interpretabilidade, avaliações e controle para que você saiba em qual se encaixa. Quem termina pode se candidatar ao sprint de projetos da BlueDot.
Setenta e cinco minutos de palestras gravadas com exercícios. Separa duas maneiras de um objetivo dar errado: o modelo explorar o critério pelo qual é premiado, ou aprender outro objetivo.
Trata a segurança como um problema de engenharia e não só de aprendizado de máquina: leva para a IA o que a aviação e a indústria nuclear aprenderam sobre acidentes.
Programa-se desde o primeiro dia: treinar um transformador, abri-lo para ver o que calcula por dentro e montar um teste que meça um modelo.
Se você quiser ver o campo inteiro
aisafety.com é um diretório aberto com centenas de organizações, programas e projetos, e com quem financia cada coisa.
Rendem mais acompanhados
Percorra-os com mais alguém
No grupo de leitura se discute um a cada quinze dias, e no de WhatsApp se pergunta o que não fecha.