PalestrasThe kill decision shouldn't belong to a robotDaniel Suarez·13:13·245 frases em inglês e portuguêstedInglês. . .Português. . .⏮ frase▶ tocarfrase ⏭↻ de novoVelocidade0.5×0.75×1×1.25×1.5×repetir a frasepausar a cada fraseTranscrição245 frasesI write fiction sci-fi thrillers,Escrevo livros de suspense e ficção científica,so if I say "killer robots,"portanto, se eu disser "robôs assassinos",you'd probably think something like this.você provavelmente pensa em algo assim.But I'm actually not here to talk about fiction.Mas, na verdade, não estou aqui para falar de ficção.I'm here to talk about very real killer robots,Estou aqui para falar sobre robôs assassinos muito reais,autonomous combat drones.drones de combate autônomos.Now, I'm not referring to Predator and Reaper drones,Não me refiro aos drones Predator e Reaper,which have a human making targeting decisions.que têm um humano tomando decisões sobre o alvo.I'm talking about fully autonomous robotic weaponsEstou falando de armas robóticas completamente autônomasthat make lethal decisions about human beingsque tomam decisões letais sobre seres humanosall on their own.por si mesmas.There's actually a technical term for this: lethal autonomy.Há na verdade um termo técnico para isso: autonomia letal.Now, lethally autonomous killer robotsBem, robôs assassinos com autonomia letalwould take many forms -- flying, driving,tomariam muitas formas -- voar, dirigiror just lying in wait.ou apenas ficar à espreita.And actually, they're very quickly becoming a reality.E, na verdade, eles estão se tornando realidade muito rapidamente.These are two automatic sniper stationsEstas são duas estações automáticas de tirocurrently deployed in the DMZ between North and South Korea.atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.Both of these machines are capable of automaticallyEssas duas máquinas são capazes de automaticamenteidentifying a human target and firing on it,identificar um alvo humano e atirar nele,the one on the left at a distance of over a kilometer.aquela, à esquerda, a uma distância de mais de um quilômetro.Now, in both cases, there's still a human in the loopAgora, em ambos os casos, ainda há um humano no circuitoto make that lethal firing decision,para tomar a decisão letal de atirar,but it's not a technological requirement. It's a choice.mas isso não é um requisito tecnológico. É uma escolha.And it's that choice that I want to focus on,E é nessa escolha em que quero focar,because as we migrate lethal decision-makingporque, à medida que transferimos a decisão letalfrom humans to software,dos humanos para um programa de computador,we risk not only taking the humanity out of war,colocamos em risco não só tirar a humanidade da guerra,but also changing our social landscape entirely,mas também alterar nossa paisagem social inteiramente,far from the battlefield.longe do campo de batalha.That's because the way humans resolve conflictIsso ocorre porque a maneira como os humanos resolvem conflitosshapes our social landscape.dá forma à nossa paisagem social.And this has always been the case, throughout history.E o caso foi sempre esse, através da história.For example, these were state-of-the-art weapons systemsPor exemplo, estes eram sistemas de armamento de primeira linhain 1400 A.D.em 1400 d.C.Now they were both very expensive to build and maintain,Agora, eles eram muito caros para construir e manter,but with these you could dominate the populace,mas com eles você poderia dominar a população,and the distribution of political power in feudal society reflected that.e a distribuição do poder político na sociedade feudal refletiu isso.Power was focused at the very top.O poder estava focado bem no topo.And what changed? Technological innovation.E o que mudou? Inovação tecnológica.Gunpowder, cannon.Pólvora, canhões.And pretty soon, armor and castles were obsolete,Logo armaduras e castelos estavam obsoletos,and it mattered less who you brought to the battlefielde importava menos quem você trazia para o campo de batalhaversus how many people you brought to the battlefield.do que quantas pessoas você trazia para o campo de batalha.And as armies grew in size, the nation-state aroseE, à medida que exércitos cresceram em tamanho, surgiu a nação-estadoas a political and logistical requirement of defense.como um requisito político e logístico de defesa .And as leaders had to rely on more of their populace,E, à medida que os líderes tiveram que confiar em uma parcela maior da população,they began to share power.eles começaram a compartilhar o poder.Representative government began to form.O governo representativo começou a se formar.So again, the tools we use to resolve conflictOutra vez, as ferramentas que usamos para resolver conflitosshape our social landscape.dão forma à nossa paisagem social.Autonomous robotic weapons are such a tool,Armas robóticas autônomas são ferramentas,except that, by requiring very few people to go to war,apesar de que, ao exigirem poucas pessoas numa guerra,they risk re-centralizing power into very few hands,colocam em risco 'recentralizar' o poder em muito poucas mãos,possibly reversing a five-century trend toward democracy.possivelmente revertendo uma tendência de cinco séculos em direção à democracia.Now, I think, knowing this,Agora, penso que, conhecendo isto,we can take decisive steps to preserve our democratic institutions,podemos dar passos decisivos para preservar nossas instituições democráticas,to do what humans do best, which is adapt.fazendo o que os humanos fazem melhor, que é adaptar-se.But time is a factor.Mas o tempo é um fator.Seventy nations are developing remotely-pilotedSetenta nações estão desenvolvendo, por conta própria,combat drones of their own,drones de combate pilotados remotamente,and as you'll see, remotely-piloted combat dronese, como vocês verão, drones de combate pilotados remotamenteare the precursors to autonomous robotic weapons.são os precursores das armas robóticas autônomas.That's because once you've deployed remotely-piloted drones,Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,there are three powerful factors pushing decision-makinghá três fatores poderosos agindo no sentido de que a tomada de decisãoaway from humans and on to the weapon platform itself.passe dos humanos para a própria plataforma de armas.The first of these is the deluge of video that drones produce.O primeiro deles é a inundação de vídeos que os drones produzem.For example, in 2004, the U.S. drone fleet producedPor exemplo, em 2004, a frota de drones dos E.U.A. produziua grand total of 71 hours of video surveillance for analysis.um total de 71 horas de vídeos de vigilância para análise.By 2011, this had gone up to 300,000 hours,Em 2011, isso tinha aumentado para 300.000 horas,outstripping human ability to review it all,superando a capacidade humana de revisá-los todos,but even that number is about to go up drastically.mas mesmo esse número deve aumentar drasticamente.The Pentagon's Gorgon Stare and Argus programsOs programas Gorgon Stare e Argus do Pentagono,will put up to 65 independently operated camera eyescolocarão 65 câmeras operadas independentementeon each drone platform,em cada plataforma de drones,and this would vastly outstrip human ability to review it.e isto superará e muito a capacidade humana de revisá-las.And that means visual intelligence software will needIsso significa que software visual inteligente precisaráto scan it for items of interest.verificá-las para itens de interesse.And that means very soonIsso significa que muito em brevedrones will tell humans what to look at,os drones dirão aos humanos o que olhar,not the other way around.não o contrário.But there's a second powerful incentive pushingMas há um segundo incentivo poderoso agindo para quedecision-making away from humans and onto machines,a tomada de decisão passe dos humanos para as máquinas,and that's electromagnetic jamming,que é o congestionamento eletromagnéticosevering the connection between the droneinterrompendo a conexão entre o droneand its operator.e seu operador.Now we saw an example of this in 2011Vimos um exemplo disso, em 2011,when an American RQ-170 Sentinel dronequando o drone Sentinel RQ-170got a bit confused over Iran due to a GPS spoofing attack,ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,but any remotely-piloted drone is susceptible to this type of attack,mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,and that means dronese isso significa que os droneswill have to shoulder more decision-making.terão que ter maior poder de decisão.They'll know their mission objective,Eles conhecerão o objetivo da missão,and they'll react to new circumstances without human guidance.e reagirão a novas circunstâncias sem a supervisão humana.They'll ignore external radio signalsEles ignorarão sinais externos de rádioand send very few of their own.e enviarão muito poucos deles.Which brings us to, really, the thirdO que nos traz, de fato, ao terceiroand most powerful incentive pushing decision-makinge mais poderoso incentivo para transferir a tomada de decisãoaway from humans and onto weapons:dos humanos para as máquinas:plausible deniability.negação plausível.Now we live in a global economy.Atualmente vivemos em uma economia global.High-tech manufacturing is occurring on most continents.A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.Cyber espionage is spiriting away advanced designsA espionagem cibernética está espalhando projetos avançadosto parts unknown,para partes desconhecidas,and in that environment, it is very likelye, neste ambiente, é muito provávelthat a successful drone design will be knocked off in contract factories,que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,proliferate in the gray market.prolifere no mercado paralelo.And in that situation, sifting through the wreckageE, nessa situação, vasculhando os escombrosof a suicide drone attack, it will be very difficult to sayde um ataque sucida de drones, será muito difícil dizerwho sent that weapon.quem enviou aquela arma.This raises the very real possibilityIsto levanta a possibilidade muito realistaof anonymous war.de guerra anônima.This could tilt the geopolitical balance on its head,Isso poderia inclinar o equilíbrio geopolítico no topo,make it very difficult for a nation to turn its firepowertornar muito difícil para uma nação mirar seu poder de fogoagainst an attacker, and that could shift the balancecontra um atacante, e isso poderia alterar o equilíbrio,in the 21st century away from defense and toward offense.no século XXI, da defesa para a ofensa.It could make military action a viable optionPoderia tornar a ação militar uma opção viávelnot just for small nations,não apenas para nações pequenas,but criminal organizations, private enterprise,mas também para organizações criminosas, empresas privadas,even powerful individuals.até mesmo para indivíduos poderosos.It could create a landscape of rival warlordsPoderia criar uma paisagem de senhores da guerra rivaisundermining rule of law and civil society.enfraquecendo a prevalência da lei e a sociedade civil.Now if responsibility and transparencyAgora, se responsabilidade e transparênciaare two of the cornerstones of representative government,são as duas pedras fundamentais do governo representativo,autonomous robotic weapons could undermine both.armas robóticas autônomas poderiam enfraquecer ambas.Now you might be thinking thatBem, vocês podem estar pensando quecitizens of high-tech nationscidadãos de nações com alta tecnologiawould have the advantage in any robotic war,teriam uma vantagem em qualquer guerra robótica,that citizens of those nations would be less vulnerable,que cidadãos dessas nações seriam menos vulneráveis,particularly against developing nations.particularmente em relação a nações em desenvolvimento.But I think the truth is the exact opposite.Mas, penso que a verdade é exatamente o oposto.I think citizens of high-tech societiesPenso que cidadãos de sociedades de alta tecnologiaare more vulnerable to robotic weapons,são mais vulneráveis a armas robóticas,and the reason can be summed up in one word: data.e a razão pode ser resumida em uma palavra: informação.Data powers high-tech societies.A informação dá poder a sociedades de alta tecnologia.Cell phone geolocation, telecom metadata,Geolocalização por celular, metadados de telecomunicação,social media, email, text, financial transaction data,mídia social, email, mensagem de texto, dados de transações financeiras,transportation data, it's a wealth of real-time datadados de transportes, é uma riqueza de dados em tempo realon the movements and social interactions of people.dos movimentos e interações sociais das pessoas.In short, we are more visible to machinesEm resumo, somos mais visíveis para as máquinasthan any people in history,que qualquer outro povo na história,and this perfectly suits the targeting needs of autonomous weapons.e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.What you're looking at hereO que estão vendo aquiis a link analysis map of a social group.é um mapa com a análise das ligações de um grupo social.Lines indicate social connectedness between individuals.As linhas indicam a conectividade social entre indivíduos.And these types of maps can be automatically generatedE esses tipos de mapas podem ser gerados automaticamentebased on the data trail modern people leave behind.baseados no rastro de dados que as pessoas modernas deixam para trás.Now it's typically used to market goods and servicesAgora, isso é tipicamente usado para propaganda de bens e serviçosto targeted demographics, but it's a dual-use technology,para populações alvo, mas é uma tecnologia de uso duplobecause targeting is used in another context.porque o alvo é usado em outro contexto.Notice that certain individuals are highlighted.Observe que certos indivíduos estão destacados.These are the hubs of social networks.Estes são os centros de redes sociais.These are organizers, opinion-makers, leaders,Eles são organizadores, formadores de opinião, líderes,and these people also can be automatically identifiede essas pessoas também podem ser automaticamente identificadasfrom their communication patterns.pelos seus padrões de comunicação.Now, if you're a marketer, you might then target themAgora, se você é um marqueteiro, você pode atingi-laswith product samples, try to spread your brandcom amostras de produtos, tentar espalhar sua marcathrough their social group.através do grupo social deles.But if you're a repressive governmentMas, se você é um governo repressorsearching for political enemies, you might instead remove them,procurando inimigos políticos, você pode ao invés removê-los,eliminate them, disrupt their social group,eliminá-los, destruir o grupo social deles,and those who remain behind lose social cohesione aqueles que restarem perdem a coesão socialand organization.e a organização.Now in a world of cheap, proliferating robotic weapons,Agora, em um mundo onde proliferam armas robóticas baratas,borders would offer very little protectionas fronteiras ofereceriam muito pouca proteçãoto critics of distant governmentspara críticos de governos distantesor trans-national criminal organizations.ou organizações criminosas transnacionais.Popular movements agitating for changeMovimentos populares se agitando por mudançacould be detected early and their leaders eliminatedpoderiam ser detectados logo, e seus líderes eliminadosbefore their ideas achieve critical mass.antes que suas ideias atinjam massa crítica.And ideas achieving critical massE ideias atingindo massa críticais what political activism in popular government is all about.tem tudo a ver com ativismo político em governos populares.Anonymous lethal weapons could make lethal actionArmas letais anônimas poderiam tornar a ação letalan easy choice for all sorts of competing interests.uma escolha fácil para todos os tipos de interesses concorrentes.And this would put a chill on free speechE isso congelaria o discurso livreand popular political action, the very heart of democracy.e a ação política popular, o próprio coração da democracia.And this is why we need an international treatyE é por isto que precisamos de um tratado internacionalon robotic weapons, and in particular a global bansobre armas robóticas, e, em particular, o banimento globalon the development and deployment of killer robots.do desenvolvimento e implantação de robôs assassinos.Now we already have international treatiesAgora, nós já temos tratados internacionaison nuclear and biological weapons, and, while imperfect,sobre armas nucleares e biológicas, e, ainda que imperfeitos,these have largely worked.eles têm funcionado amplamente.But robotic weapons might be every bit as dangerous,Mas as armas robóticas podem ser um pouco mais perigosas,because they will almost certainly be used,porque elas serão usadas quase que com certeza,and they would also be corrosive to our democratic institutions.e elas também seriam corrosivas para nossas instituições democráticas.Now in November 2012 the U.S. Department of DefenseAgora, em novembro de 2012, o Departamento de Defesa dos EUAissued a directive requiringemitiu uma diretriz exigindoa human being be present in all lethal decisions.que um ser humano esteja presente em todas as decisões letais.This temporarily effectively banned autonomous weapons in the U.S. military,Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,but that directive needs to be made permanent.mas essa diretriz precisa tornar-se permanente.And it could set the stage for global action.E ela poderia preparar o palco para a ação global.Because we need an international legal frameworkPorque precisamos de uma estrutura legal internacionalfor robotic weapons.para armas robóticas.And we need it now, before there's a devastating attackE precisamos disto agora, antes que haja um ataque devastadoror a terrorist incident that causes nations of the worldou um incidente terrorista que provoque uma corridato rush to adopt these weaponsentre as nações do mundo para adotar essas armas,before thinking through the consequences.antes de pensar nas consequências.Autonomous robotic weapons concentrate too much powerArmas robóticas autônomas concentram poder demaisin too few hands, and they would imperil democracy itself.em poucas mãos, e poderiam pôr em risco a própria democracia.Now, don't get me wrong, I think there are tonsAgora, não me entendam mal, penso que há toneladasof great uses for unarmed civilian drones:de ótimos usos para drones civis desarmados:environmental monitoring, search and rescue, logistics.monitoramento ambiental, busca e resgate, logística.If we have an international treaty on robotic weapons,Se tivermos um tratado internacional sobre armas robóticas,how do we gain the benefits of autonomous dronescomo obtemos os benefícios de drones e veículos autônomosand vehicles while still protecting ourselvese ainda nos protegemosagainst illegal robotic weapons?contra armas robóticas ilegais?I think the secret will be transparency.Penso que o segredo será a transparência.No robot should have an expectation of privacyNenhum robô deveria ter expectativa de privacidadein a public place.em local público.(Applause)(Aplausos)Each robot and drone should haveCada robô e drone deveriam tera cryptographically signed I.D. burned in at the factoryuma assinatura de identificação criptografada e marcada na fábricathat can be used to track its movement through public spaces.que pudesse ser usada para rastrear seus movimentos em espaços públicos.We have license plates on cars, tail numbers on aircraft.Temos placas em carros, números em aeronaves.This is no different.Isto não é diferente.And every citizen should be able to download an appE cada cidadão deveria ser capaz de baixar um aplicativothat shows the population of drones and autonomous vehiclesque mostrasse a população de drones e veículos autônomosmoving through public spaces around them,transitando em espaços públicos ao redor delas,both right now and historically.tanto naquele momento quanto o histórico dessa movimentação.And civic leaders should deploy sensors and civic dronesE líderes civis deveriam instalar sensores e drones civisto detect rogue drones,para detectar drones intrusos,and instead of sending killer drones of their own up to shoot them down,que, em vez de enviar drones assassinos próprios para abatê-los,they should notify humans to their presence.deveriam notificar os humanos da presença deles.And in certain very high-security areas,E, em certas áreas de segurança máxima,perhaps civic drones would snare themtalvez drones civis pudessem emboscá-losand drag them off to a bomb disposal facility.e arrastá-los para instalações de descarte de bombas.But notice, this is more an immune systemMas vejam, isto é mais um sistema imunológicothan a weapons system.que um sistema de armamento.It would allow us to avail ourselves of the useEle nos permitiria o benefício do usoof autonomous vehicles and dronesde veículos autônomos e droneswhile still preserving our open, civil society.e ainda a preservação de nossa sociedade civil e aberta.We must ban the deployment and developmentDevemos banir a instalação e o desenvolvimentoof killer robots.de robôs assassinos.Let's not succumb to the temptation to automate war.Não vamos sucumbir à tentação de automatizar a guerra.Autocratic governments and criminal organizationsGovernos autocráticos e organizações criminosas,undoubtedly will, but let's not join them.sem dúvida, vão, mas não vamos nos juntar a eles.Autonomous robotic weaponsArmas robóticas autônomaswould concentrate too much powerconcentrariam poder demaisin too few unseen hands,em poucas mãos não vistas,and that would be corrosive to representative government.e isso seria corrosivo para o governo representativo.Let's make sure, for democracies at least,Vamos nos certificar, para democracias ao menos,killer robots remain fiction.de que robôs assassinos continuem sendo ficção.Thank you.Obrigado.(Applause)(Aplausos)Thank you. (Applause)Obrigado. (Aplausos)Clique em qualquer frase para ouvir a partir dela. No teclado: espaço toca e pausa, as setas andam frase a frase, R repete, L deixa a frase em loop.Vídeo The kill decision shouldn't belong to a robot paradoMais como Daniel Suarez7:47What I discovered in New York City trashRobin Nagle22:46Where Does Creativity Hide?Amy Tan11:33Math class needs a makeoverDan Meyer16:30Building a dinosaur from a chickenJack Horner5:24One very dry demoMark Shaw13:35Why democracy mattersRory Stewart11:53What is the Internet, really?Andrew Blum19:54The real reason for brainsDaniel Wolpert
7:47
22:46
11:33
16:30
5:24
13:35
11:53
19:54