00:00...
...

[1] 00:12I write fiction sci-fi thrillers,
Tradutor: Mário Canudo Revisora: Margarida Ferreira

[2] 00:15so if I say "killer robots,"
Eu escrevo "thrillers" de ficção científica,

[3] 00:18you'd probably think something like this.
por isso, se disser "robôs assassinos"

[4] 00:20But I'm actually not here to talk about fiction.
provavelmente pensarão em algo deste género.

[5] 00:22I'm here to talk about very real killer robots,
Mas, na verdade, não estou aqui para falar sobre ficção.

[6] 00:25autonomous combat drones.
Estou aqui para falar de robôs assassinos muito reais,

[7] 00:29Now, I'm not referring to Predator and Reaper drones,
"drones" de combate autónomos.

[8] 00:32which have a human making targeting decisions.
Não me estou a referir aos "drones" Predator e Reaper,

[9] 00:35I'm talking about fully autonomous robotic weapons
que têm um ser humano a decidir os alvos.

[10] 00:39that make lethal decisions about human beings
Estou a falar de armas robóticas totalmente autónomas

[11] 00:41all on their own.
que tomam decisões letais sobre seres humanos

[12] 00:44There's actually a technical term for this: lethal autonomy.
por si mesmas.

[13] 00:48Now, lethally autonomous killer robots
Existe mesmo um termo técnico: autonomia letal.

[14] 00:50would take many forms -- flying, driving,
Os robôs assassinos com autonomia letal

[15] 00:54or just lying in wait.
podem assumir várias formas - a voar, a conduzir,

[16] 00:56And actually, they're very quickly becoming a reality.
ou simplesmente imóveis, à espera.

[17] 00:59These are two automatic sniper stations
Na verdade, estão rapidamente a tornar-se uma realidade.

[18] 01:02currently deployed in the DMZ between North and South Korea.
Isto são duas estações automáticas de tiro,

[19] 01:06Both of these machines are capable of automatically
utilizadas hoje na zona desmilitarizada entre a Coreia do Norte e a do Sul.

[20] 01:08identifying a human target and firing on it,
Estas duas máquinas podem identificar automaticamente

[21] 01:12the one on the left at a distance of over a kilometer.
um alvo humano e disparar sobre ele,

[22] 01:16Now, in both cases, there's still a human in the loop
o da esquerda, a uma distância de mais de um quilómetro.

[23] 01:20to make that lethal firing decision,
Em ambos os casos, ainda há um ser humano no meio

[24] 01:22but it's not a technological requirement. It's a choice.
que toma a decisão letal de disparar,

[25] 01:27And it's that choice that I want to focus on,
mas não é um requisito tecnológico, é uma opção.

[26] 01:31because as we migrate lethal decision-making
É nessa opção que me quero focar

[27] 01:33from humans to software,
porque, à medida que mudamos a tomada de decisão letal

[28] 01:36we risk not only taking the humanity out of war,
de seres humanos para "software",

[29] 01:40but also changing our social landscape entirely,
arriscamos retirar a humanidade da guerra

[30] 01:43far from the battlefield.
e ainda mudar inteiramente o nosso panorama social,

[31] 01:45That's because the way humans resolve conflict
longe do campo de batalha.

[32] 01:50shapes our social landscape.
Isto porque a maneira com que os seres humanos resolvem conflitos

[33] 01:52And this has always been the case, throughout history.
molda o nosso panorama social.

[34] 01:54For example, these were state-of-the-art weapons systems
Foi sempre assim, em toda a História.

[35] 01:57in 1400 A.D.
Por exemplo, estes eram sistemas de armas de última geração

[36] 01:59Now they were both very expensive to build and maintain,
no início do século XV.

[37] 02:02but with these you could dominate the populace,
Tinham ambos custos de construção e manutenção muito altos

[38] 02:05and the distribution of political power in feudal society reflected that.
mas, com eles, podia-se dominar o povo

[39] 02:09Power was focused at the very top.
e a distribuição do poder político na sociedade feudal reflectia isso.

[40] 02:12And what changed? Technological innovation.
O poder estava concentrado no topo.

[41] 02:16Gunpowder, cannon.
O que mudou? A inovação tecnológica.

[42] 02:17And pretty soon, armor and castles were obsolete,
A pólvora, o canhão.

[43] 02:21and it mattered less who you brought to the battlefield
Rapidamente, a armadura e os castelos tornaram-se obsoletos.

[44] 02:24versus how many people you brought to the battlefield.
Passou a contar menos quem ia para o campo de batalha

[45] 02:28And as armies grew in size, the nation-state arose
e a contar mais quantos iam para o campo de batalha.

[46] 02:31as a political and logistical requirement of defense.
À medida que os exércitos aumentavam, surgiu o estado-nação

[47] 02:35And as leaders had to rely on more of their populace,
como um requisito político e logístico de defesa.

[48] 02:37they began to share power.
Como os líderes dependiam mais do povo,

[49] 02:39Representative government began to form.
começaram a partilhar o poder.

[50] 02:42So again, the tools we use to resolve conflict
Começou a surgir o governo representativo.

[51] 02:45shape our social landscape.
Portanto, as ferramentas que usamos para resolver os conflitos

[52] 02:48Autonomous robotic weapons are such a tool,
moldam o nosso panorama social.

[53] 02:52except that, by requiring very few people to go to war,
As armas robóticas autónomas são uma dessas ferramentas,

[54] 02:58they risk re-centralizing power into very few hands,
com a diferença de que, como são precisas muito poucas pessoas na guerra,

[55] 03:02possibly reversing a five-century trend toward democracy.
corre-se o risco de voltar a centralizar o poder numa minoria,

[56] 03:09Now, I think, knowing this,
possivelmente invertendo uma tendência de cinco séculos para a democracia.

[57] 03:11we can take decisive steps to preserve our democratic institutions,
Penso que, sabendo isto,

[58] 03:15to do what humans do best, which is adapt.
podemos tomar medidas decisivas para preservar

[59] 03:19But time is a factor.
as nossas instituições democráticas,

[60] 03:21Seventy nations are developing remotely-piloted
para fazer o que os seres humanos fazem melhor, ou seja adaptarem-se.

[61] 03:24combat drones of their own,
Mas o tempo é um factor.

[62] 03:26and as you'll see, remotely-piloted combat drones
Há 70 nações a desenvolver os seus próprios "drones" de combate

[63] 03:29are the precursors to autonomous robotic weapons.
pilotados por controlo remoto.

[64] 03:33That's because once you've deployed remotely-piloted drones,
Como verão, os "drones" de combate, pilotados por controlo remoto,

[65] 03:36there are three powerful factors pushing decision-making
são os precursores das armas robóticas autónomas.

[66] 03:39away from humans and on to the weapon platform itself.
Porque quando se utilizam "drones" com controlo remoto,

[67] 03:44The first of these is the deluge of video that drones produce.
há três fortes factores que forçam o afastamento da tomada de decisões

[68] 03:49For example, in 2004, the U.S. drone fleet produced
dos seres humanos e a deslocam para a plataforma da arma.

[69] 03:53a grand total of 71 hours of video surveillance for analysis.
O primeiro deles é a grande quantidade de vídeo que os "drones" produzem.

[70] 03:58By 2011, this had gone up to 300,000 hours,
Por exemplo, em 2004, a frota de "drones" do EUA

[71] 04:03outstripping human ability to review it all,
produziu um total de 71 horas de vídeo-vigilância para serem analisadas.

[72] 04:06but even that number is about to go up drastically.
Em 2011, este número subiu para as 300 000 horas,

[73] 04:10The Pentagon's Gorgon Stare and Argus programs
ultrapassando a capacidade humana de analisar tudo.

[74] 04:12will put up to 65 independently operated camera eyes
Apesar disso, este número está a subir drasticamente.

[75] 04:15on each drone platform,
Os programas Gorgon Stare e Argus, do Pentágono

[76] 04:17and this would vastly outstrip human ability to review it.
vão pôr 65 câmaras a funcionar independentemente

[77] 04:21And that means visual intelligence software will need
em cada plataforma de "drone".

[78] 04:23to scan it for items of interest.
Isso vai ultrapassar a capacidade humana de analisar tudo.

[79] 04:27And that means very soon
Significa que o "software" de informações visuais

[80] 04:28drones will tell humans what to look at,
vai precisar de o analisar, à procura de itens de interesse.

[81] 04:31not the other way around.
Significa que muito em breve

[82] 04:33But there's a second powerful incentive pushing
os "drones" irão dizer aos seres humanos para onde olhar,

[83] 04:36decision-making away from humans and onto machines,
e não o contrário.

[84] 04:39and that's electromagnetic jamming,
Mas há um segundo forte incentivo

[85] 04:42severing the connection between the drone
que força a passagem da tomada de decisões dos seres humanos para as máquinas,

[86] 04:44and its operator.
é a interferência electromagnética,

[87] 04:47Now we saw an example of this in 2011
que corta a ligação entre o "drone" e o seu operador.

[88] 04:50when an American RQ-170 Sentinel drone
Vimos um exemplo disto em 2011

[89] 04:53got a bit confused over Iran due to a GPS spoofing attack,
quando um "drone" RQ-170 Sentinel norte-americano

[90] 04:57but any remotely-piloted drone is susceptible to this type of attack,
ficou confuso, ao sobrevoar o Irão, devido a um ataque ao GPS,

[91] 05:02and that means drones
mas qualquer "drone" pilotado por controlo remoto

[92] 05:04will have to shoulder more decision-making.
está sujeito a este tipo de ataque,

[93] 05:08They'll know their mission objective,
e isso significa que os "drones"

[94] 05:11and they'll react to new circumstances without human guidance.
vão ter de assumir mais tomadas de decisão.

[95] 05:16They'll ignore external radio signals
Vão saber o objectivo da sua missão,

[96] 05:18and send very few of their own.
e vão reagir a novas circunstâncias sem orientação humana.

[97] 05:21Which brings us to, really, the third
Vão ignorar sinais de rádio externos

[98] 05:23and most powerful incentive pushing decision-making
e vão enviar muito poucos.

[99] 05:27away from humans and onto weapons:
O que nos leva ao terceiro e mais poderoso incentivo

[100] 05:30plausible deniability.
que força a passagem da tomada de decisões

[101] 05:33Now we live in a global economy.
dos seres humanos para as armas:

[102] 05:36High-tech manufacturing is occurring on most continents.
a negação plausível.

[103] 05:40Cyber espionage is spiriting away advanced designs
Vivemos numa economia global.

[104] 05:43to parts unknown,
Produz-se alta tecnologia na maioria dos continentes.

[105] 05:45and in that environment, it is very likely
A espionagem cibernética está a avançar

[106] 05:47that a successful drone design will be knocked off in contract factories,
para áreas desconhecidas.

[107] 05:52proliferate in the gray market.
Neste ambiente é muito provável

[108] 05:54And in that situation, sifting through the wreckage
que o projecto de um "drone" seja copiado e fabricado em fábricas contratadas

[109] 05:57of a suicide drone attack, it will be very difficult to say
e prolifere no mercado negro.

[110] 06:00who sent that weapon.
Nessa situação, mesmo analisando os destroços

[111] 06:04This raises the very real possibility
de um ataque suicida de um "drone"

[112] 06:07of anonymous war.
vai ser muito difícil dizer quem enviou aquela arma.

[113] 06:10This could tilt the geopolitical balance on its head,
Isso suscita a possibilidade, muito real

[114] 06:12make it very difficult for a nation to turn its firepower
de guerra anónima.

[115] 06:16against an attacker, and that could shift the balance
Isso poderá desequilibrar o equilíbrio geopolítico

[116] 06:19in the 21st century away from defense and toward offense.
tornando muito difícil que uma nação use o seu poder de fogo

[117] 06:22It could make military action a viable option
contra um agressor.

[118] 06:26not just for small nations,
Isso pode mudar o equilíbrio no século XXI, passando-se da defesa para a ofensiva.

[119] 06:28but criminal organizations, private enterprise,
Pode tornar viável a opção da intervenção militar

[120] 06:30even powerful individuals.
não só para as pequenas nações

[121] 06:33It could create a landscape of rival warlords
mas também para organizações criminosas, empresas privadas

[122] 06:36undermining rule of law and civil society.
e até para indivíduos poderosos.

[123] 06:40Now if responsibility and transparency
Pode criar um cenário de senhores da guerra rivais

[124] 06:43are two of the cornerstones of representative government,
a desestabilizar a força da lei e a sociedade civil.

[125] 06:46autonomous robotic weapons could undermine both.
Se a responsabilidade e a transparência

[126] 06:50Now you might be thinking that
são duas bases fundamentais de um governo representativo,

[127] 06:52citizens of high-tech nations
as armas robóticas autónomas poderão subverter as duas coisas.

[128] 06:54would have the advantage in any robotic war,
Podem pensar que

[129] 06:57that citizens of those nations would be less vulnerable,
os cidadãos de nações com alta tecnologia

[130] 07:00particularly against developing nations.
terão vantagem em qualquer guerra robótica

[131] 07:05But I think the truth is the exact opposite.
que os cidadãos dessas nações estarão menos vulneráveis

[132] 07:08I think citizens of high-tech societies
particularmente contra nações em desenvolvimento.

[133] 07:10are more vulnerable to robotic weapons,
Mas penso que a verdade é exactamente o oposto.

[134] 07:14and the reason can be summed up in one word: data.
Penso que os cidadãos de sociedades com alta tecnologia

[135] 07:19Data powers high-tech societies.
são mais vulneráveis a armas robóticas.

[136] 07:22Cell phone geolocation, telecom metadata,
A razão para isso pode resumir-se numa palavra: dados.

[137] 07:25social media, email, text, financial transaction data,
Os dados dão poder às sociedades de alta tecnologia.

[138] 07:29transportation data, it's a wealth of real-time data
Geolocalização por telemóvel, metadados de telecomunicações,

[139] 07:32on the movements and social interactions of people.
redes sociais, email, mensagens de texto, dados de transacções financeiras,

[140] 07:36In short, we are more visible to machines
dados de transportes, há uma riqueza de dados em tempo real

[141] 07:39than any people in history,
sobre os movimentos e interacções sociais das pessoas.

[142] 07:42and this perfectly suits the targeting needs of autonomous weapons.
Em poucas palavras, somos mais visíveis para as máquinas

[143] 07:47What you're looking at here
do que qualquer outro povo na História.

[144] 07:49is a link analysis map of a social group.
Isso encaixa perfeitamente nas necessidades de alvos das armas autónomas.

[145] 07:52Lines indicate social connectedness between individuals.
O que veem aqui

[146] 07:56And these types of maps can be automatically generated
é um mapa de análise de um grupo social.

[147] 07:59based on the data trail modern people leave behind.
As linhas indicam ligações sociais entre indivíduos.

[148] 08:03Now it's typically used to market goods and services
Estes mapas podem ser criados automaticamente

[149] 08:06to targeted demographics, but it's a dual-use technology,
a partir do rasto de dados que as pessoas modernas deixam.

[150] 08:10because targeting is used in another context.
É usado hoje para comercializar bens e serviços

[151] 08:14Notice that certain individuals are highlighted.
dirigidos a perfis demográficos alvo, mas é uma tecnologia com dois usos,

[152] 08:16These are the hubs of social networks.
porque a criação de alvos é usada noutro contexto.

[153] 08:20These are organizers, opinion-makers, leaders,
Reparem que certos indivíduos estão destacados.

[154] 08:23and these people also can be automatically identified
Estes são os centros das redes sociais.

[155] 08:26from their communication patterns.
São os organizadores, os formadores de opinião, os líderes.

[156] 08:28Now, if you're a marketer, you might then target them
Estas pessoas também podem ser automaticamente identificadas

[157] 08:30with product samples, try to spread your brand
através dos seus padrões de comunicação.

[158] 08:33through their social group.
Se formos vendedores, podemos enviar-lhes

[159] 08:36But if you're a repressive government
amostras de produtos, tentar espalhar a nossa marca

[160] 08:38searching for political enemies, you might instead remove them,
no grupo social deles.

[161] 08:42eliminate them, disrupt their social group,
Mas se for um governo repressivo

[162] 08:45and those who remain behind lose social cohesion
à procura de inimigos políticos, pode, em vez disso, removê-los,

[163] 08:48and organization.
eliminá-los, destruir o seu grupo social.

[164] 08:51Now in a world of cheap, proliferating robotic weapons,
Os que ficarem para trás perdem a coerência social

[165] 08:54borders would offer very little protection
e organização.

[166] 08:57to critics of distant governments
Num mundo de proliferação de armas robóticas baratas,

[167] 08:59or trans-national criminal organizations.
as fronteiras oferecerão muito pouca protecção

[168] 09:03Popular movements agitating for change
a críticos de governos distantes

[169] 09:06could be detected early and their leaders eliminated
ou de organizações criminais transnacionais.

[170] 09:10before their ideas achieve critical mass.
Os movimentos populares que reivindicam mudanças

[171] 09:13And ideas achieving critical mass
podem ser detectados cedo e os seus líderes eliminados

[172] 09:15is what political activism in popular government is all about.
antes que as suas ideias se propaguem às massas.

[173] 09:19Anonymous lethal weapons could make lethal action
E as ideias a propagar para atingirem as massas

[174] 09:23an easy choice for all sorts of competing interests.
são a base do activismo politico num governo popular.

[175] 09:27And this would put a chill on free speech
As armas letais anónimas podem fazer com que a acção letal

[176] 09:31and popular political action, the very heart of democracy.
seja uma escolha fácil para todo o tipo de interesses em competição.

[177] 09:36And this is why we need an international treaty
Isto limitará a liberdade de expressão

[178] 09:39on robotic weapons, and in particular a global ban
e a acção política popular, o coração da democracia.

[179] 09:42on the development and deployment of killer robots.
É por isso que precisamos de um acordo internacional sobre armas robóticas

[180] 09:46Now we already have international treaties
e, em especial, uma proibição global

[181] 09:50on nuclear and biological weapons, and, while imperfect,
para o desenvolvimento e uso no campo de robôs assassinos.

[182] 09:53these have largely worked.
Já temos tratados internacionais

[183] 09:55But robotic weapons might be every bit as dangerous,
sobre armas nucleares e biológicas que, apesar de imperfeitos,

[184] 09:59because they will almost certainly be used,
têm funcionado bem.

[185] 10:02and they would also be corrosive to our democratic institutions.
Mas as armas robóticas podem ser muito perigosas

[186] 10:07Now in November 2012 the U.S. Department of Defense
porque quase certamente irão ser usadas

[187] 10:11issued a directive requiring
e também serão corrosivas para as nossas instituições democráticas.

[188] 10:13a human being be present in all lethal decisions.
Em novembro de 2012 o Departamento de Defesa dos EUA

[189] 10:18This temporarily effectively banned autonomous weapons in the U.S. military,
emitiu uma directiva que requeria

[190] 10:23but that directive needs to be made permanent.
um ser humano presente em todas as tomadas de decisão letais.

[191] 10:26And it could set the stage for global action.
Isto baniu, temporariamente, de forma eficaz,

[192] 10:31Because we need an international legal framework
as armas autónomas nas forças armadas dos EUA

[193] 10:34for robotic weapons.
mas é preciso que essa directiva passe a ser permanente.

[194] 10:37And we need it now, before there's a devastating attack
E podia servir de exemplo para uma acção mundial.

[195] 10:40or a terrorist incident that causes nations of the world
Porque precisamos de um enquadramento legal internacional

[196] 10:43to rush to adopt these weapons
para as armas robóticas.

[197] 10:45before thinking through the consequences.
Precisamos disso já, antes que haja um ataque devastador

[198] 10:48Autonomous robotic weapons concentrate too much power
ou um incidente terrorista que faça com que as nações em todo o mundo

[199] 10:51in too few hands, and they would imperil democracy itself.
adotem estas armas à pressa

[200] 10:58Now, don't get me wrong, I think there are tons
antes de pensarem nas consequências.

[201] 11:00of great uses for unarmed civilian drones:
As armas robóticas autónomas concentram demasiado poder em poucas mãos,

[202] 11:03environmental monitoring, search and rescue, logistics.
e colocarão em perigo a democracia.

[203] 11:07If we have an international treaty on robotic weapons,
Não me interpretem mal, acredito que existem

[204] 11:10how do we gain the benefits of autonomous drones
muitos usos óptimos para "drones" civis sem armas:

[205] 11:13and vehicles while still protecting ourselves
monitorização ambiental, procura e salvamento, logística.

[206] 11:16against illegal robotic weapons?
Se tivermos um tratado internacional sobre armas robóticas,

[207] 11:20I think the secret will be transparency.
como é que obtemos os benefícios de "drones" e veículos autónomos

[208] 11:25No robot should have an expectation of privacy
enquanto nos protegemos das armas robóticas ilegais?

[209] 11:28in a public place.
Acho que o segredo será a transparência.

[210] 11:31(Applause)
Nenhum robô deveria ter uma expectativa de privacidade

[211] 11:36Each robot and drone should have
num local público.

[212] 11:38a cryptographically signed I.D. burned in at the factory
(Aplausos)

[213] 11:41that can be used to track its movement through public spaces.
Cada robô e "drone" devia ter um B.I.

[214] 11:44We have license plates on cars, tail numbers on aircraft.
atribuído de maneira críptica na fábrica

[215] 11:47This is no different.
que possa ser usado para seguir os seus movimentos em zonas públicas.

[216] 11:49And every citizen should be able to download an app
Temos matrículas nos carros, números de série nos aviões.

[217] 11:51that shows the population of drones and autonomous vehicles
Isto não é diferente.

[218] 11:54moving through public spaces around them,
Todos os cidadãos deviam poder usar uma aplicação

[219] 11:57both right now and historically.
que mostre a população de "drones" e de veículos autónomos

[220] 12:00And civic leaders should deploy sensors and civic drones
a mover-se pelas zonas públicas à sua volta

[221] 12:03to detect rogue drones,
tanto agora como no passado.

[222] 12:05and instead of sending killer drones of their own up to shoot them down,
E líderes cívicos deveriam implementar sensores e "drones" civis

[223] 12:09they should notify humans to their presence.
para detectar "drones" não autorizados

[224] 12:12And in certain very high-security areas,
e em vez de enviar os seus "drones" assassinos para os abater

[225] 12:14perhaps civic drones would snare them
deviam notificar as pessoas quanto à sua presença.

[226] 12:16and drag them off to a bomb disposal facility.
E em certas áreas de alta segurança

[227] 12:19But notice, this is more an immune system
talvez os "drones" civis fossem capturá-los

[228] 12:22than a weapons system.
e levá-los para uma instalação de neutralização de bombas.

[229] 12:23It would allow us to avail ourselves of the use
Mas notem, isto é mais um sistema imunitário

[230] 12:26of autonomous vehicles and drones
do que um sistema de armas.

[231] 12:28while still preserving our open, civil society.
Permitir-nos-ia o uso de veículos autónomos e de "drones"

[232] 12:32We must ban the deployment and development
e, ao mesmo tempo, preservar a nossa sociedade aberta e civil.

[233] 12:35of killer robots.
Temos de banir o uso e desenvolvimento de robôs assassinos.

[234] 12:37Let's not succumb to the temptation to automate war.
Não podemos cair na tentação de automatizar a guerra.

[235] 12:42Autocratic governments and criminal organizations
Os governos autocráticos e as organizações criminosas

[236] 12:45undoubtedly will, but let's not join them.
fá-lo-ão, sem dúvida, mas não nos juntaremos a eles.

[237] 12:48Autonomous robotic weapons
As armas robóticas autónomas

[238] 12:50would concentrate too much power
irão concentrar demasiado poder

[239] 12:52in too few unseen hands,
em poucas mãos invisíveis

[240] 12:54and that would be corrosive to representative government.
e isso será corrosivo para um governo representativo.

[241] 12:57Let's make sure, for democracies at least,
Vamos garantir que, pelo menos para as democracias,

[242] 13:00killer robots remain fiction.
os robôs assassinos continuem a ser ficção.

[243] 13:03Thank you.
Obrigado.

[244] 13:04(Applause)
(Aplausos)

[245] 13:09Thank you. (Applause)
--245--