Inglês Mundial

How stats fool juries

Peter Donnelly

0.5x

0.75x

1.25x

1.5x

. . .

[1] 00:25As other speakers have said, it's a rather daunting experience --
Assim como outros já disseram, esta é uma experiência assustadora -

[2] 00:27a particularly daunting experience -- to be speaking in front of this audience.
uma experiência particularmente assustadora - falar para este público.

[3] 00:30But unlike the other speakers, I'm not going to tell you about
Mas diferente dos outros apresentadores, eu não vou falar para vocês sobre

[4] 00:33the mysteries of the universe, or the wonders of evolution,
os mistérios do universo, ou as maravilhas da evolução,

[5] 00:35or the really clever, innovative ways people are attacking
ou as maneiras realmente inteligentes ou inovadoras que as pessoas estão atacando

[6] 00:39the major inequalities in our world.
as maiores desigualdades em nosso mundo.

[7] 00:41Or even the challenges of nation-states in the modern global economy.
Ou ainda os desafios dos estados-nações na economia moderna global.

[8] 00:46My brief, as you've just heard, is to tell you about statistics --
Meu assunto, como vocês acabaram de ouvir, é falar para vocês sobre estatísticas

[9] 00:50and, to be more precise, to tell you some exciting things about statistics.
e, para ser mais preciso, para contar a vocês algumas coisas excitantes sobre estatísticas.

[10] 00:53And that's --
E isto

[11] 00:54(Laughter)
(Risos)

[12] 00:55-- that's rather more challenging
isto ainda é muito mais desafiador

[13] 00:57than all the speakers before me and all the ones coming after me.
do que todos os apresentadores antes de mim e todos que virão depois de mim.

[14] 00:59(Laughter)
(Risos)

[15] 01:01One of my senior colleagues told me, when I was a youngster in this profession,
Um dos meus colegas mais velhos me disse, quando era jovem nesta profissão

[16] 01:06rather proudly, that statisticians were people who liked figures
bem orgulhoso, que os estatísticos eram pessoas que gostavam de números

[17] 01:10but didn't have the personality skills to become accountants.
mas não tinham as habilidades de personalidade para se tornarem contadores.

[18] 01:13(Laughter)
(Risos)

[19] 01:15And there's another in-joke among statisticians, and that's,
E ainda tem uma piada interna entre os estatísticos, que é,

[20] 01:18"How do you tell the introverted statistician from the extroverted statistician?"
"Como você diferencia um estatístico introvertido de um extrovertido?"

[21] 01:21To which the answer is,
Ao que a resposta é,

[22] 01:23"The extroverted statistician's the one who looks at the other person's shoes."
"O estatístico extrovertido é aquele que olha para os sapatos das outras pessoas."

[23] 01:28(Laughter)
(Risos)

[24] 01:31But I want to tell you something useful -- and here it is, so concentrate now.
Mas eu quero dizer a vocês algo útil - e aqui vai, vamos nos concentrar agora.

[25] 01:36This evening, there's a reception in the University's Museum of Natural History.
Esta noite, tem uma recepção no Museu de História Natural da Universidade.

[26] 01:39And it's a wonderful setting, as I hope you'll find,
É uma decoração maravilhosa, como eu espero que vocês irão achar,

[27] 01:41and a great icon to the best of the Victorian tradition.
e é um grande ícone do melhor da tradição Vitoriana.

[28] 01:46It's very unlikely -- in this special setting, and this collection of people --
É bem improvável - ainda mais nesta recepção, e com este tipo de gente -

[29] 01:51but you might just find yourself talking to someone you'd rather wish that you weren't.
pode ser que você se encontre conversando com alguém que você preferiria que não estivesse.

[30] 01:54So here's what you do.
Então, você faz assim:

[31] 01:56When they say to you, "What do you do?" -- you say, "I'm a statistician."
Quando disserem a você, "O que você faz?" -- você diz, "Eu sou estatístico."

[32] 02:00(Laughter)
(Risos)

[33] 02:01Well, except they've been pre-warned now, and they'll know you're making it up.
Bom, a menos que já estejam pré-avisados, e eles vão saber que está inventando.

[34] 02:05And then one of two things will happen.
Uma das duas coisas vai acontecer.

[35] 02:07They'll either discover their long-lost cousin in the other corner of the room
Ou eles vão descobrir seus primos há muito tempo perdidos

[36] 02:09and run over and talk to them.
no outro canto da sala e vão lá correndo conversar com eles.

[37] 02:11Or they'll suddenly become parched and/or hungry -- and often both --
Ou de repente eles vão ficar com sede ou com fome -- ou ambos --

[38] 02:14and sprint off for a drink and some food.
e vão atrás de bebida e alguma coisa para comer.

[39] 02:16And you'll be left in peace to talk to the person you really want to talk to.
E então você será deixado em paz para conversar com a pessoa que você quer.

[40] 02:20It's one of the challenges in our profession to try and explain what we do.
É um dos desafios de nossa profissão tentar e explicar o que nós fazemos.

[41] 02:23We're not top on people's lists for dinner party guests and conversations and so on.
Nós não estamos no topo da listas de convidados das pessoas para uma festa e conversas e etc.

[42] 02:28And it's something I've never really found a good way of doing.
E esta é uma coisa que eu nunca consegui achar um jeito bom de fazer.

[43] 02:30But my wife -- who was then my girlfriend --
Mas minha mulher - que então era minha namorada -

[44] 02:33managed it much better than I've ever been able to.
conseguiu isto muito melhor do que eu.

[45] 02:36Many years ago, when we first started going out, she was working for the BBC in Britain,
Muitos anos atrás, quando a gente começou a sair, ela trabalhava pela BBC no Reino Unido,

[46] 02:39and I was, at that stage, working in America.
e eu estava, na ocasião, trabalhando nos Estados Unidos.

[47] 02:41I was coming back to visit her.
Eu estava voltando para visitá-la.

[48] 02:43She told this to one of her colleagues, who said, "Well, what does your boyfriend do?"
E ela falou isto para um dos colegas dela, que disse, "Bom, o que o seu namorado faz?"

[49] 02:49Sarah thought quite hard about the things I'd explained --
Sarah pensou bastante sobre as coisas que eu tinha explicado -

[50] 02:51and she concentrated, in those days, on listening.
e ela se concentrava, naqueles dias, em me ouvir.

[51] 02:55(Laughter)
(Risos)

[52] 02:58Don't tell her I said that.
Não digam a ela que eu disse isto.

[53] 03:00And she was thinking about the work I did developing mathematical models
E ela estava pensando sobre o trabalho que fiz desenvolvendo modelos matemáticos

[54] 03:04for understanding evolution and modern genetics.
para entender a evolução e a genética moderna.

[55] 03:07So when her colleague said, "What does he do?"
Então uma dos colegas dela disse, "O que ele faz?"

[56] 03:10She paused and said, "He models things."
Ela parou, e disse, "Ele modela coisas.'

[57] 03:14(Laughter)
(Risos)

[58] 03:15Well, her colleague suddenly got much more interested than I had any right to expect
Bom, um dos colegas dela de repente ficou muito mais interessado do que eu tinha direito de esperar.

[59] 03:19and went on and said, "What does he model?"
então seguiu em frente e disse, "O que ele modela?"

[60] 03:22Well, Sarah thought a little bit more about my work and said, "Genes."
Bom, Sarah pensou um pouco mais sobre o meu trabalho e disse, "Genes (Jeans)."

[61] 03:25(Laughter)
(Risos)

[62] 03:29"He models genes."
"Ele modela genes (jeans)."

[63] 03:31That is my first love, and that's what I'll tell you a little bit about.
Este foi meu primeiro amor, e é o que eu tenho para dizer um pouco a vocês

[64] 03:35What I want to do more generally is to get you thinking about
O que eu quero fazer mais genericamente é fazer vocês pensarem sobre

[65] 03:39the place of uncertainty and randomness and chance in our world,
o lugar da incerteza e do aleatório e das chances no nosso mundo,

[66] 03:42and how we react to that, and how well we do or don't think about it.
e como nós reagimos a isto, e quão bem nós pensamos ou não sobre isto.

[67] 03:47So you've had a pretty easy time up till now --
Então vocês tiveram uma folga até agora --

[68] 03:49a few laughs, and all that kind of thing -- in the talks to date.
um pouco de risadas, e todas estas coisas -- nas conversas do dia.

[69] 03:51You've got to think, and I'm going to ask you some questions.
Vocês tem que pensar, e eu vou fazer algumas perguntas a vocês.

[70] 03:54So here's the scene for the first question I'm going to ask you.
Aqui está a cena para a primeira questão que eu vou perguntar a vocês.

[71] 03:56Can you imagine tossing a coin successively?
Vocês conseguem imaginar jogar cara-ou-coroa sucessivamente?

[72] 03:59And for some reason -- which shall remain rather vague --
E por alguma razão -- que vai ficar bem vaga --

[73] 04:02we're interested in a particular pattern.
nós estamos interessados em um padrão em específico.

[74] 04:04Here's one -- a head, followed by a tail, followed by a tail.
Aqui está um -- uma cara, seguida por uma coroa, seguida por uma coroa.

[75] 04:07So suppose we toss a coin repeatedly.
Então suponha que nós joguemos a moeda repetidamente.

[76] 04:10Then the pattern, head-tail-tail, that we've suddenly become fixated with happens here.
Então o padrão, cara-coroa-coroa, a que nós repentinamente ficamos presos acontece aqui.

[77] 04:15And you can count: one, two, three, four, five, six, seven, eight, nine, 10 --
Então você pode contar: um, dois, três, quatro, cinco, seis, sete, oito, nove, 10 --

[78] 04:19it happens after the 10th toss.
ela acontece após a décima jogada.

[79] 04:21So you might think there are more interesting things to do, but humor me for the moment.
Então vocês podem estar pensando que há coisas mais interessantes para se fazer, mas me acompanhem por enquanto.

[80] 04:24Imagine this half of the audience each get out coins, and they toss them
Imagine que a metade desta platéia pegue cada um uma moeda, e que eles as joguem.

[81] 04:28until they first see the pattern head-tail-tail.
Até que eles vejam o padrão cara-coroa-coroa a primeira vez.

[82] 04:31The first time they do it, maybe it happens after the 10th toss, as here.
Na primeira vez que eles façam isto, pode ser que isto acontece na décima jogada, como aqui.

[83] 04:33The second time, maybe it's after the fourth toss.
Na segunda vez, pode ser após a quarta jogada.

[84] 04:35The next time, after the 15th toss.
Na próxima, após a décima quinta jogada.

[85] 04:37So you do that lots and lots of times, and you average those numbers.
Então você faz isto muitas e muitas vezes, e faz a média destes números

[86] 04:40That's what I want this side to think about.
E sobre isto que eu quero vocês pensem.

[87] 04:43The other half of the audience doesn't like head-tail-tail --
A outra metade da platéia não gosta de cara-coroa-coroa --

[88] 04:45they think, for deep cultural reasons, that's boring --
eles acham, por razão culturais profundas, que é chato --

[89] 04:48and they're much more interested in a different pattern -- head-tail-head.
e estão muito mais interessados um padrão diferente -- cara-coroa-cara.

[90] 04:51So, on this side, you get out your coins, and you toss and toss and toss.
Então, deste lado, vocês pegam suas moedas, e jogam e jogam e jogam.

[91] 04:54And you count the number of times until the pattern head-tail-head appears
E vocês contam o número de jogadas até que o padrão cara-coroa-cara apareça

[92] 04:57and you average them. OK?
e vocês fazem as médias destes números, OK?

[93] 05:00So on this side, you've got a number --
Então deste lado, vocês tem um número --

[94] 05:02you've done it lots of times, so you get it accurately --
e vocês fizeram isto muitas vezes, então vocês o tem precisamente --

[95] 05:04which is the average number of tosses until head-tail-tail.
qual é o número médio de jogadas até cara-coroa-coroa.

[96] 05:07On this side, you've got a number -- the average number of tosses until head-tail-head.
Deste lado, vocês tem um número -- a média do número de jogadas até cara-coroa-cara.

[97] 05:11So here's a deep mathematical fact --
Então aqui está uma fato matemático profundo --

[98] 05:13if you've got two numbers, one of three things must be true.
se você tem dois números, uma destas três coisas deve ser verdade

[99] 05:16Either they're the same, or this one's bigger than this one,
Ou eles são iguais, ou este é maior do que aquele,

[100] 05:19or this one's bigger than that one.
ou aquele é maior do que este.

[101] 05:20So what's going on here?
Então o que está acontecendo aqui?

[102] 05:23So you've all got to think about this, and you've all got to vote --
Vocês todos tem que pensar sobre isto, e todos vão ter que votar --

[103] 05:25and we're not moving on.
e nós não vamos ir adiante.

[104] 05:26And I don't want to end up in the two-minute silence
E eu não quero acabar numa espera de dois minutos de silêncio

[105] 05:28to give you more time to think about it, until everyone's expressed a view. OK.
para dar a vocês mais tempo para pensar sobre isto, até que todos tenham expressado um ponto de vista, OK.

[106] 05:32So what you want to do is compare the average number of tosses until we first see
Então o que eu quero fazer é comparar a média do número de jogadas até que a gente veja

[107] 05:36head-tail-head with the average number of tosses until we first see head-tail-tail.
cara-coroa-cara com a média de jogadas até que a gente veja cara-coroa-coroa.

[108] 05:41Who thinks that A is true --
Quem acha que A é verdade--

[109] 05:43that, on average, it'll take longer to see head-tail-head than head-tail-tail?
que, na média, vai demorar mais para ver cara-coroa-cara do que cara-coroa-coroa?

[110] 05:47Who thinks that B is true -- that on average, they're the same?
Quem acha que B é verdade -- que na verdade, ambos serão iguais?

[111] 05:51Who thinks that C is true -- that, on average, it'll take less time
Quem acha que C é verdade -- que, na média, vai tomar menos tempo

[112] 05:53to see head-tail-head than head-tail-tail?
para ver cara-coroa-cara do que cara-coroa-coroa?

[113] 05:57OK, who hasn't voted yet? Because that's really naughty -- I said you had to.
OK, quem não votou ainda? Porque isto é realmente impróprio -- eu disse que tinham que votar.

[114] 06:00(Laughter)
(Risos)

[115] 06:02OK. So most people think B is true.
OK. Então a maioria das pessoas pensam que B é verdade.

[116] 06:05And you might be relieved to know even rather distinguished mathematicians think that.
E vocês podem se sentir aliviados que até os matemáticos mais distintos pensam isto.

[117] 06:08It's not. A is true here.
Não é. "A" é verdade aqui.

[118] 06:12It takes longer, on average.
Demora mais, na média.

[119] 06:14In fact, the average number of tosses till head-tail-head is 10
De fato, o número médio de jogadas até cara-coroa-cara é 10.

[120] 06:16and the average number of tosses until head-tail-tail is eight.
E o número médio de jogadas até cara-coroa-coroa é oito.

[121] 06:21How could that be?
Como assim?

[122] 06:24Anything different about the two patterns?
Alguma diferença entre os dois padrões?

[123] 06:30There is. Head-tail-head overlaps itself.
Existe. Cara-coroa-cara se sobrepõe.

[124] 06:35If you went head-tail-head-tail-head, you can cunningly get two occurrences
Se você obtém cara-coroa-cara-coroa-cara, você pode ter duas ocorrências

[125] 06:39of the pattern in only five tosses.
do padrão em apenas 5 jogadas.

[126] 06:42You can't do that with head-tail-tail.
Você não pode fazer isto com cara-coroa-coroa.

[127] 06:44That turns out to be important.
Isto acaba sendo importante.

[128] 06:46There are two ways of thinking about this.
Há duas formas de pensar sobre isto.

[129] 06:48I'll give you one of them.
E eu vou mostrar uma delas a vocês.

[130] 06:50So imagine -- let's suppose we're doing it.
Então pensem -- vamos supor que estamos fazendo isto.

[131] 06:52On this side -- remember, you're excited about head-tail-tail;
Deste lado -- lembrem-se, você ficam felizes com cara-coroa-coroa,

[132] 06:54you're excited about head-tail-head.
e vocês ficam felizes com cara-coroa-cara.

[133] 06:56We start tossing a coin, and we get a head --
Nós vamos começar jogando uma moeda, e obtemos uma cara --

[134] 06:59and you start sitting on the edge of your seat
e vocês sentam na ponta da cadeira

[135] 07:00because something great and wonderful, or awesome, might be about to happen.
porque algo realmente bom e legal, ou maravilhoso, pode acontecer.

[136] 07:05The next toss is a tail -- you get really excited.
A próxima jogada é uma coroa -- vocês realmente ficam excitados.

[137] 07:07The champagne's on ice just next to you; you've got the glasses chilled to celebrate.
A champagne no gelo está do seu lado, você tem taças geladas para celebrar.

[138] 07:11You're waiting with bated breath for the final toss.
E você está esperando quase sem ar pela última jogada.

[139] 07:13And if it comes down a head, that's great.
Se vier uma cara, isto é ótimo.

[140] 07:15You're done, and you celebrate.
Vocês acabam e vocês celebram.

[141] 07:17If it's a tail -- well, rather disappointedly, you put the glasses away
Se for uma coroa -- bom, bem desapontado, você põe as taças de lado

[142] 07:19and put the champagne back.
e a champagne de volta.

[143] 07:21And you keep tossing, to wait for the next head, to get excited.
E ficam jogando, esperando a próxima cara, para ficarem excitados.

[144] 07:25On this side, there's a different experience.
Neste outro lado, há uma experiência diferente.

[145] 07:27It's the same for the first two parts of the sequence.
É o mesmo para as duas primeiras partes da sequência.

[146] 07:30You're a little bit excited with the first head --
Vocês ficam excitados com a primeira cara --

[147] 07:32you get rather more excited with the next tail.
ficam muito mais excitados com a próxima coroa.

[148] 07:34Then you toss the coin.
E então vocês jogam uma moeda.

[149] 07:36If it's a tail, you crack open the champagne.
Se for uma coroa, vocês estouram a champagne.

[150] 07:39If it's a head you're disappointed,
Se for uma cara, vocês ficam desapontados,

[151] 07:41but you're still a third of the way to your pattern again.
mas já estão a um terço do caminho ao seu padrão de novo.

[152] 07:44And that's an informal way of presenting it -- that's why there's a difference.
E esta é uma maneira informal de apresentar isto -- do porquê há uma diferença

[153] 07:48Another way of thinking about it --
Outra maneira de pensar sobre isto =--

[154] 07:50if we tossed a coin eight million times,
Se nós jogássemos uma moeda oito milhões de vezes,

[155] 07:52then we'd expect a million head-tail-heads
então nós esperaríamos um milhão de caras-coroas-caras

[156] 07:54and a million head-tail-tails -- but the head-tail-heads could occur in clumps.
e uma milhão de caraa-coroas-coroas -- mas os caras-coroas-caras aconteceriam amontoados.

[157] 08:01So if you want to put a million things down amongst eight million positions
Então se você põe um milhão de coisas no meio de oito milhões de posições

[158] 08:03and you can have some of them overlapping, the clumps will be further apart.
e você pode ter algumas delas se sobrepondo, os amontoados vão estar ainda mais separados.

[159] 08:08It's another way of getting the intuition.
Esta é a outra forma de entender a intuição.

[160] 08:10What's the point I want to make?
Qual é a minha ideia?

[161] 08:12It's a very, very simple example, an easily stated question in probability,
É um exemplo muito, muito simples, com uma pergunta facilmente colocada em probabilidade,

[162] 08:16which every -- you're in good company -- everybody gets wrong.
que todos -- e vocês estão em boa compania -- todos erram.

[163] 08:19This is my little diversion into my real passion, which is genetics.
É uma pequena fuga da minha real paixão, que é a genética.

[164] 08:23There's a connection between head-tail-heads and head-tail-tails in genetics,
Há uma conexão entre caras-coroas-caras e cara-coroas-coroas e genética,

[165] 08:26and it's the following.
e é a seguinte.

[166] 08:29When you toss a coin, you get a sequence of heads and tails.
Quando você joga uma moeda, você tem uma sequência de caras e coroas.

[167] 08:32When you look at DNA, there's a sequence of not two things -- heads and tails --
Quando você olha no DNA, há uma sequência não de duas coisas -- caras e coroas --

[168] 08:35but four letters -- As, Gs, Cs and Ts.
mas de quatro letras -- As, Gs, Cs e Ts.

[169] 08:38And there are little chemical scissors, called restriction enzymes
E há tesouras químicas, chamadas enzimas de restrição

[170] 08:41which cut DNA whenever they see particular patterns.
que cortam o DNA sempre que encontram um padrão específico.

[171] 08:43And they're an enormously useful tool in modern molecular biology.
E eles são uma ferramenta enormemente útil na biologia molecular moderna.

[172] 08:48And instead of asking the question, "How long until I see a head-tail-head?" --
E ao invés de fazer a pergunta, "Quantas jogadas até eu ver cara-coroa-cara?" --

[173] 08:51you can ask, "How big will the chunks be when I use a restriction enzyme
você pode perguntar, "Quais serão os tamanhos dos grupos quando eu usar uma enzima de restrição

[174] 08:54which cuts whenever it sees G-A-A-G, for example?
que corta sempre que vê G-A-A-G, por exemplo?

[175] 08:58How long will those chunks be?"
Quais são os tamanhos destes grupos?"

[176] 09:00That's a rather trivial connection between probability and genetics.
Esta é uma conexão muito trivial entre probabilidade e genética.

[177] 09:05There's a much deeper connection, which I don't have time to go into
E há uma conexão mais profunda, que eu não tenho tempo de falar

[178] 09:08and that is that modern genetics is a really exciting area of science.
e que é que a genética moderna é uma área realmente excitante da ciência.

[179] 09:11And we'll hear some talks later in the conference specifically about that.
E nós vamos escutar algumas apresentações mais tarde na conferência especifícamente sobre isto.

[180] 09:15But it turns out that unlocking the secrets in the information generated by modern
Mas então que revelar os segredos na informação gerada pelas tecnologias

[181] 09:19experimental technologies, a key part of that has to do with fairly sophisticated --
modernas de experimentação, uma parte chave tem a ver com um sofisticado

[182] 09:24you'll be relieved to know that I do something useful in my day job,
vocês ficarão aliviados em saber que eu faço algo útil no meu trabalho diurno,

[183] 09:27rather more sophisticated than the head-tail-head story --
muito mais sofisticado que a história cara-coroa-cara --

[184] 09:29but quite sophisticated computer modelings and mathematical modelings
mas modelos de computação e de matemática bem sofisticados

[185] 09:33and modern statistical techniques.
e técnicas estatísticas modernas.

[186] 09:35And I will give you two little snippets -- two examples --
Eu vou mostrar dois pequenos pedaços -- dois exemplos --

[187] 09:38of projects we're involved in in my group in Oxford,
de projetos que estamos envolvidos em meu grupo em Oxford,

[188] 09:41both of which I think are rather exciting.
ambos que eu acho muito excitantes.

[189] 09:43You know about the Human Genome Project.
Vocês conhecem sobre o Projeto Genoma Humano.

[190] 09:45That was a project which aimed to read one copy of the human genome.
Este foi um projeto que tinha por meta ler uma cópia do genoma humano.

[191] 09:51The natural thing to do after you've done that --
E a coisa natural a se fazer depois que você fez isto --

[192] 09:53and that's what this project, the International HapMap Project,
e isto que é este projeto, Projeto Internacional HapMap,

[193] 09:55which is a collaboration between labs in five or six different countries.
que é a colaboração entre laboratórios em cinco ou seis países diferentes.

[194] 10:00Think of the Human Genome Project as learning what we've got in common,
Pense no Projeto Genoma Humano como um aprendizado do que nós temos em comum,

[195] 10:04and the HapMap Project is trying to understand
e o Projeto HapMap está tentando entender

[196] 10:06where there are differences between different people.
onde estão as diferenças entre as pessoas diferentes.

[197] 10:08Why do we care about that?
Por que a gente se importa com isto?

[198] 10:10Well, there are lots of reasons.
Bom, há muitas razões.

[199] 10:12The most pressing one is that we want to understand how some differences
A mais forte é que nós queremos entender como algumas diferenças

[200] 10:16make some people susceptible to one disease -- type-2 diabetes, for example --
podem fazer algumas pessoas mais suscetíveis a um tipo de doença -- diabete tipo-2, por exemplo --

[201] 10:20and other differences make people more susceptible to heart disease,
e outras diferenças fazem as pessoas mais suscetíveis a doenças do coração,

[202] 10:25or stroke, or autism and so on.
ou derrame, ou autismo e assim por diante.

[203] 10:27That's one big project.
Este é um projeto grande.

[204] 10:29There's a second big project,
E há um segundo projeto grande,

[205] 10:31recently funded by the Wellcome Trust in this country,
recentemente financiado pelo Wellcome Trust neste país,

[206] 10:33involving very large studies --
envolvendo grande estudos --

[207] 10:35thousands of individuals, with each of eight different diseases,
milhares de indivíduos, cada um com uma destas oito doenças diferentes,

[208] 10:38common diseases like type-1 and type-2 diabetes, and coronary heart disease,
doenças comuns como diabete tipo 1 e 2, doenças coronárias,

[209] 10:42bipolar disease and so on -- to try and understand the genetics.
transtorno bipolar e assim por diante -- para testar e entender a genética.

[210] 10:46To try and understand what it is about genetic differences that causes the diseases.
Para testar e entender o que há sobre as diferenças genéticas que causam as doenças.

[211] 10:49Why do we want to do that?
Por que nós queremos fazer isto?

[212] 10:51Because we understand very little about most human diseases.
Porque nós entendemos muito pouco sobre a maioria das doenças humanas.

[213] 10:54We don't know what causes them.
Nós não sabemos o que as causam.

[214] 10:56And if we can get in at the bottom and understand the genetics,
E se nós conseguirmos chegar ao fundo e entender a genética,

[215] 10:58we'll have a window on the way the disease works,
nós teremos uma idéia sobre como as doenças funcionam.

[216] 11:01and a whole new way about thinking about disease therapies
Uma forma totalmente diferente de pensar sobre as terapias das doenças

[217] 11:03and preventative treatment and so on.
e sobre os tratamentos preventivos e assim por diante.

[218] 11:06So that's, as I said, the little diversion on my main love.
E isto, como eu disse, é um pequeno desvio no meu grande amor,

[219] 11:09Back to some of the more mundane issues of thinking about uncertainty.
De volta à algumas coisas mais mundanas do pensamento sobre a incerteza.

[220] 11:14Here's another quiz for you --
Aqui vai uma outra pergunta a vocês --

[221] 11:16now suppose we've got a test for a disease
agora vamos supor que nós temos um teste para uma doença

[222] 11:18which isn't infallible, but it's pretty good.
que não é infalível, mas é muito bom.

[223] 11:20It gets it right 99 percent of the time.
Ele acerta 99% das vezes.

[224] 11:23And I take one of you, or I take someone off the street,
E eu pego um de vocês, ou pego alguém na rua,

[225] 11:26and I test them for the disease in question.
e eu testo para a doença em questão

[226] 11:28Let's suppose there's a test for HIV -- the virus that causes AIDS --
Vamos supor que seja um teste para o HIV - o vírus que causa a AIDS --

[227] 11:32and the test says the person has the disease.
e o teste diz se a pessoa tem a doença.

[228] 11:35What's the chance that they do?
Qual é a chance que ela tenha a doença?

[229] 11:38The test gets it right 99 percent of the time.
O teste acerta 99% das vezes.

[230] 11:40So a natural answer is 99 percent.
Então a resposta natural é 99%.

[231] 11:44Who likes that answer?
Quem gosta desta resposta?

[232] 11:46Come on -- everyone's got to get involved.
Vamos -- todo mundo tem que se envolver.

[233] 11:47Don't think you don't trust me anymore.
Não pensem que vocês não confiam mais em mim.

[234] 11:49(Laughter)
(Risos)

[235] 11:50Well, you're right to be a bit skeptical, because that's not the answer.
Bom, vocês estão certos em serem um poucos céticos, porque esta não é a resposta.

[236] 11:53That's what you might think.
Que é o que vocês poderiam pensar.

[237] 11:55It's not the answer, and it's not because it's only part of the story.
Esta não é a resposta, e ela não é pois é apenas uma parte da história.

[238] 11:58It actually depends on how common or how rare the disease is.
De fato isto depende de quão comum ou quão rara esta doença é.

[239] 12:01So let me try and illustrate that.
Então deixem-me tentar e ilustrar isto.

[240] 12:03Here's a little caricature of a million individuals.
Aqui está uma caricatura de um milhão de indivíduos

[241] 12:07So let's think about a disease that affects --
Então vamos pensar sobre uma doença que afeta --

[242] 12:10it's pretty rare, it affects one person in 10,000.
é bem rara, que afeta uma pessoa em 10.000.

[243] 12:12Amongst these million individuals, most of them are healthy
Entre este milhão de indivíduos, quase todos deles estão saudáveis

[244] 12:15and some of them will have the disease.
e alguns deles vão ter a doença.

[245] 12:17And in fact, if this is the prevalence of the disease,
E de fato, se esta é a prevalência da doença,

[246] 12:20about 100 will have the disease and the rest won't.
cerca de 100 terão a doença e o resto não terá.

[247] 12:23So now suppose we test them all.
Então vamos supor que nós testamos todos eles.

[248] 12:25What happens?
O que acontece?

[249] 12:27Well, amongst the 100 who do have the disease,
Bom, entre os 100 que tem a doença,

[250] 12:29the test will get it right 99 percent of the time, and 99 will test positive.
o teste vai acertar 99% das vezes, e 99 vão produzir um teste positivo.

[251] 12:34Amongst all these other people who don't have the disease,
Entre todos os outros que não tem a doença,

[252] 12:36the test will get it right 99 percent of the time.
o teste vai acertar 99 porcento das vezes.

[253] 12:39It'll only get it wrong one percent of the time.
E ele só vai errar um porcento da vezes.

[254] 12:41But there are so many of them that there'll be an enormous number of false positives.
Mas existe tantos deles que vai ter um número enorme de falso positivos.

[255] 12:45Put that another way --
Colocado de outra forma --

[256] 12:47of all of them who test positive -- so here they are, the individuals involved --
de todos aqueles que dão positivo -- aqui estão eles, os indivíduos envolvidos --

[257] 12:52less than one in 100 actually have the disease.
menos de 1 em 100 de fato vão ter a doença.

[258] 12:57So even though we think the test is accurate, the important part of the story is
Então mesmo que a gente pense que o teste é preciso, a parte importante da história é

[259] 13:01there's another bit of information we need.
que há uma outra informação que nós precisamos.

[260] 13:04Here's the key intuition.
Aqui está a intuição chave.

[261] 13:07What we have to do, once we know the test is positive,
O que nós temos que fazer, uma vez que nós sabemos se o teste é positivo

[262] 13:10is to weigh up the plausibility, or the likelihood, of two competing explanations.
é pesar a plausibilidade, ou a possibilidade, de duas explicações excludentes.

[263] 13:16Each of those explanations has a likely bit and an unlikely bit.
Cada uma destas explicações tem uma parte provável e outra improvável.

[264] 13:19One explanation is that the person doesn't have the disease --
Uma explicação é que a pessoa não tem a doença --

[265] 13:22that's overwhelmingly likely, if you pick someone at random --
o que é muitíssimo provável, se você pegar alguém ao acaso --

[266] 13:25but the test gets it wrong, which is unlikely.
mas o teste erra, o que é improvável.

[267] 13:29The other explanation is that the person does have the disease -- that's unlikely --
A outra explicação é que a pessoa tem a doença -- o que é improvável --

[268] 13:32but the test gets it right, which is likely.
mas o teste acerta, o que é provável.

[269] 13:35And the number we end up with --
E o número que nós obtivemos --

[270] 13:37that number which is a little bit less than one in 100 --
que é o número um pouco menor de 1 em 100 --

[271] 13:40is to do with how likely one of those explanations is relative to the other.
tem a ver com quão provável uma destas explicações são em relação a outra.

[272] 13:46Each of them taken together is unlikely.
Se juntar cada uma delas é improvável.

[273] 13:49Here's a more topical example of exactly the same thing.
Um exemplo mais típico de uma coisa exatamente igual.

[274] 13:52Those of you in Britain will know about what's become rather a celebrated case
Aqueles de vocês no Reino Unido vão saber sobre um caso que se tornou muito celebrado.

[275] 13:56of a woman called Sally Clark, who had two babies who died suddenly.
de uma mulher chamada Sally Clark, que teve dois bebês que morreram repentinamente.

[276] 14:01And initially, it was thought that they died of what's known informally as "cot death,"
E inicialmente, se pensou que eles morreram do que informalmente se conhece como morte súbita.

[277] 14:05and more formally as "Sudden Infant Death Syndrome."
e mais formalmente como Síndrome da Morte Repentina Infantil.

[278] 14:08For various reasons, she was later charged with murder.
Por várias razões, ela acabou sendo acusada de assassinato.

[279] 14:10And at the trial, her trial, a very distinguished pediatrician gave evidence
E no julgamento dela, um pediatra muito distinto deu a evidência

[280] 14:14that the chance of two cot deaths, innocent deaths, in a family like hers --
que a chance de duas mortes súbitas, mortes inocentes, numa família como a dela --

[281] 14:19which was professional and non-smoking -- was one in 73 million.
que era profissional e não fumante -- era de uma em 73 milhões.

[282] 14:26To cut a long story short, she was convicted at the time.
Para encurtar a história, ela foi condenada na ocasião.

[283] 14:29Later, and fairly recently, acquitted on appeal -- in fact, on the second appeal.
Depois, e bem recentemente, saiu na apelação -- na verdade, na segunda apelação.

[284] 14:34And just to set it in context, you can imagine how awful it is for someone
E apenas para pôr no contexto, você pode imaginar como é ruim para alguém

[285] 14:38to have lost one child, and then two, if they're innocent,
perder uma criança, e então duas, se ela é inocente,

[286] 14:41to be convicted of murdering them.
ser condenado por ter as assassinado.

[287] 14:43To be put through the stress of the trial, convicted of murdering them --
Ser colocado no estresse do julgamento, condenado de assassiná-las --

[288] 14:45and to spend time in a women's prison, where all the other prisoners
e passar um tempo na prisão feminina, onde todas as prisioneiras

[289] 14:48think you killed your children -- is a really awful thing to happen to someone.
acham que você matou suas crianças -- é realmente uma coisa muito ruim de se acontecer a alguém

[290] 14:53And it happened in large part here because the expert got the statistics
E isto aconteceu em grande parte aqui porque o especialista entendeu as estatísticas

[291] 14:58horribly wrong, in two different ways.
de forma terrivelmente errada, e duas maneiras diferentes.

[292] 15:01So where did he get the one in 73 million number?
Então de onde ele tirou o número um em 73 milhões?

[293] 15:05He looked at some research, which said the chance of one cot death in a family
Ele viu em alguma pesquisa, que disse que a chance de uma morte súbita numa família

[294] 15:08like Sally Clark's is about one in 8,500.
como a de Sally Clark é de cerca de um em oito mil e quinhentos.

[295] 15:13So he said, "I'll assume that if you have one cot death in a family,
Então ele disse: "Eu vou assumir que você ter uma morte súbita numa família,

[296] 15:17the chance of a second child dying from cot death aren't changed."
a chance de uma segunda criança morrer de morte súbita não muda."

[297] 15:21So that's what statisticians would call an assumption of independence.
Isto é o que os estatísticos chamariam de suposição de independência.

[298] 15:24It's like saying, "If you toss a coin and get a head the first time,
Isto é como dizer, "Se você jogar uma moeda e tiver cara na primeira vez,

[299] 15:26that won't affect the chance of getting a head the second time."
isto não vai afetar a chance de ter cara na segunda vez."

[300] 15:29So if you toss a coin twice, the chance of getting a head twice are a half --
Então se você joga uma moeda duas vezes, a change de ter cara duas vezes é meio --

[301] 15:34that's the chance the first time -- times a half -- the chance a second time.
que é a chance da primeira vez -- vezes meio -- a chance da segunda vez.

[302] 15:37So he said, "Here,
Então ele disse: "Bom, vamos assumir --

[303] 15:39I'll assume that these events are independent.
eu vou assumir que estes eventos são independentes.

[304] 15:43When you multiply 8,500 together twice,
Quando você multiplica oito mil e quinhentos juntos duas vezes,

[305] 15:45you get about 73 million."
você tem cerca de 73 milhões."

[306] 15:47And none of this was stated to the court as an assumption
E nada disto foi disto para ao tribunal como uma suposição

[307] 15:49or presented to the jury that way.
ou apresentado ao juri desta forma.

[308] 15:52Unfortunately here -- and, really, regrettably --
Infelizmente aqui -- e realmente, lamentavelmente --

[309] 15:55first of all, in a situation like this you'd have to verify it empirically.
primeiro de tudo, numa situação como esta você tem que verificar isto de forma empírica.

[310] 15:59And secondly, it's palpably false.
E em segundo, isto é paupavelmente falso.

[311] 16:02There are lots and lots of things that we don't know about sudden infant deaths.
Há muitas e muitas coisas que nós não sabemos sobre mortes infantis súbitas.

[312] 16:07It might well be that there are environmental factors that we're not aware of,
Pode bem ser que haja fatores ambientais que nós não sabemos,

[313] 16:10and it's pretty likely to be the case that there are
e é bem provável que fosse o caso em que houvesse

[314] 16:12genetic factors we're not aware of.
os fatores genéticos que nós não sabemos também.

[315] 16:14So if a family suffers from one cot death, you'd put them in a high-risk group.
Então se uma família sofre de uma morte súbita, você os põe num grupo de alto risco.

[316] 16:17They've probably got these environmental risk factors
Eles provavelmente tem estes fatores ambientais de risco

[317] 16:19and/or genetic risk factors we don't know about.
e/ou fatores genéticos de risco que nós não sabemos.

[318] 16:22And to argue, then, that the chance of a second death is as if you didn't know
E para questionar, então, a chance de uma segunda morte sem saber

[319] 16:25that information is really silly.
esta informação é realmente boba.

[320] 16:28It's worse than silly -- it's really bad science.
Pior que bobo -- isto é uma ciência muito ruim.

[321] 16:32Nonetheless, that's how it was presented, and at trial nobody even argued it.
Embora, isto foi apresentado assim, e no julgamento ninguém questionou isto.

[322] 16:37That's the first problem.
Este é o primeiro problema.

[323] 16:39The second problem is, what does the number of one in 73 million mean?
O segundo problema é, o que este número de um em 73 milhões significa?

[324] 16:43So after Sally Clark was convicted --
Então depois que Sally Clark foi condenada --

[325] 16:45you can imagine, it made rather a splash in the press --
você pode imaginar, isto fez um alvoroço na imprensa --

[326] 16:49one of the journalists from one of Britain's more reputable newspapers wrote that
um dos jornalistas de um dos jornais mais respeitados do Reino Unido escreveu que

[327] 16:56what the expert had said was,
o que o especialista disse foi que,

[328] 16:58"The chance that she was innocent was one in 73 million."
"A chance de ela ser inocente é de um em 73 milhões."

[329] 17:03Now, that's a logical error.
Agora, isto é um erro de lógica.

[330] 17:05It's exactly the same logical error as the logical error of thinking that
É o mesmo erro de lógica daquele erro de se pensar que

[331] 17:08after the disease test, which is 99 percent accurate,
depois de um teste de uma doença, que é 99% preciso,

[332] 17:10the chance of having the disease is 99 percent.
a chance de ter a doença é 99%.

[333] 17:14In the disease example, we had to bear in mind two things,
No exemplo da doença, nós temos que ter em mente duas coisas,

[334] 17:18one of which was the possibility that the test got it right or not.
uma que é a possibilidade do teste acertar ou não.

[335] 17:22And the other one was the chance, a priori, that the person had the disease or not.
E a outra era a chance, a priori, de que a pessoa tivesse a doença ou não.

[336] 17:26It's exactly the same in this context.
É exatamente o mesmo neste contexto.

[337] 17:29There are two things involved -- two parts to the explanation.
Tem duas coisas envolvidas -- duas partes da explicação.

[338] 17:33We want to know how likely, or relatively how likely, two different explanations are.
Nós queremos saber quão provável, ou relativamente provável, duas explicações diferentes são.

[339] 17:37One of them is that Sally Clark was innocent --
Uma delas é que Sally Clark era inocente --

[340] 17:40which is, a priori, overwhelmingly likely --
o que, a priori, é muitíssimo provável --

[341] 17:42most mothers don't kill their children.
a maioria das mães não matam seus filhos.

[342] 17:45And the second part of the explanation
E a segunda parte da explicação

[343] 17:47is that she suffered an incredibly unlikely event.
que é que ela sofreu de um evento incrivelmente improvável.

[344] 17:50Not as unlikely as one in 73 million, but nonetheless rather unlikely.
Não tão improvável como um em 73 milhões, mas ainda assim bem improvável.

[345] 17:54The other explanation is that she was guilty.
A outra explicação é que ela era culpada.

[346] 17:56Now, we probably think a priori that's unlikely.
Agora, nós provavelmente achamos a priori que é improvável.

[347] 17:58And we certainly should think in the context of a criminal trial
E nós certamente pensamos isto no contexto de um julgamento criminal

[348] 18:01that that's unlikely, because of the presumption of innocence.
que é improvável, por causa da presunção da inocência.

[349] 18:04And then if she were trying to kill the children, she succeeded.
E então se ela estava tentando matar as crianças, ela conseguiu.

[350] 18:08So the chance that she's innocent isn't one in 73 million.
Então a chance que ela seja inocente não é uma em 73 milhões.

[351] 18:12We don't know what it is.
Nós não sabemos quanto é.

[352] 18:14It has to do with weighing up the strength of the other evidence against her
Isto tem a ver com pesar a força de outra evidência contra ela

[353] 18:18and the statistical evidence.
e a evidência estatística.

[354] 18:20We know the children died.
Nós sabemos que as crianças morreram.

[355] 18:22What matters is how likely or unlikely, relative to each other,
O que importa é quão provável ou improvável, relativamente uma a outra

[356] 18:26the two explanations are.
são as duas explicações.

[357] 18:28And they're both implausible.
Elas são ambas implausíveis.

[358] 18:31There's a situation where errors in statistics had really profound
E há uma situação em que os erros em estatísticas tiveram realmente profundas e

[359] 18:35and really unfortunate consequences.
realmente desafortunadas consequências.

[360] 18:38In fact, there are two other women who were convicted on the basis of the
De fato, há outras duas mulheres que foram condenadas com base na evidência

[361] 18:40evidence of this pediatrician, who have subsequently been released on appeal.
deste pediatra, que em seguida foram soltas na fase apelação.

[362] 18:44Many cases were reviewed.
Muitos casos foram revistos.

[363] 18:46And it's particularly topical because he's currently facing a disrepute charge
E isto é particularmente atual porque ele está enfrentando uma acusação de descrédito

[364] 18:50at Britain's General Medical Council.
no Conselho Britânico Médico Geral.

[365] 18:53So just to conclude -- what are the take-home messages from this?
Então apenas para concluir -- qual é a moral da história disto tudo?

[366] 18:57Well, we know that randomness and uncertainty and chance
Bom, nós sabemos que o acaso, e a incerteza, e as chances

[367] 19:01are very much a part of our everyday life.
fazem parte de verdade na nossa vida cotidiana.

[368] 19:04It's also true -- and, although, you, as a collective, are very special in many ways,
Também é verdade -- e, embora, vocês, como um grupo, são especiais em muitas maneiras,

[369] 19:09you're completely typical in not getting the examples I gave right.
é muito típico em não entender corretamente os exemplos que dei.

[370] 19:13It's very well documented that people get things wrong.
É bem documentado que as pessoas entendem errado.

[371] 19:16They make errors of logic in reasoning with uncertainty.
Eles cometem erros de lógica no pensamento sobre a incerteza.

[372] 19:20We can cope with the subtleties of language brilliantly --
Nós podemos lidar com as sutilezas da linguagem brilhantemente --

[373] 19:22and there are interesting evolutionary questions about how we got here.
e há questão interessantes sobre a evolução de como chegamos até aqui.

[374] 19:25We are not good at reasoning with uncertainty.
Nós não somos bom em pensar com incertezas.

[375] 19:28That's an issue in our everyday lives.
E isto é um problema na nossa vida diária.

[376] 19:30As you've heard from many of the talks, statistics underpins an enormous amount
Assim como vocês ouviram em muitas das apresentações, as estatísticas apoiam uma quantidade enorme

[377] 19:33of research in science -- in social science, in medicine
de pesquisa na ciência -- nas ciências sociais, na medicina

[378] 19:36and indeed, quite a lot of industry.
e de fato, muito na indústria também.

[379] 19:38All of quality control, which has had a major impact on industrial processing,
Todo o controle de qualidade, que tem tido um grande impacto no processamento industrial,

[380] 19:42is underpinned by statistics.
é apoiado pelas estatísticas.

[381] 19:44It's something we're bad at doing.
É algo que a gente não faz bem.

[382] 19:46At the very least, we should recognize that, and we tend not to.
E no mínimo, nós deveríamos reconhecer isto, e nós tendemos a não fazer.

[383] 19:49To go back to the legal context, at the Sally Clark trial
Voltando ao contexto legal, no julgamento de Sally Clark

[384] 19:53all of the lawyers just accepted what the expert said.
todos os advogados simplesmente aceitaram o que os especialistas disseram

[385] 19:57So if a pediatrician had come out and said to a jury,
Então se um pediatra vem e fala para o juri,

[386] 19:59"I know how to build bridges. I've built one down the road.
"Eu sei como construir pontes. Eu construí uma ali na estrada.

[387] 20:02Please drive your car home over it,"
Por favor, dirija o seu carro sobre ela."

[388] 20:04they would have said, "Well, pediatricians don't know how to build bridges.
eles diriam, "Bem, pediatras não sabem como construir pontes.

[389] 20:06That's what engineers do."
Isto é o que os engenheiros fazem."

[390] 20:08On the other hand, he came out and effectively said, or implied,
Por outro lado, ele veio e disse de verdade, ou de maneira implícita,

[391] 20:11"I know how to reason with uncertainty. I know how to do statistics."
"Eu sei como pensar sobre a incerteza. Eu sei estatísticas."

[392] 20:14And everyone said, "Well, that's fine. He's an expert."
E todos disseram, "Bom, está tudo bem. Ele é um especialista."

[393] 20:17So we need to understand where our competence is and isn't.
Então nós precisamos entender onde nossa competência está e não está.

[394] 20:20Exactly the same kinds of issues arose in the early days of DNA profiling,
Exatamente os mesmos problemas que surgiram nos primeiros dias de identificação por DNA

[395] 20:24when scientists, and lawyers and in some cases judges,
quando cientistas, e advogados e em alguns casos, juízes,

[396] 20:28routinely misrepresented evidence.
rotineiramente apresentaram evidências erradas.

[397] 20:32Usually -- one hopes -- innocently, but misrepresented evidence.
Normalmente -- assim se espera -- inocentemente, mas evidências erradas.

[398] 20:35Forensic scientists said, "The chance that this guy's innocent is one in three million."
Cientistas forenses disseram: "A chance que este cara seja inocente é uma em três milhões."

[399] 20:40Even if you believe the number, just like the 73 million to one,
Se você acredita neste número, assim como o de 73 milhões para um,

[400] 20:42that's not what it meant.
isto não é o que ele significa.

[401] 20:44And there have been celebrated appeal cases
E há casos celebrados de apelação

[402] 20:46in Britain and elsewhere because of that.
no Reino Unido e em outros lugares por causa disto.

[403] 20:48And just to finish in the context of the legal system.
E apenas para fechar no contexto do sistema legal.

[404] 20:51It's all very well to say, "Let's do our best to present the evidence."
Está tudo bem dizer, "Vamos fazer o nosso melhor para apresentar a evidência."

[405] 20:55But more and more, in cases of DNA profiling -- this is another one --
Mas mais e mais, nos casos de identificação por DNA -- e este é outro caso --

[406] 20:58we expect juries, who are ordinary people --
nós esperamos que os júris, que são pessoas normais --

[407] 21:01and it's documented they're very bad at this --
e está documentado que nós somos realmente ruins nisto --

[408] 21:03we expect juries to be able to cope with the sorts of reasoning that goes on.
nós esperamos que os júris sejam capazes de lidar com os tipos de pensamento que surgem.

[409] 21:07In other spheres of life, if people argued -- well, except possibly for politics --
Em outras áreas da vida, se as pessoas discutissem -- bom, exceto na políticas possivelmente

[410] 21:12but in other spheres of life, if people argued illogically,
mas em outras áreas da vida, se as pessoas discutissem ilogicamente,

[411] 21:14we'd say that's not a good thing.
nós diríamos que isto não é uma boa coisa.

[412] 21:16We sort of expect it of politicians and don't hope for much more.
Nós até esperamos isto dos políticos e não esperamos por muito mais.

[413] 21:20In the case of uncertainty, we get it wrong all the time --
No caso da incerteza, nós erramos o tempo todo --

[414] 21:23and at the very least, we should be aware of that,
e no mínimo de verdade, nós deveríamos estar cientes disto.

[415] 21:25and ideally, we might try and do something about it.
E idealmente, nós poderíamos tentar e fazer algo sobre isto.

[416] 21:27Thanks very much.
Muito obrigado.

How stats fool juries

Peter Donnelly

Legos for grownups

Turning trash into toys for learning

Gone, Gone, Gone

Big Girls Don't Cry

The Communication Cure

Lies

Hello

Healing through diet

YouGlish

VoiceTube

Lyrics Training