Monday, March 24, 2008
O MOEZ - Método de Optimização Estatística Zbroing
Excluindo o momento imediatamente após o jogo, não é uma grande tradição Zbroing queixarmo-nos dos jogos que disputamos. São sempre bons jogos, revelam trabalho e são quase sempre interessantes, talvez o elemento mais importante de um jogo de cascata. O que acreditamos por vezes ficar aquém da qualidade dos jogos é a distribuição das perguntas, sendo muito raro o jogo que termina sem duas ou três equipas que se queixam de uma excessiva dificuldade nas perguntas que lhe calharam em sorte, quase sempre em benefício de outras duas ou três. No ano passado já tentámos a utilização deste método e apesar da dificuldade um pouco acima do habitual no primeiro nível, nenhuma equipa nos transmitiu ter-se sentido prejudicada em relação a outras.
É nesse sentido que pretendemos partilhar o método de organização de perguntas que iremos utilizar no Quiz de Abril, bem como partilhar as ferramentas que utilizamos com qualquer organizador que esteja interessado.
A técnica que utilizámos para melhorar a distribuição das perguntas foi a optimização estatística.
Para podermos comparar as perguntas, cada um dos organizadores deu uma pontuação de um a nove a cada pergunta. A pontuação mais baixa representa a certeza de que esta será respondida de forma directa, o nove indica que quem pontua considera a pergunta tão difícil que decerto dará a volta à sala sem resposta correcta. Dentro destes extremos, pontuámos cada pergunta e assim temos a noção de grau de dificuldade, dificuldade média por nível e dificuldade média por equipa.
Dado que este ano a equipa joga toda, todos participamos na pontuação de cada pergunta, para o que criámos uma grelha com os seguintes campos: ID, Pergunta, Resposta, Média, AA, BB, CC, DD, EE, Autor da Pergunta, Comentários.
Cada zbroing dá a sua pontuação e a pontuação média é a utilizada para a comparação, o que permite uma maior sensatez, garantido que o que é óbvio para um mas demasiado dificil para a generalidade das pessoas não fica com uma pontuação demasiado baixa. Através do método de optimização estatística, vamos reorganizar as perguntas de forma a que a equipa com a pontuação média mais baixa, fique o mais próximo possível da equipa com a pontuação média mais alta (o custo da solução é portanto a diferença entre a dificuldade do mais beneficiado com a dificuldade do mais prejudicado).
Criámos um programa para o efeito, que recebe um ficheiro CSV (aquele formato que o Excel exporta), com as perguntas e pontuações e devolve um ficheiro CSV com o grau de dificuldade. Este programa gera uma proposta de distribuição completamente aleatória, calcula o seu custo, verifica se mudando uma ou outra pergunta de sítio consegue um custo melhor, repete uns milhares de vezes este processo, guardando a melhor solução.
Ao correr o programa, temos a seguinte informação:
Numero total de perguntas : 90
Pergunta mais facil: 1.00
Pontuacao Media: 3.79
Pergunta mais dificil: 8.00
Optimizar ordenacao de respostas (número de testes, diferença entre equipa beneficiada e equipa prejudicada, valor minimo e máximo)
0 - Optimizado para 1.61 (3.19 - 4.80)
34 - Optimizado para 1.36 (3.06 - 4.42)
1441 - Optimizado para 1.32 (3.13 - 4.46)
1652 - Optimizado para 1.27 (3.17 - 4.44)
2136 - Optimizado para 1.25 (3.27 - 4.52)
5658 - Optimizado para 1.16 (3.03 - 4.19)
8844 - Optimizado para 1.08 (3.07 - 4.15)
12217 - Optimizado para 1.03 (3.13 - 4.16)
16711 - Optimizado para 1.03 (3.45 - 4.48)
17777 - Optimizado para 0.97 (3.12 - 4.09)
24932 - Optimizado para 0.85 (3.17 - 4.01)
Quando arrancámos, tínhamos uma equipa com perguntas de dificuldade média 4.80, mais de 1 ponto acima da média global. Após 25 mil testes, o custo ficou reduzido para metade.
O programa que gera está disponível aqui.
Será com muito gosto que receberemos o vosso feedback e estamos claro abertos para sugestões, dúvidas, reclamações e insultos de índole diversa.
OS ZBROING 747
É nesse sentido que pretendemos partilhar o método de organização de perguntas que iremos utilizar no Quiz de Abril, bem como partilhar as ferramentas que utilizamos com qualquer organizador que esteja interessado.
A técnica que utilizámos para melhorar a distribuição das perguntas foi a optimização estatística.
Para podermos comparar as perguntas, cada um dos organizadores deu uma pontuação de um a nove a cada pergunta. A pontuação mais baixa representa a certeza de que esta será respondida de forma directa, o nove indica que quem pontua considera a pergunta tão difícil que decerto dará a volta à sala sem resposta correcta. Dentro destes extremos, pontuámos cada pergunta e assim temos a noção de grau de dificuldade, dificuldade média por nível e dificuldade média por equipa.
Dado que este ano a equipa joga toda, todos participamos na pontuação de cada pergunta, para o que criámos uma grelha com os seguintes campos: ID, Pergunta, Resposta, Média, AA, BB, CC, DD, EE, Autor da Pergunta, Comentários.
Cada zbroing dá a sua pontuação e a pontuação média é a utilizada para a comparação, o que permite uma maior sensatez, garantido que o que é óbvio para um mas demasiado dificil para a generalidade das pessoas não fica com uma pontuação demasiado baixa. Através do método de optimização estatística, vamos reorganizar as perguntas de forma a que a equipa com a pontuação média mais baixa, fique o mais próximo possível da equipa com a pontuação média mais alta (o custo da solução é portanto a diferença entre a dificuldade do mais beneficiado com a dificuldade do mais prejudicado).
Criámos um programa para o efeito, que recebe um ficheiro CSV (aquele formato que o Excel exporta), com as perguntas e pontuações e devolve um ficheiro CSV com o grau de dificuldade. Este programa gera uma proposta de distribuição completamente aleatória, calcula o seu custo, verifica se mudando uma ou outra pergunta de sítio consegue um custo melhor, repete uns milhares de vezes este processo, guardando a melhor solução.
Ao correr o programa, temos a seguinte informação:
Numero total de perguntas : 90
Pergunta mais facil: 1.00
Pontuacao Media: 3.79
Pergunta mais dificil: 8.00
Optimizar ordenacao de respostas (número de testes, diferença entre equipa beneficiada e equipa prejudicada, valor minimo e máximo)
0 - Optimizado para 1.61 (3.19 - 4.80)
34 - Optimizado para 1.36 (3.06 - 4.42)
1441 - Optimizado para 1.32 (3.13 - 4.46)
1652 - Optimizado para 1.27 (3.17 - 4.44)
2136 - Optimizado para 1.25 (3.27 - 4.52)
5658 - Optimizado para 1.16 (3.03 - 4.19)
8844 - Optimizado para 1.08 (3.07 - 4.15)
12217 - Optimizado para 1.03 (3.13 - 4.16)
16711 - Optimizado para 1.03 (3.45 - 4.48)
17777 - Optimizado para 0.97 (3.12 - 4.09)
24932 - Optimizado para 0.85 (3.17 - 4.01)
Quando arrancámos, tínhamos uma equipa com perguntas de dificuldade média 4.80, mais de 1 ponto acima da média global. Após 25 mil testes, o custo ficou reduzido para metade.
O programa que gera está disponível aqui.
Será com muito gosto que receberemos o vosso feedback e estamos claro abertos para sugestões, dúvidas, reclamações e insultos de índole diversa.
OS ZBROING 747
Monday, March 17, 2008
Crónica da 3ª Jornada
A massada de cherne do Andorinhas, afinal, não fala mais alto que um aviso prévio, sincero e frontal, de que o jogo é para começar à hora aprazada, e é mesmo.
Eran las diez y media de la noche… e todas as quinze mesas da Academia estavam minimamente compostas para iniciar o primeiro quize de cascata da história dos Ordem do Fónix.
Devemos sublinhar, por mais que elementar dever justiça, que o jogo foi de inteira responsabilidade do Comandante, com a presença da quase totalidade dos outros fónixes a servir para marcar um apoio institucional, e apenas isso.
O quize foi um sucesso em vários planos, e repito que isso se deve ao Comandante, e só a ele, que arquitectou um jogo equilibrado e lúdico, que o conduziu com concentração e bom-senso, sem enganos ou lapsos que se desse por ela.
E no entanto… poderia temer-se o pior, com a parte escrita, decididamente o segmento menos conseguido da noite.
Difícil em demasia, extenso como não deveria, provocou uma razia entre as equipas, com dez conjuntos dez a somarem um ponto apenas… ou zero. Nunca visto!
Os concorrentes olhavam para as sequências de fotografias com uma larga interrogação a pairar sobre a mesa. Miravam e remiravam, e nada, ou quase nada.
As nuvens de desconfiança sobre o jogo dissipavam-se logo na primeira cascata, a “cascata real”, por onde passaram, entre outros, o conde Fernão Peres de Trava da batalha de S.Mamede e o landau do martirizado D.Carlos.
Havia prémios especiais para quem marcasse mais pontos nesta fase e, sem surpresas, os assumidos monárquicos do Ursinho ganharam. Nenhuma pergunta deu a volta à sala, o que era augúrio da boa qualidade do jogo.
Quando vi as perguntas, dois dias apenas antes do jogo, senti que este era um “quize para velhos”, de BI ou de afinidades, e vaticinei uma caminhada facilitada para o Ursinho e para os Cavaleiros, enquanto os Mamedes se aguentavam sem grandes rombos e os Zbroing afundavam a pique - isto para só falar das equipas de topo.
Enganei-me, como bem sabe quem sexta-feira à noite passou pela Ajuda.
A meio do nível 1, já se percebia que o jogo funcionava - a boa liderança e melhor disposição do comandante, na sua estreia de cascatas, acalmavam as hostes, que nem esboçavam o “pé de guerra” de outras ocasiões.
Três perguntas deram a volta à sala, o que é perfeitamente aceitável e fica a léguas de perfomances recentes de outros cascateiros (look who’s talking). As palavras parassintéticas, os Cafés do Álvaro Guerra e o novo disco da senhora Ciccone.
No final do nível 1, a surpresa - vamos dizer que sim - era a eliminação dos Cavaleiros, irreconhecíveis 12º na classificação final, depois de sucessivos tiros no pé.
Protestavam a dificuldade das perguntas que lhes calhavam na rifa - o porco bísaro, o haiku de Bashô, o concelho da freguesia da Ajuda há 150 anos… - sem perceberem que essas eram respondidas, em cascata, pelas equipas que lhe estavam perto.
Ok… KO para os Cavaleiros, como antes aconteceu em Janeiro, em Dezembro, em Novembro, em Outubro… a série negra fica ainda mais cerrada.
Sem perguntas de futebol (acho que estava lá uma, perdida), pensava que os Mamedes iam fraquejar, sem campo de brilho para o Pirolito.
Qual quê… lideravam já no primeiro nível.
Só os Ursinho lhe davam caça, com uma equipa sem o Luis mas bem temperada com o Pimenta (grande mais-valia).
Belo jogo também dos Feios Porcos e Maus, equipa só deste ano que à terceira vai à final de seis, dos Mineteiros, de e dos Ambité, que com um pouco mais de sorte chegariam ao pódio.
Os Zbroing estiveram regularíssimos, chapa 8 em cada nível, e assim chegaram ao terceiro lugar.
Pelas honras de ter direito à fotografia de campeões aqui no blogue, Mamedes e Ursinho brigaram até à última cascata, com várias alterações de liderança no nível 3.
Quando parecia que a mais monárquica das equipas ia repetir a glória de Janeiro, qual thug assassino, o Alexandre dos Mamedes acertou em cheio na última das últimas perguntas: onde fica o Templo Dourado, santuário do sikhismo?
O Alex foi o abono de família dos Mamedes, desta vez. E colocou a equipa na rota do tri, apesar de neste arranque de campeonato Fónixes, Ursinho e Zbroings parecerem tardar em descolar de forma clara.
Vamos esperar mais dois meses, para ver como fica então a classificação, e ver se há mesmo luta pelo ceptro, ou tão-somente uma nova ordem de equipas… para o segundo lugar.
Um comentário final: A única pergunta que o Comandante trocou, após sururu na sala, tinha a ver com bridge, e com as respectivas honras. Fê-lo após uma exibição do barraqueiro Filipe, que ficámos a saber que joga bridge como ninguém e que tem Internet no telemóvel.
A resposta estava certa. Para memória futura, fica a exibição do barraqueiro, a sua alegada excelência nos jogos de cartas e o respeito, cerimonioso, pela forma como consulta a net.
FB
Eran las diez y media de la noche… e todas as quinze mesas da Academia estavam minimamente compostas para iniciar o primeiro quize de cascata da história dos Ordem do Fónix.
Devemos sublinhar, por mais que elementar dever justiça, que o jogo foi de inteira responsabilidade do Comandante, com a presença da quase totalidade dos outros fónixes a servir para marcar um apoio institucional, e apenas isso.
O quize foi um sucesso em vários planos, e repito que isso se deve ao Comandante, e só a ele, que arquitectou um jogo equilibrado e lúdico, que o conduziu com concentração e bom-senso, sem enganos ou lapsos que se desse por ela.
E no entanto… poderia temer-se o pior, com a parte escrita, decididamente o segmento menos conseguido da noite.
Difícil em demasia, extenso como não deveria, provocou uma razia entre as equipas, com dez conjuntos dez a somarem um ponto apenas… ou zero. Nunca visto!
Os concorrentes olhavam para as sequências de fotografias com uma larga interrogação a pairar sobre a mesa. Miravam e remiravam, e nada, ou quase nada.
As nuvens de desconfiança sobre o jogo dissipavam-se logo na primeira cascata, a “cascata real”, por onde passaram, entre outros, o conde Fernão Peres de Trava da batalha de S.Mamede e o landau do martirizado D.Carlos.
Havia prémios especiais para quem marcasse mais pontos nesta fase e, sem surpresas, os assumidos monárquicos do Ursinho ganharam. Nenhuma pergunta deu a volta à sala, o que era augúrio da boa qualidade do jogo.
Quando vi as perguntas, dois dias apenas antes do jogo, senti que este era um “quize para velhos”, de BI ou de afinidades, e vaticinei uma caminhada facilitada para o Ursinho e para os Cavaleiros, enquanto os Mamedes se aguentavam sem grandes rombos e os Zbroing afundavam a pique - isto para só falar das equipas de topo.
Enganei-me, como bem sabe quem sexta-feira à noite passou pela Ajuda.
A meio do nível 1, já se percebia que o jogo funcionava - a boa liderança e melhor disposição do comandante, na sua estreia de cascatas, acalmavam as hostes, que nem esboçavam o “pé de guerra” de outras ocasiões.
Três perguntas deram a volta à sala, o que é perfeitamente aceitável e fica a léguas de perfomances recentes de outros cascateiros (look who’s talking). As palavras parassintéticas, os Cafés do Álvaro Guerra e o novo disco da senhora Ciccone.
No final do nível 1, a surpresa - vamos dizer que sim - era a eliminação dos Cavaleiros, irreconhecíveis 12º na classificação final, depois de sucessivos tiros no pé.
Protestavam a dificuldade das perguntas que lhes calhavam na rifa - o porco bísaro, o haiku de Bashô, o concelho da freguesia da Ajuda há 150 anos… - sem perceberem que essas eram respondidas, em cascata, pelas equipas que lhe estavam perto.
Ok… KO para os Cavaleiros, como antes aconteceu em Janeiro, em Dezembro, em Novembro, em Outubro… a série negra fica ainda mais cerrada.
Sem perguntas de futebol (acho que estava lá uma, perdida), pensava que os Mamedes iam fraquejar, sem campo de brilho para o Pirolito.
Qual quê… lideravam já no primeiro nível.
Só os Ursinho lhe davam caça, com uma equipa sem o Luis mas bem temperada com o Pimenta (grande mais-valia).
Belo jogo também dos Feios Porcos e Maus, equipa só deste ano que à terceira vai à final de seis, dos Mineteiros, de e dos Ambité, que com um pouco mais de sorte chegariam ao pódio.
Os Zbroing estiveram regularíssimos, chapa 8 em cada nível, e assim chegaram ao terceiro lugar.
Pelas honras de ter direito à fotografia de campeões aqui no blogue, Mamedes e Ursinho brigaram até à última cascata, com várias alterações de liderança no nível 3.
Quando parecia que a mais monárquica das equipas ia repetir a glória de Janeiro, qual thug assassino, o Alexandre dos Mamedes acertou em cheio na última das últimas perguntas: onde fica o Templo Dourado, santuário do sikhismo?
O Alex foi o abono de família dos Mamedes, desta vez. E colocou a equipa na rota do tri, apesar de neste arranque de campeonato Fónixes, Ursinho e Zbroings parecerem tardar em descolar de forma clara.
Vamos esperar mais dois meses, para ver como fica então a classificação, e ver se há mesmo luta pelo ceptro, ou tão-somente uma nova ordem de equipas… para o segundo lugar.
Um comentário final: A única pergunta que o Comandante trocou, após sururu na sala, tinha a ver com bridge, e com as respectivas honras. Fê-lo após uma exibição do barraqueiro Filipe, que ficámos a saber que joga bridge como ninguém e que tem Internet no telemóvel.
A resposta estava certa. Para memória futura, fica a exibição do barraqueiro, a sua alegada excelência nos jogos de cartas e o respeito, cerimonioso, pela forma como consulta a net.
FB
Vencedores de Março
Resultados 3ª Jornada - Março de 2008
Wednesday, March 12, 2008
Crónica da 2ª Jornada
Nunca escrevi uma crónica com tanto dever de responsabilidade como esta. A avaliar pelos comentários que têm sido deixados neste espaço há mesmo alguém que necessita destas linhas como de pão para a boca. De qualquer forma, e pedindo desculpas pelo atraso, aqui fica a crónica para acalmar a excitação do povo quizzistico.
O jogo começou com relativamente pouco atraso. Sei que muitos podem achar o contrário, mas o que é facto é que muitas equipas gostam de jantar com um mínimo de calma no Andorinhas e isso não é necessariamente um atraso. A janta no Andorinhas já faz parte do Quiz. Aliás devia atribuir 3 pontos extra na parte escrita. Sempre que uma equipa chegasse depois da música, esta simplesmente escreveria “Não sei, estive no Andorinhas de volta de uma massada de cherne” e pronto.
Foi o que aconteceu pela 2ª vez consecutiva aos Bobós uma das mais incríveis recuperações de sempre. Ficaram com 3 pontos na parte escrita quando a maior parte das equipas fez uma média de 6 pontos, mesmo as do fundo da tabela. Quando se está à pressa ainda se pode arriscar umas respostas... Agora, resolver as já clássicas charadas do Pascoalinho a correr não dá! Ainda assim falharam duas perguntas directas no nível 1 e pareciam condenados. Até porque encravados entre os Zbroing e os vencedores da noite poucas cascatas apanhariam. Mas é nestes momentos que a força do Ursinho sobressai e conseguiu cavalgar por cima de todas as contrariedades até um pouco provável 4º lugar.
O Quiz foi difícil e não deslumbrou. Contudo também nunca comprometeu e esteve seguro ao nível da correcção das respostas. Vitória que os Ordem do Fonix obtiveram no nível 3 essencialmente onde apenas estes, os Zbroing e os Bobó conseguiram dar cartas.
A organização do jogo de Fevereiro proporcionou ao Cavaleiros uma muito pouco ortodoxa posição no campeonato (estão em 13º lugar na geral). Não quero imaginar a pressão a que deverá estar sujeita a equipa do Johny Ex-Bigodes na sexta-feira.
De salientar mais uma presença dos Ambité (ou lá como é que se chamam) na final. Nada mau para uma das equipas mais recentes deste campeonato. Os Barraqueiros continuam a carregar os pergaminhos das equipas donde vêm, mas ainda não provaram que juntos sejam melhores que separados.
Os Mamedes entraram na dança e arremataram logo 10 pontos à primeira caçada. O campeonato deste ano é totalmente indefinido. Será que alguma das equipa do meio da tabela vai contratar um craque para entrar na luta que este ano parece não ser só a 3?
O jogo começou com relativamente pouco atraso. Sei que muitos podem achar o contrário, mas o que é facto é que muitas equipas gostam de jantar com um mínimo de calma no Andorinhas e isso não é necessariamente um atraso. A janta no Andorinhas já faz parte do Quiz. Aliás devia atribuir 3 pontos extra na parte escrita. Sempre que uma equipa chegasse depois da música, esta simplesmente escreveria “Não sei, estive no Andorinhas de volta de uma massada de cherne” e pronto.
Foi o que aconteceu pela 2ª vez consecutiva aos Bobós uma das mais incríveis recuperações de sempre. Ficaram com 3 pontos na parte escrita quando a maior parte das equipas fez uma média de 6 pontos, mesmo as do fundo da tabela. Quando se está à pressa ainda se pode arriscar umas respostas... Agora, resolver as já clássicas charadas do Pascoalinho a correr não dá! Ainda assim falharam duas perguntas directas no nível 1 e pareciam condenados. Até porque encravados entre os Zbroing e os vencedores da noite poucas cascatas apanhariam. Mas é nestes momentos que a força do Ursinho sobressai e conseguiu cavalgar por cima de todas as contrariedades até um pouco provável 4º lugar.
O Quiz foi difícil e não deslumbrou. Contudo também nunca comprometeu e esteve seguro ao nível da correcção das respostas. Vitória que os Ordem do Fonix obtiveram no nível 3 essencialmente onde apenas estes, os Zbroing e os Bobó conseguiram dar cartas.
A organização do jogo de Fevereiro proporcionou ao Cavaleiros uma muito pouco ortodoxa posição no campeonato (estão em 13º lugar na geral). Não quero imaginar a pressão a que deverá estar sujeita a equipa do Johny Ex-Bigodes na sexta-feira.
De salientar mais uma presença dos Ambité (ou lá como é que se chamam) na final. Nada mau para uma das equipas mais recentes deste campeonato. Os Barraqueiros continuam a carregar os pergaminhos das equipas donde vêm, mas ainda não provaram que juntos sejam melhores que separados.
Os Mamedes entraram na dança e arremataram logo 10 pontos à primeira caçada. O campeonato deste ano é totalmente indefinido. Será que alguma das equipa do meio da tabela vai contratar um craque para entrar na luta que este ano parece não ser só a 3?
Labels: 2008, 2ª Jornada, Crónicas