Monday, March 24, 2008
O MOEZ - Método de Optimização Estatística Zbroing
Excluindo o momento imediatamente após o jogo, não é uma grande tradição Zbroing queixarmo-nos dos jogos que disputamos. São sempre bons jogos, revelam trabalho e são quase sempre interessantes, talvez o elemento mais importante de um jogo de cascata. O que acreditamos por vezes ficar aquém da qualidade dos jogos é a distribuição das perguntas, sendo muito raro o jogo que termina sem duas ou três equipas que se queixam de uma excessiva dificuldade nas perguntas que lhe calharam em sorte, quase sempre em benefício de outras duas ou três. No ano passado já tentámos a utilização deste método e apesar da dificuldade um pouco acima do habitual no primeiro nível, nenhuma equipa nos transmitiu ter-se sentido prejudicada em relação a outras.
É nesse sentido que pretendemos partilhar o método de organização de perguntas que iremos utilizar no Quiz de Abril, bem como partilhar as ferramentas que utilizamos com qualquer organizador que esteja interessado.
A técnica que utilizámos para melhorar a distribuição das perguntas foi a optimização estatística.
Para podermos comparar as perguntas, cada um dos organizadores deu uma pontuação de um a nove a cada pergunta. A pontuação mais baixa representa a certeza de que esta será respondida de forma directa, o nove indica que quem pontua considera a pergunta tão difícil que decerto dará a volta à sala sem resposta correcta. Dentro destes extremos, pontuámos cada pergunta e assim temos a noção de grau de dificuldade, dificuldade média por nível e dificuldade média por equipa.
Dado que este ano a equipa joga toda, todos participamos na pontuação de cada pergunta, para o que criámos uma grelha com os seguintes campos: ID, Pergunta, Resposta, Média, AA, BB, CC, DD, EE, Autor da Pergunta, Comentários.
Cada zbroing dá a sua pontuação e a pontuação média é a utilizada para a comparação, o que permite uma maior sensatez, garantido que o que é óbvio para um mas demasiado dificil para a generalidade das pessoas não fica com uma pontuação demasiado baixa. Através do método de optimização estatística, vamos reorganizar as perguntas de forma a que a equipa com a pontuação média mais baixa, fique o mais próximo possível da equipa com a pontuação média mais alta (o custo da solução é portanto a diferença entre a dificuldade do mais beneficiado com a dificuldade do mais prejudicado).
Criámos um programa para o efeito, que recebe um ficheiro CSV (aquele formato que o Excel exporta), com as perguntas e pontuações e devolve um ficheiro CSV com o grau de dificuldade. Este programa gera uma proposta de distribuição completamente aleatória, calcula o seu custo, verifica se mudando uma ou outra pergunta de sítio consegue um custo melhor, repete uns milhares de vezes este processo, guardando a melhor solução.
Ao correr o programa, temos a seguinte informação:
Numero total de perguntas : 90
Pergunta mais facil: 1.00
Pontuacao Media: 3.79
Pergunta mais dificil: 8.00
Optimizar ordenacao de respostas (número de testes, diferença entre equipa beneficiada e equipa prejudicada, valor minimo e máximo)
0 - Optimizado para 1.61 (3.19 - 4.80)
34 - Optimizado para 1.36 (3.06 - 4.42)
1441 - Optimizado para 1.32 (3.13 - 4.46)
1652 - Optimizado para 1.27 (3.17 - 4.44)
2136 - Optimizado para 1.25 (3.27 - 4.52)
5658 - Optimizado para 1.16 (3.03 - 4.19)
8844 - Optimizado para 1.08 (3.07 - 4.15)
12217 - Optimizado para 1.03 (3.13 - 4.16)
16711 - Optimizado para 1.03 (3.45 - 4.48)
17777 - Optimizado para 0.97 (3.12 - 4.09)
24932 - Optimizado para 0.85 (3.17 - 4.01)
Quando arrancámos, tínhamos uma equipa com perguntas de dificuldade média 4.80, mais de 1 ponto acima da média global. Após 25 mil testes, o custo ficou reduzido para metade.
O programa que gera está disponível aqui.
Será com muito gosto que receberemos o vosso feedback e estamos claro abertos para sugestões, dúvidas, reclamações e insultos de índole diversa.
OS ZBROING 747
É nesse sentido que pretendemos partilhar o método de organização de perguntas que iremos utilizar no Quiz de Abril, bem como partilhar as ferramentas que utilizamos com qualquer organizador que esteja interessado.
A técnica que utilizámos para melhorar a distribuição das perguntas foi a optimização estatística.
Para podermos comparar as perguntas, cada um dos organizadores deu uma pontuação de um a nove a cada pergunta. A pontuação mais baixa representa a certeza de que esta será respondida de forma directa, o nove indica que quem pontua considera a pergunta tão difícil que decerto dará a volta à sala sem resposta correcta. Dentro destes extremos, pontuámos cada pergunta e assim temos a noção de grau de dificuldade, dificuldade média por nível e dificuldade média por equipa.
Dado que este ano a equipa joga toda, todos participamos na pontuação de cada pergunta, para o que criámos uma grelha com os seguintes campos: ID, Pergunta, Resposta, Média, AA, BB, CC, DD, EE, Autor da Pergunta, Comentários.
Cada zbroing dá a sua pontuação e a pontuação média é a utilizada para a comparação, o que permite uma maior sensatez, garantido que o que é óbvio para um mas demasiado dificil para a generalidade das pessoas não fica com uma pontuação demasiado baixa. Através do método de optimização estatística, vamos reorganizar as perguntas de forma a que a equipa com a pontuação média mais baixa, fique o mais próximo possível da equipa com a pontuação média mais alta (o custo da solução é portanto a diferença entre a dificuldade do mais beneficiado com a dificuldade do mais prejudicado).
Criámos um programa para o efeito, que recebe um ficheiro CSV (aquele formato que o Excel exporta), com as perguntas e pontuações e devolve um ficheiro CSV com o grau de dificuldade. Este programa gera uma proposta de distribuição completamente aleatória, calcula o seu custo, verifica se mudando uma ou outra pergunta de sítio consegue um custo melhor, repete uns milhares de vezes este processo, guardando a melhor solução.
Ao correr o programa, temos a seguinte informação:
Numero total de perguntas : 90
Pergunta mais facil: 1.00
Pontuacao Media: 3.79
Pergunta mais dificil: 8.00
Optimizar ordenacao de respostas (número de testes, diferença entre equipa beneficiada e equipa prejudicada, valor minimo e máximo)
0 - Optimizado para 1.61 (3.19 - 4.80)
34 - Optimizado para 1.36 (3.06 - 4.42)
1441 - Optimizado para 1.32 (3.13 - 4.46)
1652 - Optimizado para 1.27 (3.17 - 4.44)
2136 - Optimizado para 1.25 (3.27 - 4.52)
5658 - Optimizado para 1.16 (3.03 - 4.19)
8844 - Optimizado para 1.08 (3.07 - 4.15)
12217 - Optimizado para 1.03 (3.13 - 4.16)
16711 - Optimizado para 1.03 (3.45 - 4.48)
17777 - Optimizado para 0.97 (3.12 - 4.09)
24932 - Optimizado para 0.85 (3.17 - 4.01)
Quando arrancámos, tínhamos uma equipa com perguntas de dificuldade média 4.80, mais de 1 ponto acima da média global. Após 25 mil testes, o custo ficou reduzido para metade.
O programa que gera está disponível aqui.
Será com muito gosto que receberemos o vosso feedback e estamos claro abertos para sugestões, dúvidas, reclamações e insultos de índole diversa.
OS ZBROING 747
# posted by Sérgio @ 11:09 AM 
Comments:
<< Home
SIM???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
Comandante
A Ordem do Fónix
Comandante
A Ordem do Fónix
Parece-me uma excelente ideia, mas acho que a explicação não está nada pedagógica: quem nunca tiver visto uma função de custo ou um algoritmo de optimização vai ficar um bocado assustado com a coisa.
Destaco a explicação sobre a manipulação das equipas com maior ou menor pontuação: não se trata da pontuação do campeonato, mas da pontuação das perguntas que serão atribuidas durante o próximo quiz: as equipas continuarão a ser seleccionadas pelas famosas cartas do João (julgo). Os Zbroing pretendem apenas (e bem) garantir que cada equipa não tem, por sorte ou azar no sorteio do seu lugar, um caminho ensolarado ou tenebroso.
Perguntas / sugestões:
- O método admite perguntas divididas por temas? Se não, seria algo útil de implementar.
- Fizeram uma análise das dificuldades mínima, máxima e média por nível? Assim podia-se perceber que tipo de quiz será...
- Quais os desvios padrões dessas distribuições?
Parabéns pela iniciativa!
Destaco a explicação sobre a manipulação das equipas com maior ou menor pontuação: não se trata da pontuação do campeonato, mas da pontuação das perguntas que serão atribuidas durante o próximo quiz: as equipas continuarão a ser seleccionadas pelas famosas cartas do João (julgo). Os Zbroing pretendem apenas (e bem) garantir que cada equipa não tem, por sorte ou azar no sorteio do seu lugar, um caminho ensolarado ou tenebroso.
Perguntas / sugestões:
- O método admite perguntas divididas por temas? Se não, seria algo útil de implementar.
- Fizeram uma análise das dificuldades mínima, máxima e média por nível? Assim podia-se perceber que tipo de quiz será...
- Quais os desvios padrões dessas distribuições?
Parabéns pela iniciativa!
# posted by 
: 5:39 PM
: 5:39 PM
Antes de fazer a média deviam retirar a melhor e a pior pontuação. Quem faz a pergunta acha sempre fácil.
# posted by : 7:42 PM
: 7:42 PM
Para sermos mesmo picuinhas, e visto que há muitas pontuações por pergunta, deviam-se retirar os outliers fora de 2 ou 3 desvios padrões!
# posted by : 2:05 AM
: 2:05 AM
Isso de pedir ajuda à Paula Espírito Santo para os quizes é altamente condenável.
# posted by : 3:21 AM
: 3:21 AM
Jorge,
antes de mais muito obrigado pelas sugestões.
Tal como disseste e bem, este post tem apenas a ver com a forma como a nossa equipa vai organizar o jogo este mês de Abril e as pontuações referidas não têm a ver com o campeonato.
Quanto aos temas, é possível adaptar, sim. Basta acrescentar na função de custo um valor quando há concentração de temas na mesma equipa. Vou alterar.
Análises dos níveis, não colocámos nada no post por ainda não termos fechado o quiz e ainda termos de pontuar, excluir e mudar de nível muitas perguntas.
O que temos de momento é:
Nível 1, média de 3,93, DP de 1,52 - dificuldades entre 1 e 7.5
Nível 2, média de 5,76, DP de 1,10 - dificuldades entre 2,33 e 7,8.
Nível 3, média de 7,44, DP de 0,95. - dificuldades entre 5,6 e 9 ;)
Quanto a eliminar pontuações mínimas ou a dois, três sigmas, temos reparado é no comportamento de "bias" por as pontuações anteriores, nomeadamente a do autor da pergunta estarem visíveis. Ocorrem dois fenómenos - ou se dá uma pontuação similar, ou procura-se influenciar a pontuação final dando uma pontuação exageradamente baixa ou alta.
Como a nossa equipa não tem malta das "duras", há também um certo bias sobre essas perguntas.
Acho que vamos acabar por pedir a amigos que não joguem na cascata para responder e pontuar as perguntas. Work in progress :)
antes de mais muito obrigado pelas sugestões.
Tal como disseste e bem, este post tem apenas a ver com a forma como a nossa equipa vai organizar o jogo este mês de Abril e as pontuações referidas não têm a ver com o campeonato.
Quanto aos temas, é possível adaptar, sim. Basta acrescentar na função de custo um valor quando há concentração de temas na mesma equipa. Vou alterar.
Análises dos níveis, não colocámos nada no post por ainda não termos fechado o quiz e ainda termos de pontuar, excluir e mudar de nível muitas perguntas.
O que temos de momento é:
Nível 1, média de 3,93, DP de 1,52 - dificuldades entre 1 e 7.5
Nível 2, média de 5,76, DP de 1,10 - dificuldades entre 2,33 e 7,8.
Nível 3, média de 7,44, DP de 0,95. - dificuldades entre 5,6 e 9 ;)
Quanto a eliminar pontuações mínimas ou a dois, três sigmas, temos reparado é no comportamento de "bias" por as pontuações anteriores, nomeadamente a do autor da pergunta estarem visíveis. Ocorrem dois fenómenos - ou se dá uma pontuação similar, ou procura-se influenciar a pontuação final dando uma pontuação exageradamente baixa ou alta.
Como a nossa equipa não tem malta das "duras", há também um certo bias sobre essas perguntas.
Acho que vamos acabar por pedir a amigos que não joguem na cascata para responder e pontuar as perguntas. Work in progress :)
Eu não vou estar no próximo quiz, portanto podem contar comigo para ajudar a destrinçar esse temível bias.
# posted by : 10:20 AM
: 10:20 AM
Cala-te Paulo! Depois ela aparecia e tinhamos uma vantagem do caraças! Fónix!
# posted by : 12:25 PM
: 12:25 PM
Fónix?
Já sabia que sobrava para nós!
Podemos dar uma ajuda. A minha prima voluntariza-se para analisar a dificuldade das perguntas. E promete não me contar nada.
Comandante
A verdadeira e única Ordem do Fónix
Já sabia que sobrava para nós!
Podemos dar uma ajuda. A minha prima voluntariza-se para analisar a dificuldade das perguntas. E promete não me contar nada.
Comandante
A verdadeira e única Ordem do Fónix
devem estar a gozar...
pessoal zbroingiano: atinai, dedicai-vos mas é às vossas mulheres e filhos, ou ainda acabam como vocês.
E, importante, get a life!
jacaré
pessoal zbroingiano: atinai, dedicai-vos mas é às vossas mulheres e filhos, ou ainda acabam como vocês.
E, importante, get a life!
jacaré
# posted by : 8:12 AM
: 8:12 AM
pelo contrário, anonymooose, este post é o maior contributo para o quiz de cascata desde o amuo de um senhor que a gente cá sabe
# posted by : 6:37 PM
: 6:37 PM
sugestões?
O Real empatou hoje no Funchal e continua em quarto lugar.
Sugiro ao Bigodes que beba umas ponchas e coma umas bifanas no bolo do caco.
Abraços, e saúde.
FB
O Real empatou hoje no Funchal e continua em quarto lugar.
Sugiro ao Bigodes que beba umas ponchas e coma umas bifanas no bolo do caco.
Abraços, e saúde.
FB
# posted by : 11:50 AM
: 11:50 AM
Olá pessoal,
Off topic, mas...
Algum de vós me sabe dizer se amanhã há quiz n'A Barraca?
Tenho um amigo interessado em conhecer as lides quizisticas e gostaria de aferir as capacidades dele.
Saudações,
VMagueijo
Off topic, mas...
Algum de vós me sabe dizer se amanhã há quiz n'A Barraca?
Tenho um amigo interessado em conhecer as lides quizisticas e gostaria de aferir as capacidades dele.
Saudações,
VMagueijo
# posted by : 8:26 AM
: 8:26 AM
Na Barraca, o Júlio não costuma falhar.
Afinal quando é temos as perguntas para avaliar a dificuldade?
Ou nos explicam tudo, ou queremos participar na brincadeira dos DP, saber quanto é o custo valor - isto tem a ver com o preço dos subornos? Para nós era mais bifanas...
Comandante
A Ordem do Fónix
Afinal quando é temos as perguntas para avaliar a dificuldade?
Ou nos explicam tudo, ou queremos participar na brincadeira dos DP, saber quanto é o custo valor - isto tem a ver com o preço dos subornos? Para nós era mais bifanas...
Comandante
A Ordem do Fónix
A Barraca só tem quiz de novo dia 9..
Quanto às perguntas, já temos audiência, para garantir a generalidade e dispersão de temas. Esperemos que acima de tudo se divirtam.
Quanto às perguntas, já temos audiência, para garantir a generalidade e dispersão de temas. Esperemos que acima de tudo se divirtam.
Pois... Não houve e provavelmente não vái voltar a haver. Acho que ficamos todos a perder com ésta história. Parece-me que se esgotou a paciencia e a boa-vontade porque fazer uns quizes para os amigos e ter o compromisso de o fazer todas as semanas durante anos a fio são coisa muito diferentes.
# posted by : 10:10 AM
: 10:10 AM
confirmei c o julio: amanha, dia 9 de Abril, nao ha quiz na barraca e, em principio, nao havera ate ao fim do mes.
# posted by : 2:50 PM
: 2:50 PM
E agora os viciados onde vão jogar quiz semanalmente?
Se houver interesse por parte da malta Proponho alternativas.
Se houver interesse por parte da malta Proponho alternativas.
# posted by : 8:30 AM
: 8:30 AM
Os quizes na barraca acabaram de vez, segundo o senhor que gere o bar.
"as coisas têm o seu tempo...", sic.
Não fico com grandes saudades dos quizes da barraca, das poucas vezes que lá fui. De todas as noites da semana, a quarta-feira é aquele em que menos provável é estar de folga, e por isso apareci de facto muito pouco.
Mas deu para perceber que "não havia ambiente". Pouca gente, um bar nada atractivo (para jogador de quiz) e com bebidas um bocado para o carote.
Continuo, sim, com grandes saudades do bar da rua dos industriais, lá para os lados de São Bento. Saudades das mega-enchentes de algumas terças-feiras, em que as equipas chegavam às três dezenas. E em que não havia sequer lugar em pé!
Não é pelo Júlio que os quizes na Barraca não funcionaram. Os jogos continuaram a ter o mesmo interesse, o mesmo ritmo, a mesma estrutura. Agradáveis, mais ou menos consensuais, enfim. o "Julius touch", diria.
Talvez não tenham funcionado pelo espaço, de facto. World Music nas colunas, cerveja cara. Nada de comidas - nem tostas, sequer. Nem cafés.
Lembram-se das tostas nos industriais?, e dos hamburguers, dos gelados, dos cafés com natas...
Era bom.
FB
"as coisas têm o seu tempo...", sic.
Não fico com grandes saudades dos quizes da barraca, das poucas vezes que lá fui. De todas as noites da semana, a quarta-feira é aquele em que menos provável é estar de folga, e por isso apareci de facto muito pouco.
Mas deu para perceber que "não havia ambiente". Pouca gente, um bar nada atractivo (para jogador de quiz) e com bebidas um bocado para o carote.
Continuo, sim, com grandes saudades do bar da rua dos industriais, lá para os lados de São Bento. Saudades das mega-enchentes de algumas terças-feiras, em que as equipas chegavam às três dezenas. E em que não havia sequer lugar em pé!
Não é pelo Júlio que os quizes na Barraca não funcionaram. Os jogos continuaram a ter o mesmo interesse, o mesmo ritmo, a mesma estrutura. Agradáveis, mais ou menos consensuais, enfim. o "Julius touch", diria.
Talvez não tenham funcionado pelo espaço, de facto. World Music nas colunas, cerveja cara. Nada de comidas - nem tostas, sequer. Nem cafés.
Lembram-se das tostas nos industriais?, e dos hamburguers, dos gelados, dos cafés com natas...
Era bom.
FB
# posted by : 11:05 AM
: 11:05 AM
Como o Julio bem sabe está a ser preparada uma alternativa, bem válida, para os quizzes semanais, com o regresso à mítica 3ª feira e num espaço bem giro. Não sei se apropriado mas giro.Novidades durante o cascata.
Bigodes
Bigodes
# posted by : 5:28 PM
: 5:28 PM
Para os eventuais interessados: às terças e quintas, às 22:30, tem lugar um quiz no bar Hemmingway´s, na marina de cascais (fica no piso de cima). O nº de equipas que habitualmente joga é variável (entre as 7 e as 12); as inscrições custam 1€; o quiz de terça é temático, ou seja, as últimas 15 perguntas são sobre uma determinada área (política, artes, bd, azulejos de wc...); o quiz é composto por 40 perguntas, e o prémio de jogo é repartido, geralmente, pelas equipas que chegam ao pódio (dependendo da boa-vontade da gerência do bar no dia em questão, podem englobar tostas ou crepes, para além do habitual consumo de bebidas). uma das equipas habituais nesses quizzes é francamente forte (está ao nível das prestações dos antigos BMV ou dos Zbroing na Barraca).A simpatia da gerência encontra-se nas antípodas da de Sandro Amaro no antigo bar Quiz.
Pedro, Mineteiros do Apocalipse speaker
Pedro, Mineteiros do Apocalipse speaker
# posted by : 10:44 AM
: 10:44 AM
o resto da equipa a) mamediana b) mamedina c) mamedense também saúda o Pascoalinho!
# posted by : 3:57 PM
: 3:57 PM
É verdade.
Pascoalinho sem espinhas!
Parabéns caro António pelo seu título.
Um abraço,
VMagueijo
Post a Comment
Pascoalinho sem espinhas!
Parabéns caro António pelo seu título.
Um abraço,
VMagueijo
# posted by : 6:20 AM
: 6:20 AM << Home
