Desafios

É a etapa na qual a equipe gestora, junto a uma banca de especialistas, avalia quais soluções têm maior aderência ao desafio.

O conteúdo deste post foi adaptado do livro Inovação Aberta na Prática, escrito por Bruno Martins Rizardi e Tomaz Vicente Santos, que será lançado em breve pela GNOVA/Enap, como parte da coleção Inovação na Prática. Confira os títulos já disponíveis clicando aqui

A avaliação das propostas acontece após a submissão e fechamento do período de inscrições. A avaliação sempre estará conectada aos critérios estabelecidos no edital de lançamento do desafio, com a diferença de que nesta etapa é feito um detalhamento sobre como pontuar os critérios de avaliação, por isso é importante que a forma de avaliação preceda o desenho do instrumento de submissão. Dessa forma, a banca avaliadora pode atribuir uma pontuação numérica, e portanto comparável, a cada proposta. Antes de determinar a estratégia de pontuação, é preciso avaliar qual a melhor maneira de avaliar o desafio. Algumas perguntas orientadoras que ajudam a tomar essa decisão são:

1. A quantidade de submissões esperada é alta ou baixa?

2. O desafio tem um caráter de descoberta, de prototipagem ou de incorporação?

3. As soluções esperadas estão sujeitas a uma avaliação técnica mais rigorosa?

A primeira pergunta foca em entender a necessidade de que exista um momento inicial de triagem, ou de que o desafio tenha mais de uma fase. Fazer uma triagem inicial para descartar propostas que não cumprem critérios mínimos e somente depois analisar cada proposta integralmente é uma maneira de "filtrar" as propostas antes de avaliá-las. A segunda e terceira perguntas salientam a possibilidade de se fazer ou não uma avaliação técnica objetiva sobre as propostas - enquanto um código de software pode passar por uma avaliação técnica, uma ideia que nunca tenha sido concretizada é mais difícil de ser avaliada objetivamente. Propomos três maneiras de avaliar critérios:

1. Binária. Avaliar se, para cada critério, a proposta é promissora ou não. Em geral, este tipo de avaliação é mais útil para desafios mais exploratórios com ideias menos tangíveis ou para determinar critérios mínimos de triagem - se a solução não cumpre este critério, está desclassificada.

2. Escala Likert. Trata-se de uma das metodologias mais populares e, consequentemente, mais indicadas para realizar pesquisas de opinião. Ao contrário de uma pergunta na qual se escolhe entre o sim e o não, questões construídas a partir da escala Likert apresentam uma afirmação auto-descritiva e, em seguida, oferecem como opção de resposta uma escala de pontos com descrições verbais que contemplam extremos – como “concordo totalmente” e “discordo totalmente” ou "abaixo do esperado" e "acima do esperado". 

3. Pontuação. Ao avaliar uma ideia, o avaliador irá atribuir uma pontuação - em geral com alcance maior que da escala Likert, com pontuação que vai de 0-20 ou 0-100 - para cada um dos critérios do desafio. Este tipo de escala é útil quando se espera que diferenças sutis irão distinguir as propostas finalistas da proposta vencedora.

Desafios faseados têm pelo menos duas etapas de avaliação: uma para afunilar a quantidade de propostas na competição (e.g. ideias, conceitos) e outra para que as propostas remanescentes possam ser ainda mais qualificadas (e.g. protótipos, MVPs). No caso de um desafio não-faseado, os participantes submetem suas propostas e a melhor delas leva o prêmio - há apenas uma etapa de avaliação. Contudo, mesmo nos casos onde o desafio não é faseado é possível que uma única etapa de avaliação seja feita em vários pequenos ciclos avaliativos, para que submissões que não cumprem os critérios mínimos não consumam o tempo da banca avaliadora. 

Formulário de submissão

O formulário de submissão é o instrumento que coleta as propostas para que estas possam ser avaliadas e pontuadas pela banca avaliadora. Um formulário contém espaços que permitem que participantes apresentem suas ideias através de texto, arquivos e links. Nesta etapa é essencial padronizar as respostas dos proponentes, para que na fase de avaliação pela banca as propostas sejam efetivamente comparáveis. Para isso, estabelecer números mínimos e máximos de caracteres, slides, tempo de vídeo, linhas de código etc. impacta no tempo que será gasto para avaliar cada proposta. Um bom formulário de submissão contém:

1. Uma introdução explicando o que é o desafio;

2. Um espaço de aceite das regras do Edital e da comunidade pelo participante;

3. Dados bancários do proponente, para facilitar o eventual pagamento do prêmio;

4. Perguntas objetivas com tamanhos restritos de resposta sobre o funcionamento da solução;

5. Espaços para que o proponente suba arquivos e links que ajudem a entender ainda melhor a solução (vídeos, apresentações, códigos, etc).