[FUG-BR] Benchmark Performance -- PostgreSQL -- FreeBSD x Linux

[Pablo Sánchez]

Em 05/04/08, Paulo Henrique<paulo.phenrbr em gmail.com> escreveu:
> Modelo de benchmark válido.
>  Após ler essa thread estive pensando em como coloca benchmarks válidos sem
>  argumentos de contradição.
>
>  A primeira nota seria sobre Hardware:
>
>  Todos os hardware deveria ser de igual configuração sendo eles em lote de
>  fabricação iguais.

Incorreto. Todos eles deveriam ser no mesmo hardware, inclusive no
mesmo HD, e sem a questão de ter dual boot, o OS deve estar sozinho no
HD, ocupando desde o início, pois de acordo com a posição no HD, o
arquivo demora mais ou menos para ser acessado (uma mera questão de
física).

>  E que permitiria ao sistema utilizar seus recursos de performace sem
>  interferência.
>  Ou todos os teste executado sobre o mesmo hardware, o que daria ainda um
>  argumento para questionamento do hardware; desgate sofrido pelos teste já
>  executados em outros sistemas.

Dificilmente haveria desgaste tão rápido que pudesse ser levado em consideração.

>  e atravez de teste como o calculo do pi não ouver nenhuma diferença no
>  resultado.
>
>  Segunda nota Systema.
>
>  Ultima versão do sistema da data do benchmark.

ok

>  Terceira nota, Implementador do sistema.
>
>  Atravez de testes em cada sistema por tres implementadores especialista no
>  sistema no qual irá ser testado. diferentes sobre as mesmas condições do
>  benchmark final, o que possuir melhores resultados ser o implementará o
>  sistema final para comparação com os demais sistemas.

ok

>  Quarta nota, Aplicações.
>
>
>  A aplicação incluira todo o suporte tanto sobre velocidade como em
>  estabilidade em sua compilação e instalação assim como configuração e
>  baseado em ambiente real de produção. Contento considerações de segurança.

ok. Não vale pegar e levantar todas as defesas em um, e baixar no
outro para ganhar performance. Deve ser pensado que o sistema sofrerá
TODO o tipo de ataque.

>  Quinta e ultima nota ao meu intendimento não inerente ao benchmark.
>  Cada pessoa tem que respeitar os resultados, e admitir a real situação do
>  sistema atravez dos resultados obtidos.

Agora ficou doidão. :-P Não, a pessoa pode questionar sim, pois
através do questionamento pode trazer itens que não foram inclusos na
configuração do sistema que modificam completamente a performance.
Então, todo o benchmark é passível de questionamento, se não foss,
fazíamos apenas um e usávamos apenas o sistema operacional que prestou
na ocasião...

>  E executar o benchmark sobre o mesmo hardware em no minimo duração de uma
>  semana e o pior resultado será o valido no final do benchmark.
>
>  Esse seria os criterio creio eu para um benchmark entre sistemas.
>  Não tenho a menor intenção de criar flames e adoraria ter novas
>  considerações dos colegas para uma fidelidade corrente do benchmark.
>
>  Obrigado a todos e me desculpe caso tenha dado algum criterio errôneo.

Relaxa, vc pelo menos parou para pensar nisso, eu nem tive tempo. :-P

Um abc