[FUG-BR] Benchmark Performance -- PostgreSQL -- FreeBSD x Linux

[Joao Rocha Braga Filho]

2008/4/6 Pablo Sánchez <phackwer at gmail.com>:
> Em 05/04/08, Paulo Henrique<paulo.phenrbr at gmail.com> escreveu:
>
> > Modelo de benchmark válido.
>  >  Após ler essa thread estive pensando em como coloca benchmarks válidos sem
>  >  argumentos de contradição.
>  >
>  >  A primeira nota seria sobre Hardware:
>  >
>  >  Todos os hardware deveria ser de igual configuração sendo eles em lote de
>  >  fabricação iguais.
>
>  Incorreto. Todos eles deveriam ser no mesmo hardware, inclusive no
>  mesmo HD, e sem a questão de ter dual boot, o OS deve estar sozinho no
>  HD, ocupando desde o início, pois de acordo com a posição no HD, o
>  arquivo demora mais ou menos para ser acessado (uma mera questão de
>  física).

Deve ser mais rígido ainda, com algo que ninguém, ou quase ninguém, faz.
Preparar uma imagem do HD, e só executar o teste uma vez só com ela,
e para repetir o teste, restaurar a imagem. Muitos testes criam arquivos
temporários, logs etc, o que muda a alocação de arquivos do disco, e pode
interferir no resultado. Testes de banco de dados podem ser mais sensíveis
a isto. Depois guardar esta imagem como referência para o teste, como
uma das documentações do teste. Talvez disponibilizar para download.


>
>
>  >  E que permitiria ao sistema utilizar seus recursos de performace sem
>  >  interferência.
>  >  Ou todos os teste executado sobre o mesmo hardware, o que daria ainda um
>  >  argumento para questionamento do hardware; desgate sofrido pelos teste já
>  >  executados em outros sistemas.
>
>  Dificilmente haveria desgaste tão rápido que pudesse ser levado em consideração.

As diferenças que um teste faz com um sistema de arquivos são muito
mais importantes do que desgaste.

>
>
>  >  e atravez de teste como o calculo do pi não ouver nenhuma diferença no
>  >  resultado.
>  >
>  >  Segunda nota Systema.
>  >
>  >  Ultima versão do sistema da data do benchmark.
>
>  ok

Não necessariamente a última, mas tem que deixar claro a que usou.

>
>
>  >  Terceira nota, Implementador do sistema.
>  >
>  >  Atravez de testes em cada sistema por tres implementadores especialista no
>  >  sistema no qual irá ser testado. diferentes sobre as mesmas condições do
>  >  benchmark final, o que possuir melhores resultados ser o implementará o
>  >  sistema final para comparação com os demais sistemas.
>
>  ok

Pode juntar os 3 para trocarem idéias e atingir o méximo possível.

>
>
>  >  Quarta nota, Aplicações.
>  >
>  >
>  >  A aplicação incluira todo o suporte tanto sobre velocidade como em
>  >  estabilidade em sua compilação e instalação assim como configuração e
>  >  baseado em ambiente real de produção. Contento considerações de segurança.
>
>  ok. Não vale pegar e levantar todas as defesas em um, e baixar no
>  outro para ganhar performance. Deve ser pensado que o sistema sofrerá
>  TODO o tipo de ataque.

Depende do que está pensando. Se o teste for sem levar em conta defesas,
todos deverão ser implementados assim. Com ou sem defesa, elas tem que
ser documentadas.


>
>
>  >  Quinta e ultima nota ao meu intendimento não inerente ao benchmark.
>  >  Cada pessoa tem que respeitar os resultados, e admitir a real situação do
>  >  sistema atravez dos resultados obtidos.
>
>  Agora ficou doidão. :-P Não, a pessoa pode questionar sim, pois
>  através do questionamento pode trazer itens que não foram inclusos na
>  configuração do sistema que modificam completamente a performance.
>  Então, todo o benchmark é passível de questionamento, se não foss,
>  fazíamos apenas um e usávamos apenas o sistema operacional que prestou
>  na ocasião...

O questionamente deve ser construtivo, embasado, e não um simples
"discordo por que não gostei do resultado". Se não gostou, diga por que
não gostou, desde que seja embasado, dê sugestões, e batalhe para
melhorar o sistema, se achar que o resultado deste teste seja importante.

>
>
>  >  E executar o benchmark sobre o mesmo hardware em no minimo duração de uma
>  >  semana e o pior resultado será o valido no final do benchmark.

Discordo. Seria interessante a média, dizendo o mínimo, o máximo, e
se possível o desvio padrão. Disponibilizar cada um dos resultados
individuais de cada teste. Pode fazer também sobre o mesmo HD sem
recolocação da imagem, e com a recolocação da imagem, para testar
a repetitividade dos resultados.

>  >
>  >  Esse seria os criterio creio eu para um benchmark entre sistemas.
>  >  Não tenho a menor intenção de criar flames e adoraria ter novas
>  >  considerações dos colegas para uma fidelidade corrente do benchmark.
>  >
>  >  Obrigado a todos e me desculpe caso tenha dado algum criterio errôneo.
>
>  Relaxa, vc pelo menos parou para pensar nisso, eu nem tive tempo. :-P
>
>  Um abc
>
>

Abraços,
     João Rocha.

> -------------------------
>  Histórico: http://www.fug.com.br/historico/html/freebsd/
>  Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>



-- 
"Sempre se apanha mais com as menores besteiras. Experiência própria."

goffredo at goffredo.eti.br
goffredo at gmail.com
http://www.goffredo.eti.br