[FUG-BR] Benchmark Performance -- PostgreSQL -- FreeBSD x Linux

[Alex Moura]

Oi, Paulo

Em 05/04/08, Paulo Henrique <paulo.phenrbr em gmail.com> escreveu:
> Modelo de benchmark válido.
>  Após ler essa thread estive pensando em como coloca benchmarks
>  válidos sem argumentos de contradição.

Isto parece ser virtualmente impossível. :)
Em computação sempre há pontos para contestação. E sempre vai existir
a questão de satisfazer gregos e troianos.

Fora suas notas, acho importante ressaltar alguns pontos que podem
ajudar suas análises.

- A avaliação de desempenho e otimização (benchmarking) é uma área
específica da ciência da computação ( www.sbc.org.br/wso/ ) e bem
complexa, como você já percebeu.

- É sempre importante - principalmente na ciência - determinar
claramente o que se deseja medir, evitando escopos amplos e muito
genéricos, a metodologia e as métricas. Os testes devem ser
reproduzíveis por teceiros.
Justamente por conta do escopo não amplo (p.ex: benchmarks de
subsistemas como escalonador, filesystems, pilha TCP/IP, workload
etc.), os testes de benchmark são facilmente contestáveis, mas isso
não é necessariamente algo ruim, porque servem como ponto de partida
ou parâmetro para outros testes.

Algumas referências sobre testes que podem lhe interessar:
http://perfsuite.sourceforge.net/
http://people.freebsd.org/~kris/scaling/mysql.html
http://people.freebsd.org/~kris/scaling/7.0%20and%20beyond.pdf
http://www.kernel.org/pub/linux/kernel/people/npiggin/sysbench/
http://people.freebsd.org/~kris/scaling/ebizzy.html
http://bulk.fefe.de/scalability/
http://www.linux.com/feature/41347
http://www.tux.org/~mayer/linux/compare/index.html
http://www.linux.com/articles/41348
http://www.intelcapabilitiesforum.net/articles/best_practices_for_benchmarking_on_windows_vista_-_update-page_all/
http://www.enterprisenetworkingplanet.com/nethub/article.php/3485486
http://www.freebsdos.com/news/2008/03/11/freebsd-performance/

Particularmente, acho que seria divertida uma "competição" amigável
entre experts de tuning de sistemas operacionais.

[]'s