[FUG-BR] Teste Performance PostgreSQL FreeBSD Linux e Windows2003Server

[Joao Rocha Braga Filho]

Bem falado, mas um benchmark com a instalação básica é interessante,
pois muitos fazem uso do sistema assim mesmo. Mas também é necessário
um com tudo ajustado, e mesmo assim muita gente vai discutir. Então
poderia fazer um segundo teste otimizado, seguindo as sugestões das
pessoas.

Já pensei em fazer um teste de desempenho de MTAs, com o Sendmail,
o Postfix (com e sem Milter), o Exim, o Qmail (padrão e com os patchs).
Primeiro, os instaladres não saberiam como seria o teste. Eles preparariam
as máquinas, mas o teste seria feito no mesmo HD, para não afetar os testes.
Depois seria  feito outro teste, quando eles já soubessem como era o teste.
E talvez um terceiro teste, depois da publicação dos resultados e das
dicussões em público.

Pena que não tenho os recursos e o tempo para fazer este teste. Mas acho
que encontraria pessoal voluntário para fazer o teste.


Abuaços,
    João Rocha.

On 8/24/06, Patrick Tracanelli <eksffa at freebsdbrasil.com.br> wrote:
>
> Em teoria eu concordaria que benchmark ideal deve ser na instalacao
> padrao; mas so em teoria; sistemas BSD de forma geral sao conservadores
> em sua instalacao padrao. Ate pouco tempo atraz a granularidade (HZ) do
> FreeBSD era 10% da otimizacao ideal para arquiteturas i386 por exemplo.
> Algumas definicoes controladas pela kern.maxusers ficam aquem do ideal
> pois esta variavel tem um auto-tuning igualmente conservador. Alias so
> tem auto tuning desde meados da serie 4, porque Matt Dillon fez um
> algoritimo segundo ele "simplista, conservador, considerando apenas 1
> dos 5 principais recursos da maquina, mas principalmente seguro", porque
> antes disso essa mesma variavel tinha valor estatico - e ridiculamente
> baixo. Em sistemas de grande demanda invariavelmente buffers de rede tem
> que ser modificado manualmente, ate mesmo diretivas IPC sao
> conservadoras e podem apresentar limites bem cedo na utilizacao do
> sistema, dependendo do objetivo.
>
> Na verdade se alguem sai em desvantagens em benchmarks "out of the box"
> sao os sistemas BSD, que por padrao tem kernel de proposito geral nao
> otimizado. Veja que ai ainda ha diferencas, no FreeBSD o kernel de
> proposito geral tem um unico objetivo: permitir a instalacao do sistema
> operacional no maior numero possivel de hardware. Qualquer coisa menos
> basica, a premissa mais basica indica que o usuario do FreeBSD tera que
> recompilar seu kernel, por exemplo, nem firewall ha por padrao. Outros
> BSDs sao diferentes, o OpenBSD tambem nao e otimizado out of the box,
> mas por outro lado seu kernel de proposito geral nao e orientado apenas
> para instalacao: eh realmente proposito geral, tem quase tudo que o
> kernel do sistema pode ter, e consequentemente demanda mais recurso (eh
> maior) do que poderia, em praticamente todo tipo de uso do OpenBSD. Ou
> seja nao so "da" customizar, "deve" ser feito.
>
> Testes com sistemas que dependam fortemente de recursos nao disponiveis
> no kernel padrao, sao ainda menos justos. Por exemplo Squid e PostgreSQL
>     dependem de memoria compartilhada e semaforo, estilo System V. Como
> esse benchmark foi feito por nosso amigo com PostgreSQL sem isso? O
> kernel do FreeBSD nao tem definicoes essenciais por padrao desses
> recursos para essas aplicacoes trabalharem corretamente. Se o kernel do
> FreeBSD foi recompilado ja nao e mais "out of the box" e isso invalida o
> benchmark.
>
> No minimo as mesmas paginas de memoria divididas nos mesmos segmentos em
> proporcoes iguais deviram estar definidos no kernel de ambos sistemas
> operacionais. Ai ja entramos em outro problema: sistemas distintos tem
> variaveis e MIB de tuning distintas, que as vezes apresentam
> comportamento diferente, ou as vezes sequer tem em comum as mesmas
> possibilidades de ajustes. Ai vem um e diz "ah mas o FreeBSD eh mais
> 'tunavel' que Linux". Eh verdade, o que so aumenta a injustica do
> benchmark que nao pode ser realizado "out of the box".
>
> Note que nao estou defendendo o Linux hehe. Mas benchmarks de forma
> geral demanda profissionais capacitados em todos os sistemas testados
> para comprovar a "justica" das comparacoes. Nesse teste realizado pelo
> amigo da lista o FreeBSD ganhou. Otimo. Mas em diversos outros
> benchmarks FreeBSD se mostrava inferior ao Linux, ou ao NetBSD, ou ate
> mesmo ao Windows em alguns. Em todos eles os testes foram questionados
> porque eram sempre realizados por especialistas em Linux, ou
> especialistas em NetBSD, ou em Windows, e que ignoravam premissas
> basicas do FreeBSD, ou entao que no maximo sabiam o basico mas nao
> passava disso, e em condicoes iguais os sistemas mostravam-se capazes de
> desempenhar no minimo, na mesma proporcao, quando o FreeBSD nao virava o
> jogo. Mas ai vinha um e reclamava que "tinha que mecher muito no kernel
> FreeBSD". Esse mesmo nao reclamava que o FreeBSD na epoca poderia ser
> instalado em um 386 ou 486 "out of the box" por exemplo.
>
> Se nao me engano o proprio time do PostgreSQL ja publicou benchmarks, e
> em FreeBSD desenpenhava mesmo melhor - sera porque essa aplicacao eh
> BSD-oriented? - mas ate o bench oficial foi criticado, se nao me engano
> ele era "injusto" com algum outro sistema, nao era Linux, mas nao sei se
> era Tru64, Solaris, sei la..
>
> Benchmarks que merecem respeito devem ser acompanhados por especialistas
> dos sistemas testados. Por exemplo, benchmarks da TechTV sao muito
> validos, porque eles colocam especialistas conhecidos mundialmente, ou
> representando empresas conhecidamente capazes de impor autoridade sobre
> suas decisoes tomadas.
>
> Acho que a TechTV parou com isso porque o pessoal do Linux comecou ficar
> desconfortavel. Me lembro de 3 benchmarks - que alias tem em video por
> ai - um em ambiente clusterizado com processamento paralelo usando MPI,
> outro de performance de rede com alguns servicos basicos, como Apache e
> Sendmail, e um muito bom, com comparativos entre sistemas de arquivos.
> Todos eles foram acompanhados por engenheiros da SuSE e por consultores
> da VA Linux, e pelo Matt Olander, Murray Stokely, ou Olander e Brooks
> Davis, todos commiters do FreeBSD.
>
> Entao, em um teste desses, com commiters do FreeBSD e com
> desenvolvedores do kernel Linux presentes, garantindo igualdade de
> condicoes, como nao concordar com os resultados dos benchs? hehe pois
> eh, pior que alguns ainda nao concordaram, queriam "especialistas Linux
> melhores". Enfim.
>
> Em outro desses testes, acho que um dos mais famosos, em um programa nao
> tecnico da TechTV, o ScreenSavers, uma comparacao de instalacao basica
> dos sistemas para ambiente Desktop foi feita, o objetivo era quem
> instalava mais rapido um ambiente Desktop com os mesmos recursos, mas
> poderiam ser qualquer Desktop `a criterio e decisao dos "especialistas",
> mas o resultado final tinha que ter os mesmos recursos disponiveis pro
> usuario.
>
> O resultado? hehe quem nao viu o video, tai uma boa chance.
>
> Yotube, Yahoo Video e Google Video indicam esses episodios todos desse
> programa de TV.
>
> Resumindo: se benchmark nao for muito serio e bem projetado, so serve
> pra uma coisa: arrumar confusao e manadas de usuarios contestando os
> resultados ou o a "igualdade" de condicoes/justica da comparacao.
> Similar ao que esta acontecendo aqui.
>
> --
> Patrick Tracanelli
>
> FreeBSD Brasil LTDA.
> (31) 3281-9633 / 3281-3547
> 316601 at sip.freebsdbrasil.com.br
> http://www.freebsdbrasil.com.br
> "Long live Hanin Elias, Kim Deal!"
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-- 
"Sempre se apanha mais com as menores besteiras. Experiência própria."

goffredo at goffredo.eti.br
goffredo at gmail.com
http://www.goffredo.eti.br