[FUG-BR] Servidor com load altíssimo

[Francisco Cardoso]

Em 9 de julho de 2012 10:42, Marcelo Gondim <gondim em bsdinfo.com.br> escreveu:
> Em 08/07/2012 11:36, Leonardo Augusto escreveu:
>> Bom Marcelo,
>>
>> Pelos graficos que voce me mandou, por hora, sao mais de 3000 selects
>> contra 700 inserts... entao nao sei se foi com ou sem o tal anounce
>> rodando, mas tem bem mais select que insert.
>
> Tava sem announce rsrsrs o announce arregaça tudo ahahha
>
>>
>> O que ja vi tambem, é que esse sistema é um sistema opensource, ja
>> baixei ele pra dar uma olhada, vi que no index tem um select
>> sinistro la, que o memcache ajudaria muito.
>
> É ele vai tentar usar sim o memcache. Infelizmente tive que por o Debian
> lá dessa vez. Nossa está muito mas muito rápido sem fazer quase que nada.
> Mas mesmo assim ele quer implementar o memcache sim. Só vamos preparar
> tudo com calma agora.  :D
>
>>
>> MAS CLARO, TEM UM POREM BEM BOM PRA UM DOMINGO DEMANHA, KKKK
>>
>> teu "programador" php ta relutante a usar o memcache, pq NAO FOI ele
>> que desenvolveu esse sistema e por o memcache ali da um pouco
>> de trabalho, pois tem que entender/alterar a classe de acesso ao
>> mysql, se bem que vi que a maioria ta usando as funcoes @mysql nua a
>> crua...
>> o que é ridiculo, quando deveria ser uma classe responsavel por isso,
>> para justamente nao ter que correr o sistema todo para alterar
>> qualquer
>> comportamento do mysql.
>> O fato é esse, o magrao do php ta mais perdido que cusco no meio de
>> procissao, kkk
>
> ehheeh mas agora ele quer implementar isso sim. Vou até depois te mandar
> uns e-mails pvt.
>
>
>> Uma duvida que tenho que faz muita diferenca é a seguinte:
>>
>> - esse sistema é acessado(alguma url dele) pelos clientes de torrent ?
>> por exemplo, se peguei um link dum torrent do teu site
>> e to baixando o torrento no meu MICRO TORRENT NA MINHA MAQUINA, o
>> microtorrent ele por si só acessa o site ? ou o proprio
>> site que usa o anounce quando eu clico num link do mesmo ?
>> resumindo: algum agente externo(cliente de torrent) atualiza algo no
>> site, ou tudo acontece a partir dos clicks no site ?
>
> O problema são o número de conexões ao mysql que chega à 4000. Tipo
> vamos dizer que você tenha uns 30 torrents compartilhando. Cada vez que
> você pára um torrent, inicia, termina de baixar e fica de seeder, começa
> à baixar outro, o cliente torrent (ex. utorrent) vai no announce usando
> uma passkey tua, e faz a atualização na base de dados, update, insert,
> essas coisas pra atualizar as informações sobre o que você tá fazendo. É
> assim por exemplo que o seu ratio sobe ou desce, porque em sites de
> torrent fechados você não pode ter ratio baixo porque senão você é
> banido. :) Agora você coloca aí uns 400mil peers pessoas fazendo isso.
> rsrsrsr é muita conexão concorrente na base. Tudo com update, insert,
> etc  :)
>
> Pelo que li lá nos caras do mysql. No linux eu consigo chegar até 4000
> conexões tranquilo com uma certa quantidade de memória. Mas se eu coloco
> 4000 conexões no mysql do freebsd o sistema me pede mais de 70Gb de ram.
> Vi outros relatos sobre isso também na minha pesquisa, pessoas
> reclamando do mysql no freebsd quando a carga é alta.
>

Prezado Marcelo:

Poderia nos colocar a par das suas fontes de pesquisa comprovando o
problema do Mysql no FreeBSD? Acho que seria importante para
documentarmos o fato bem como para podermos procurar uma solução.
Lembro que há alguns anos atrás um cara do Yahoo documentou um
problema semelhante e teve uns caras depois que colocaram para
funcionar tão bem no FreeBSD como no Linux. Acho que foi usando a
implementação do linuxthreads, se não me falha a memória.

Depois a implementação de threads do FreeBSD mudou. Acho que na época
do FreeBSD 7 uma pessoa do core team documentou que o MySQL funcionava
até melhor no Free que no Linux.

Além disso deve haver pessoas que tem concorrência brutal de MySQL no
Free, também não me conformo de não ter dado certo ... :-( . Acho que
podemos fazer o seguinte:

1 - Nos torne a par das suas fontes que relatam o problema de
concorrência para ver se ajudamos;
2 - Como montaríamos um ambiente offline para simularmos o caso sem
ter que fazer uma atividade tão corrida como foi essa sua agora?
3 - Acho que a documentação da época do Free 7 dizia os parâmetros de
tuning. Talvez ajude mas, acho que o correto seria simular este seu
ambiente ...

Abraços e parabéns pelo esforço!

-- 

Francisco Ricardo
___________________________________
Administrador de Redes e Sistemas Unix/Linux
Profissional Certificado RedHat | Entusiasta FreeBSD
Natal/RN | (84)9461-4801   | fricardo em bsd.com.br