[FUG-BR] Problema de gerenciamento de memoria do squid.
Matheus Lamberti
matheuslamberti em yahoo.com
Sexta Outubro 20 09:40:37 BRST 2006
Com relação a problemas de memória do squid eu sempre
ouço muitas coisas, mas vamos partir de um principio
mais simples... abaixo segue como eu deixo conf...
1. costumo deixar uma partição (5G) apenas para o
squid (usando diskd)
2. deixo meu cache_mem em 128M
3. uso as politicas de troca (heap LFUDA)
4. organizo as acl's
4.1 coloco tudo o que uso url_regex sobre um mesmo
nome de acl (isso otimiza a alocação de memória):
4.1.1 "acl palavras url_regex -i /path/do/arq1"
4.1.2 "acl palavras url_regex -i /path/do/arq2"
4.2 coloco tudo o que uso dstdom_regex sobre um mesmo
nome de acl
4.3 evito declarar usar duas vezes a mesma acl
Com esses ajustes meu squid não passa de 60M em
horários de pico, isso atendendo a uma média de 80
máquinas.
Qualquer coisa, em pvt eu mando meu squid.conf ...
Abraços...
--- Joao Rocha Braga Filho <goffredo at gmail.com> wrote:
> On 10/19/06, Marco Moraes Filho
> <marco.moraes at atento.com.br> wrote:
> > Este é o status agora, o acesso a internet esta
> super oscioso.
> >
> > PID USERNAME PRI NICE SIZE RES STATE
> TIME WCPU CPU
> > COMMAND
> > 503 nobody 96 0 253M 2720K
> RUN 54.7H
> > 0.00% 0.00% squid
>
> O squid está em pé, tanto é que já consumiu quase 55
> horas de processador.
>
> O que me preocupa é que ele parece estar fazendo
> swap, e isto é péssimo.
> O que você está rodando na máquina? Observe o top, e
> verifique como estão
> os contadores de swap.
>
>
> João Rocha.
>
> >
> >
> >
> > Joao Rocha Braga Filho wrote:
> >
> > >On 10/19/06, Marco Moraes Filho
> <marco.moraes at atento.com.br> wrote:
> > >
> > >
> > >>Estas info ajuda?
> > >>
> > >>
> > >
> > >Um bocado
> > >
> > >
> > >
> > >>cache_mem 100 MB
> > >>
> > >>
> > >
> > >Está mantendo uma cache em memória grande, mas
> tudo bem.
> > >
> > >
> > >
> > >>cache_swap_low 95
> > >>cache_dir diskd /usr/local/squid/var/cache 3000
> 16 256 Q1=75 Q2=85
> > >>
> > >>
> > >
> > >E uma cache em disco pequena, só 3 GB, mas pode
> ser o uficiente.
> > >
> > >
> > >
> > >>Filesystem Size Used Avail Capacity
> iused ifree %iused
> > >>Mounted on
> > >>/dev/ad0s1a 71G 3.5G 62G 5%
> 182352 9497518 2% /
> > >>devfs 1.0K 1.0K 0B 100%
> 0 0 100% /dev
> > >>
> > >>
> > >
> > >O sistema de arquivos está tranquilo, e parece
> que você tem cerca
> > >de 180 mil arquivos no cache.
> > >
> > >Quando deu newfs, na criação do sistema de
> arquivos, deu alguma
> > >opção para escolher a quantidade de i-nodes, tipo
> -i? Aparentemente
> > >não.
> > >
> > >Em média, cada arquivo na cache do squid tem
> cerca de 13 KB. Se
> > >desse a opção -i 13000, sobraria um pouco mais de
> disco, pois a
> > >tabela de i-nodes seria cerca de 40% menor.
> > >
> > >No seu caso a média parece ser de cerca de 20 KB
> por arquivo. A minha
> > >é de cerca de 12.5 KB.
> > >
> > >
> > >
> > >>Memoria fisica 1024MB
> > >>
> > >>
> > >
> > >Tem bastante memória.
> > >
> > >
> > >
> > >>limit
> > >>
> > >>squid1-sta# limit
> > >>cputime unlimited
> > >>filesize unlimited
> > >>datasize 524288 kbytes
> > >>
> > >>
> > >
> > >Aqui indica que a área de dados do processo pode
> chegar a 512 MB, o
> > >que é o default. Para o seu caso deveria ser o
> suficiente, pois a sua cache
> > >é pequena.
> > >
> > >Eu tive que aumentar a minha para 768 MB. Eu
> mandei um e-mail para a
> > >lista informando como fiz.
> > >
> > >Está acompanhando o comportamento do squid com o
> programa top?
> > >Siguro que faça. Se quiser, coloque uma saída
> dele aqui.
> > >
> > >
> > >João Rocha.
> > >
> > >
> > >
> > >>stacksize 65536 kbytes
> > >>coredumpsize unlimited
> > >>memoryuse unlimited
> > >>vmemoryuse unlimited
> > >>descriptors 3463
> > >>memorylocked unlimited
> > >>maxproc 1731
> > >>sbsize unlimited
> > >>
> > >>
> > >>Joao Rocha Braga Filho wrote:
> > >>
> > >>
> > >>
> > >>>Precisamos de vários dados para começar:
> > >>>
> > >>>- Tamanho do cache, configurado e em uso.
> > >>>- Se o cache está em um outro sistema de
> arquivos, dê um df -hi nele
> > >>>- Quanto tem de memória no seu servidor.
> > >>>- Qual é a resposta do comando limit
> > >>>
> > >>>
> > >>>João Rocha.
> > >>>
> > >>>
> > >>>On 10/19/06, Marco Moraes Filho
> <marco.moraes at atento.com.br> wrote:
> > >>>
> > >>>
> > >>>
> > >>>
> > >>>>Pessoal,
> > >>>>
> > >>>> Tenho um proxy squid + dansguardian rodando
> em um freebsd 5.4. Estou
> > >>>>tendo problemas com questão de alocação de
> memoria no servidor ou seja o
> > >>>>squid começa a consumir memoria do servidor e
> após a utilização ele não
> > >>>>libera a memoria alocada para a determinada
> tarefa e assim ele vai
> > >>>>alocando e até estourar o buffer e derrubar o
> processo do squid, porem
> > >>>>quando reiniciado ele tenta alocar toda a
> memoria q ja esta utilizando
> > >>>>anteriormente tento que reiniciar o servidor
> para liberar a memoria
> > >>>>alocada. Tenho um outro ambiente com o mesmo
> porte de hardware e com
> > >>>>quase o dobro de acesso ao proxy porem em
> linux (slackware) e este
> > >>>>problema não acontece.
> > >>>> Ja efetuei a troca de versão do freebsd,
> versão do squid ja fiz
> > >>>>tunning no kernel para gerencia de memoria e
> ja troquei o hardware porem
> > >>>>o problema ainda persiste.
> > >>>>
> > >>>>Alguem da lista ja passou pro algum problema
> parecido ou tem alguma
> > >>>>ideia para me ajudar a solucionar este
> problema?
> > >>>>
> > >>>>Tenho a necessidade de manter o proxy em
> freebsd pois gostaria de
> > >>>>deixa-los como os firewall's em cluster
> failover utilizando vrrp
> > >>>>(Solução com mac virtual para cluster), para
> linux não achei nenhuma
> > >>>>solução parecida de cluster todos trabalham
> com mac fisico.
> > >>>>
> > >>>>Obrigado
> > >>>>
> > >>>>--
> > >>>>Marco Antonio Moraes
> > >>>>CGR FIREWALL Atento Brasil.
> > >>>>Fone: 55+11+3293-6999 opção 1
> > >>>>e-mail: marco.moraes at atento.com.br
> > >>>>
> > >>>>Esta mensagem de correio eletrônico e seus
> documentos anexos estão
> > >>>>dirigidos EXCLUSIVAMENTE aos destinatários
> especificados. A informação
> > >>>>contida pode ser CONFIDENCIAL e/ou estar
> LEGALMENTE PROTEGIDA e não
> > >>>>necessariamente reflete a opinião de ATENTO.
> Se você receber esta
> > >>>>mensagem por ENGANO, por favor comunique-lhe
> imediatamente ao remetente
> > >>>>e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao
> uso, revelação,
> > >>>>distribuição, impressão ou cópia de toda ou
> alguma parte da informação
> > >>>>contida. Obrigado.
> > >>>>
> > >>>>Este mensaje de correo electrónico y sus
> documentos adjuntos están
> > >>>>dirigidos EXCLUSIVAMENTE a los destinatarios
> especificados. La
> > >>>>información contenida puede ser CONFIDENCIAL
> y/o estar LEGALMENTE
> > >>>>PROTEGIDA y no necesariamente refleja la
> opinión de ATENTO. Si usted
> > >>>>recibe este mensaje por ERROR, por favor
> comuníqueselo inmediatamente al
> > >>>>remitente y ELIMÍNELO ya que usted NO ESTA
> AUTORIZADO al uso,
> > >>>>revelación, distribución, impresión o copia de
> toda o alguna parte de la
> > >>>>información contenida. Gracias.
> > >>>>
> > >>>>-------------------------
> > >>>>Histórico:
> http://www.fug.com.br/historico/html/freebsd/
> > >>>>Sair da lista:
> https://www.fug.com.br/mailman/listinfo/freebsd
> > >>>>
> > >>>>
> > >>>>
> > >>>>
> > >>>>
> > >>>
> > >>>
> > >>>
> > >>>
> > >>--
> > >>Marco Antonio Moraes
> > >>CGR FIREWALL Atento Brasil.
> > >>Fone: 55+11+3293-6999 opção 1
> > >>e-mail: marco.moraes at atento.com.br
> > >>
> > >>Esta mensagem de correio eletrônico e seus
> documentos anexos estão
> > >>dirigidos EXCLUSIVAMENTE aos destinatários
> especificados. A informação
> > >>contida pode ser CONFIDENCIAL e/ou estar
> LEGALMENTE PROTEGIDA e não
> > >>necessariamente reflete a opinião de ATENTO. Se
> você receber esta
> > >>mensagem por ENGANO, por favor comunique-lhe
> imediatamente ao remetente
> > >>e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao
> uso, revelação,
> > >>distribuição, impressão ou cópia de toda ou
> alguma parte da informação
> > >>contida. Obrigado.
> > >>
> > >>Este mensaje de correo electrónico y sus
> documentos adjuntos están
> > >>dirigidos EXCLUSIVAMENTE a los destinatarios
> especificados. La
> > >>información contenida puede ser CONFIDENCIAL y/o
> estar LEGALMENTE
> > >>PROTEGIDA y no necesariamente refleja la opinión
> de ATENTO. Si usted
> > >>recibe este mensaje por ERROR, por favor
> comuníqueselo inmediatamente al
> > >>remitente y ELIMÍNELO ya que usted NO ESTA
> AUTORIZADO al uso,
> > >>revelación, distribución, impresión o copia de
> toda o alguna parte de la
> > >>información contenida. Gracias.
> > >>
> > >>-------------------------
> > >>Histórico:
> http://www.fug.com.br/historico/html/freebsd/
> > >>Sair da lista:
> https://www.fug.com.br/mailman/listinfo/freebsd
> > >>
> > >>
> > >>
> > >
> > >
> > >
> > >
> >
> > --
> > Marco Antonio Moraes
> > CGR FIREWALL Atento Brasil.
> > Fone: 55+11+3293-6999 opção 1
> > e-mail: marco.moraes at atento.com.br
> >
> > Esta mensagem de correio eletrônico e seus
> documentos anexos estão
> > dirigidos EXCLUSIVAMENTE aos destinatários
> especificados. A informação
> > contida pode ser CONFIDENCIAL e/ou estar
> LEGALMENTE PROTEGIDA e não
> > necessariamente reflete a opinião de ATENTO. Se
> você receber esta
> > mensagem por ENGANO, por favor comunique-lhe
> imediatamente ao remetente
> > e ELIMINE-O já que você NÃO ESTA AUTORIZADO ao
> uso, revelação,
> > distribuição, impressão ou cópia de toda ou alguma
> parte da informação
> > contida. Obrigado.
> >
> > Este mensaje de correo electrónico y sus
> documentos adjuntos están
> > dirigidos EXCLUSIVAMENTE a los destinatarios
> especificados. La
> > información contenida puede ser CONFIDENCIAL y/o
> estar LEGALMENTE
> > PROTEGIDA y no necesariamente refleja la opinión
> de ATENTO. Si usted
> > recibe este mensaje por ERROR, por favor
> comuníqueselo inmediatamente al
> > remitente y ELIMÍNELO ya que usted NO ESTA
> AUTORIZADO al uso,
> > revelación, distribución, impresión o copia de
> toda o alguna parte de la
> > información contenida. Gracias.
> >
> > -------------------------
> > Histórico:
> http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista:
> https://www.fug.com.br/mailman/listinfo/freebsd
> >
>
>
> --
> "Sempre se apanha mais com as menores besteiras.
> Experiência própria."
>
> goffredo at goffredo.eti.br
> goffredo at gmail.com
> http://www.goffredo.eti.br
> -------------------------
> Histórico:
> http://www.fug.com.br/historico/html/freebsd/
> Sair da lista:
> https://www.fug.com.br/mailman/listinfo/freebsd
>
Matheus Lamberti de Abreu
BSD UserID: 051370 / FUG ID: 388
Se a vida é regida por uma licença, esta é BSD.
Unix is very simple, but it takes a genius to understand the simplicity.
Unix is user friendly. It's just selective about who its friends are.
__________________________________________________
Do You Yahoo!?
Tired of spam? Yahoo! Mail has the best spam protection around
http://mail.yahoo.com
Mais detalhes sobre a lista de discussão freebsd