[FUG-BR] KERNEL-CUSTOM p/ Squid

Andreh Chiodi andreh em itapemanet.com.br
Terça Agosto 8 20:57:34 BRT 2006 


Eu estou bem, memo sem diskd, mas estou usando Soft Updates.

Estou com uma lista negra, mas pequena. A lista negra tem que ser bem
escolhida. Por regex parece consumir muita CPU. Talvez por domínio não
cosuma muita CPU. Então, se fizer lista negra, coloque o máximo possível
por domínio. E se o domínio for em uma máquina que só hospede ele, então
faça uma lista negra por IP e coloque em uma table do ipfw(8), e faça um
deny antes de chegar ao squid.

Continuo achando que é máquina demais para só 80 GB da cache.

Me lembrei de uma coisa. Não precisa fazer RAID para a cache do
squid usar mais de um HD. Pode criar várias caches em vários discos,
e pedir para o squid usá-las.

Por exemplo, com dois discos:

cache_dir ufs /usr/local/squid/cache1 80000 32 256
cache_dir ufs /usr/local/squid/cache2 80000 32 256

Monte cada um dos discos em cada um dos diretórios que aparecem
acima.


Abraços,
    João Rocha.


=========================================================


E o que daria melhor performance?  Usar raid 0 ou colocar 2 discos 
separados?
Pela logica, 2 discos em raid 0 duplicaria a velocidade de leitura e 
gravacao e usando menos da metade da capacidade de cada disco vc preserva o 
hd pq ele trabalharia menos (nao lembro onde li isso).
O squid nao exige muito processamento... o que precisa mesmo eh disco e 
memoria.
Eu com esse p4 2.4 ja to axando exagerado pq o processamento nunca passou de 
20%

 andreh chiodi



>
>
> ----- Original Message -----
> From: "Joao Rocha Braga Filho" <goffredo em gmail.com>
> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)"
> <freebsd em fug.com.br>
> Sent: Tuesday, August 08, 2006 6:05 PM
> Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid
>
>
> On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
> >
> >
> > Joao Rocha Braga Filho escreveu:
> > > On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
> > >
> > >> Boa tarde a todos,
> > >>
> > >>    Estou com server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4
> > >> GB
> > >> de RAM DDR2 ECC.
> > >>    Estou customizando o KERNEL e gostaria de saber a opinião do 
> > >> pessoal
> > >> da lista.
> > >>    Compensa eu ajustar o parâmetro que define a quantidade máxima de
> > >> memória alocada por processo, nesta máquina vou rodar o SQUID e 
> > >> algumas
> > >> Jails mas o principal é o SQUID. Tenho mais ou menos 1200 clientes 
> > >> que
> > >> vão ficar pendurados neste proxy.
> > >>
> > >
> > > Eu tenho alguma experiência nisto.
> > >
> > > Quanto vai deixar de cache de disco para o squid?
> > >
> > Estou deixando um disco de 80GB SCSI Utra320 só para cache...
> > > No meu caso eu tive de aumentar para 768MB por prrocesso só por
> > > causa do squid, que neste momento está usando 676 MB. Ele está
> > > usando 72 GB de disco, com cerca de 5.300.000 ítens na cache, e
> > > 64 MB de cache em memória.
> > >
> > > Sugiro que use um File System só para o cache de disco do squid, e
> > > NÃO FAÇA RAID 5. Se fizer RAID, que seja o 1 ou o 10.
> > >
> > Não fiz RAID não, deixei um disco só para cache.
> > > Se quiser eu passo as opções importantes para você, e todos da lista.
> > >
> >     Gostaria sim, tem como?
>
> A quantidade de memória configurada para cache em memória: cache_mem
>
> Outra opção interessante relativa ao cache em memória é
> maximum_object_size_in_memory. Sugiro uns 100 KB se a cache em
> memória for grande.
>
> A opção maximum_object_size é boa, pois pode evitar downloads grandes.
> Aqui está com 16 MB, e isto faz até mesmo que o pacote de instalação do
> Skype fique em cache. Isto faz diferença.
>
> Vai se proxy trasparente?
>
> Se sim, tem mais algumas opções importantes.
>
> Configure estas opções como:
>
> httpd_accel_host virtual
> httpd_accel_port 80
> httpd_accel_uses_host_header on
> ie_refresh on
>
>
> Leia os textos explicando cada uma das opções acima. Uma delas vai
> ser MUITO interessante. :^)))
>
>
>
> > > Com 4 GB de ram dá para fazer caches em memória e em disco
> > > MUITO grandes. Eu estou restrito em 1 GB.
> > >
> > O que vc sugere?
>
> Crescer aos poucos, especialmente no primeiro mês, monitorando. Sugiro
> que configure o kernel, já que tem 4 GB, para permnitir que programas
> usem até 3 GB, mas não deixe o squid atingir isto. Não configure para
> usar muito mais, pois o sistema tem que ter memória para outras coisas.
>
> Use a opção high_memory_warning para deixar log se o squid passar de
> um limite de memória. Se possibilitar 3 GB, sugiro que coloque 2700 MB
> neste parâmetro.
>
> Sugiro que o kernel também seja compilado com:
>
> options         UFS_DIRHASH             # Improve performance on big
> directories
>
> Acho que o GENERIC já é assim.
>
> Nesta opção abaixo está configurado para usar 80 GB de memória, e
> criar uma árvore de diretórios com 256 sub-diretórios dentro de 16
> diretórios.
>
> cache_dir ufs /usr/local/squid/cache 80000 16 256
>
> Se fizer uma cache muito grande, aumente de 16 para 64, ou até mesmo
> para 256. No meu caso estou com uma média aproximada de 1300 arquivos
> por diretório (5.300.000/16/256).
>
> Nunca coloque para usar todo o disco no cache.
>
> Cuidado com os logs, pois tem que ser rotacionados. Tanbém tenho um
> script para colocar no cronta para isto.
>
> ----- 8x ----- Corte aqui ----- Cut here -----
> #!/bin/sh
>
> #
> # Este script e' para ser rodado a meia noite. O nome do arquivo
> # de logs compactados representara' a data dos logs, mas se no
> # dia anterior este script nao executado, o arquivo acumulara' os
> # logs dos dias dias em que nao rodou.
> #
> # Criado por Joao Rocha em 23/06/2006.
> #
>
> cd /usr/local/squid/logs
>
> ls -ls
>
> /usr/local/sbin/squid -k rotate
>
> sleep 120
>
> /usr/bin/tar cvjf squid_logs_`/bin/date -v-6H '+%Y-%m-%d'`.tbz2 *.[0.9]
>
> rm *.[0-9]
>
> ls -ls
>
> ----- 8x ----- Corte aqui ----- Cut here -----
>
>
> Coloque no crontab do usuário squid.
>
> Na realidade você tem máquina demais só para 80 GB de cache. Aqui
> temos pouco mais de 300 clientes, e um link de 4 Mbits/s. Pode fazer
> um RAID 0 ou 10? Este disco é de 15.000 RPM ? Aqui estou com um IDE
> Seagate de 7200 e está dando conta. O processador é um AMD 64 939
> 3000+. Quantos HDs você tem? Quantos HDs a máquina pode ter?
>
> Não se esqueça de fazer as ACLs, e também pode fazer algumas listas
> negras de vírus e coisas assim.
>
> Adoraria instalar este servidorzinho. :^) Você é de onde?
>
>
> Abraços,
>     João Rocha.
>
> > >
> > > Abraços,
> > >     João Rocha.
> > >
> > >
> > >
> > >>     Estou pensando em fazer assim.
> > >>
> > >>     options            MAXDSIZ="(512*1024*1024)
> > >>     options            MAXSSIZ="(512*1024*1024)
> > >>     options            DFLDSIZ="(256*1024*1024)
> > >>
> > >> O que vocês acham?
> > >>
> > >> Grato,
> > >>
> > >> --
> > >> Marcos Francisco A. Silva
> > >>
> > >> Existem indivíduos que estão consideravelmente adiantados nessa
> > >> trajetória para o Criador....
> > >> É extremamente importante saber que ninguém ensina nada, mas que
> > >> existem pessoas que aprendem
> > >>
> > >>
> > >> -------------------------
> > >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> > >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> > >>
> > >>
> > >
> > >
> > >
> >
> > --
> > Marcos Francisco A. Silva
> > Consultor Linux e Unix
> >
> > LinuxTEC Soluções em tecnologia da informação
> > http://www.linuxtec.com.br
> >
> > ---
> > Existem indivíduos que estão consideravelmente adiantados nessa 
> > trajetória
> > para o Criador....
> > É extremamente importante saber que ninguém ensina nada, mas que existem
> > pessoas que aprendem
> >
> >
> > -------------------------
> > Histórico: http://www.fug.com.br/historico/html/freebsd/
> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >
>
>
> --
> "Sempre se apanha mais com as menores besteiras. Experiência própria."
>
> goffredo em goffredo.eti.br
> goffredo em gmail.com
> http://www.goffredo.eti.br
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


-- 
"Sempre se apanha mais com as menores besteiras. Experiência própria."

goffredo em goffredo.eti.br
goffredo em gmail.com
http://www.goffredo.eti.br
-------------------------
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd

Mais detalhes sobre a lista de discussão freebsd