[FUG-BR] KERNEL-CUSTOM p/ Squid

Terça Agosto 8 18:53:07 BRT 2006

Eu to usando aki um p4 2.4 com 2 hds sata de 80 em raid 0 por software pq o 
bsd naum reconheceu a controladora da mobo...
To usando soh 30gb de cada hd pra cache pra tentar ganhar velocidade.
A maquina possue 1gb de memoria e desses 800 estao alocados pro squid.
Ta funcionando redondinha.
Uma coisa... evite usar listas negras.
Tivemos um problema serio com essas listas. O proxy praticamente morria. 
Parava tudo...
Foi soh tirar a lista e foi a milhao.
Outra coisa... Use o diskd

andreh chiodi

----- Original Message ----- 
From: "Joao Rocha Braga Filho" <goffredo em gmail.com>
To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)" 
<freebsd em fug.com.br>
Sent: Tuesday, August 08, 2006 6:05 PM
Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid

On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
>
>
> Joao Rocha Braga Filho escreveu:
> > On 8/8/06, Marcos Fco. A. Silva <marcos em linuxtec.com.br> wrote:
> >
> >> Boa tarde a todos,
> >>
> >>    Estou com server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4 
> >> GB
> >> de RAM DDR2 ECC.
> >>    Estou customizando o KERNEL e gostaria de saber a opinião do pessoal
> >> da lista.
> >>    Compensa eu ajustar o parâmetro que define a quantidade máxima de
> >> memória alocada por processo, nesta máquina vou rodar o SQUID e algumas
> >> Jails mas o principal é o SQUID. Tenho mais ou menos 1200 clientes que
> >> vão ficar pendurados neste proxy.
> >>
> >
> > Eu tenho alguma experiência nisto.
> >
> > Quanto vai deixar de cache de disco para o squid?
> >
> Estou deixando um disco de 80GB SCSI Utra320 só para cache...
> > No meu caso eu tive de aumentar para 768MB por prrocesso só por
> > causa do squid, que neste momento está usando 676 MB. Ele está
> > usando 72 GB de disco, com cerca de 5.300.000 ítens na cache, e
> > 64 MB de cache em memória.
> >
> > Sugiro que use um File System só para o cache de disco do squid, e
> > NÃO FAÇA RAID 5. Se fizer RAID, que seja o 1 ou o 10.
> >
> Não fiz RAID não, deixei um disco só para cache.
> > Se quiser eu passo as opções importantes para você, e todos da lista.
> >
>     Gostaria sim, tem como?

A quantidade de memória configurada para cache em memória: cache_mem

Outra opção interessante relativa ao cache em memória é
maximum_object_size_in_memory. Sugiro uns 100 KB se a cache em
memória for grande.

A opção maximum_object_size é boa, pois pode evitar downloads grandes.
Aqui está com 16 MB, e isto faz até mesmo que o pacote de instalação do
Skype fique em cache. Isto faz diferença.

Vai se proxy trasparente?

Se sim, tem mais algumas opções importantes.

Configure estas opções como:

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_uses_host_header on
ie_refresh on

Leia os textos explicando cada uma das opções acima. Uma delas vai
ser MUITO interessante. :^)))

> > Com 4 GB de ram dá para fazer caches em memória e em disco
> > MUITO grandes. Eu estou restrito em 1 GB.
> >
> O que vc sugere?

Crescer aos poucos, especialmente no primeiro mês, monitorando. Sugiro
que configure o kernel, já que tem 4 GB, para permnitir que programas
usem até 3 GB, mas não deixe o squid atingir isto. Não configure para
usar muito mais, pois o sistema tem que ter memória para outras coisas.

Use a opção high_memory_warning para deixar log se o squid passar de
um limite de memória. Se possibilitar 3 GB, sugiro que coloque 2700 MB
neste parâmetro.

Sugiro que o kernel também seja compilado com:

options         UFS_DIRHASH             # Improve performance on big 
directories

Acho que o GENERIC já é assim.

Nesta opção abaixo está configurado para usar 80 GB de memória, e
criar uma árvore de diretórios com 256 sub-diretórios dentro de 16
diretórios.

cache_dir ufs /usr/local/squid/cache 80000 16 256

Se fizer uma cache muito grande, aumente de 16 para 64, ou até mesmo
para 256. No meu caso estou com uma média aproximada de 1300 arquivos
por diretório (5.300.000/16/256).

Nunca coloque para usar todo o disco no cache.

Cuidado com os logs, pois tem que ser rotacionados. Tanbém tenho um
script para colocar no cronta para isto.

----- 8x ----- Corte aqui ----- Cut here -----
#!/bin/sh

#
# Este script e' para ser rodado a meia noite. O nome do arquivo
# de logs compactados representara' a data dos logs, mas se no
# dia anterior este script nao executado, o arquivo acumulara' os
# logs dos dias dias em que nao rodou.
#
# Criado por Joao Rocha em 23/06/2006.
#

cd /usr/local/squid/logs

ls -ls

/usr/local/sbin/squid -k rotate

sleep 120

/usr/bin/tar cvjf squid_logs_`/bin/date -v-6H '+%Y-%m-%d'`.tbz2 *.[0.9]

rm *.[0-9]

ls -ls

----- 8x ----- Corte aqui ----- Cut here -----

Coloque no crontab do usuário squid.

Na realidade você tem máquina demais só para 80 GB de cache. Aqui
temos pouco mais de 300 clientes, e um link de 4 Mbits/s. Pode fazer
um RAID 0 ou 10? Este disco é de 15.000 RPM ? Aqui estou com um IDE
Seagate de 7200 e está dando conta. O processador é um AMD 64 939
3000+. Quantos HDs você tem? Quantos HDs a máquina pode ter?

Não se esqueça de fazer as ACLs, e também pode fazer algumas listas
negras de vírus e coisas assim.

Adoraria instalar este servidorzinho. :^) Você é de onde?

Abraços,
    João Rocha.

> >
> > Abraços,
> >     João Rocha.
> >
> >
> >
> >>     Estou pensando em fazer assim.
> >>
> >>     options            MAXDSIZ="(512*1024*1024)
> >>     options            MAXSSIZ="(512*1024*1024)
> >>     options            DFLDSIZ="(256*1024*1024)
> >>
> >> O que vocês acham?
> >>
> >> Grato,
> >>
> >> --
> >> Marcos Francisco A. Silva
> >>
> >> Existem indivíduos que estão consideravelmente adiantados nessa 
> >> trajetória para o Criador....
> >> É extremamente importante saber que ninguém ensina nada, mas que 
> >> existem pessoas que aprendem
> >>
> >>
> >> -------------------------
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>
> >>
> >
> >
> >
>
> --
> Marcos Francisco A. Silva
> Consultor Linux e Unix
>
> LinuxTEC Soluções em tecnologia da informação
> http://www.linuxtec.com.br
>
> ---
> Existem indivíduos que estão consideravelmente adiantados nessa trajetória 
> para o Criador....
> É extremamente importante saber que ninguém ensina nada, mas que existem 
> pessoas que aprendem
>
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>

-- 
"Sempre se apanha mais com as menores besteiras. Experiência própria."

goffredo em goffredo.eti.br
goffredo em gmail.com
http://www.goffredo.eti.br
-------------------------
Histórico: http://www.fug.com.br/historico/html/freebsd/
Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd