[FUG-BR] KERNEL-CUSTOM p/ Squid
Joao Rocha Braga Filho
goffredo em gmail.com
Quinta Agosto 10 09:54:30 BRT 2006
On 8/9/06, <<<Gustavo>>> <baldim at gmail.com> wrote:
> Como q eu configuro para meu squid funcionar o cache em dois hds ???
É só usar uma cláusula de cache para cada disco. Eu já coloquei isto em
um e-mail anterior. Copiando para aqui:
"
> Por exemplo, com dois discos:
>
> cache_dir ufs /usr/local/squid/cache1 80000 32 256
> cache_dir ufs /usr/local/squid/cache2 80000 32 256
>
> Monte cada um dos discos em cada um dos diretórios que aparecem
> acima.
"
João Rocha.
>
>
>
>
> ----- Original Message -----
> From: "Marcos Fco. A. Silva" <marcos at linuxtec.com.br>
> To: ""Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)""
> <freebsd at fug.com.br>
> Sent: Wednesday, August 09, 2006 8:16 AM
> Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid
>
>
>
>
> Joao Rocha Braga Filho escreveu:
> > On 8/8/06, Andreh Chiodi <andreh at itapemanet.com.br> wrote:
> >
> >> Eu to usando aki um p4 2.4 com 2 hds sata de 80 em raid 0 por software pq
> >> o
> >> bsd naum reconheceu a controladora da mobo...
> >> To usando soh 30gb de cada hd pra cache pra tentar ganhar velocidade.
> >> A maquina possue 1gb de memoria e desses 800 estao alocados pro squid.
> >> Ta funcionando redondinha.
> >> Uma coisa... evite usar listas negras.
> >> Tivemos um problema serio com essas listas. O proxy praticamente morria.
> >> Parava tudo...
> >> Foi soh tirar a lista e foi a milhao.
> >> Outra coisa... Use o diskd
> >>
> >
> > Eu estou bem, memo sem diskd, mas estou usando Soft Updates.
> >
> > Estou com uma lista negra, mas pequena. A lista negra tem que ser bem
> > escolhida. Por regex parece consumir muita CPU. Talvez por domínio não
> > cosuma muita CPU. Então, se fizer lista negra, coloque o máximo possível
> > por domínio. E se o domínio for em uma máquina que só hospede ele, então
> > faça uma lista negra por IP e coloque em uma table do ipfw(8), e faça um
> > deny antes de chegar ao squid.
> >
> > Continuo achando que é máquina demais para só 80 GB da cache.
> >
> Disco SCSI não vou ter mais, o que eu posso conseguir é um disco SATA.
> > Me lembrei de uma coisa. Não precisa fazer RAID para a cache do
> > squid usar mais de um HD. Pode criar várias caches em vários discos,
> > e pedir para o squid usá-las.
> >
> > Por exemplo, com dois discos:
> >
> > cache_dir ufs /usr/local/squid/cache1 80000 32 256
> > cache_dir ufs /usr/local/squid/cache2 80000 32 256
> >
> > Monte cada um dos discos em cada um dos diretórios que aparecem
> > acima.
> >
> >
> > Abraços,
> > João Rocha.
> >
> >
> >
> >> andreh chiodi
> >>
> >>
> >> ----- Original Message -----
> >> From: "Joao Rocha Braga Filho" <goffredo at gmail.com>
> >> To: "Lista Brasileira de Discussão sobre FreeBSD (FUG-BR)"
> >> <freebsd at fug.com.br>
> >> Sent: Tuesday, August 08, 2006 6:05 PM
> >> Subject: Re: [FUG-BR] KERNEL-CUSTOM p/ Squid
> >>
> >>
> >> On 8/8/06, Marcos Fco. A. Silva <marcos at linuxtec.com.br> wrote:
> >>
> >>> Joao Rocha Braga Filho escreveu:
> >>>
> >>>> On 8/8/06, Marcos Fco. A. Silva <marcos at linuxtec.com.br> wrote:
> >>>>
> >>>>
> >>>>> Boa tarde a todos,
> >>>>>
> >>>>> Estou com server ITAUTEC LS200 com dois processadores Xeon 3.0 e 4
> >>>>> GB
> >>>>> de RAM DDR2 ECC.
> >>>>> Estou customizando o KERNEL e gostaria de saber a opinião do
> >>>>> pessoal
> >>>>> da lista.
> >>>>> Compensa eu ajustar o parâmetro que define a quantidade máxima de
> >>>>> memória alocada por processo, nesta máquina vou rodar o SQUID e
> >>>>> algumas
> >>>>> Jails mas o principal é o SQUID. Tenho mais ou menos 1200 clientes que
> >>>>> vão ficar pendurados neste proxy.
> >>>>>
> >>>>>
> >>>> Eu tenho alguma experiência nisto.
> >>>>
> >>>> Quanto vai deixar de cache de disco para o squid?
> >>>>
> >>>>
> >>> Estou deixando um disco de 80GB SCSI Utra320 só para cache...
> >>>
> >>>> No meu caso eu tive de aumentar para 768MB por prrocesso só por
> >>>> causa do squid, que neste momento está usando 676 MB. Ele está
> >>>> usando 72 GB de disco, com cerca de 5.300.000 ítens na cache, e
> >>>> 64 MB de cache em memória.
> >>>>
> >>>> Sugiro que use um File System só para o cache de disco do squid, e
> >>>> NÃO FAÇA RAID 5. Se fizer RAID, que seja o 1 ou o 10.
> >>>>
> >>>>
> >>> Não fiz RAID não, deixei um disco só para cache.
> >>>
> >>>> Se quiser eu passo as opções importantes para você, e todos da lista.
> >>>>
> >>>>
> >>> Gostaria sim, tem como?
> >>>
> >> A quantidade de memória configurada para cache em memória: cache_mem
> >>
> >> Outra opção interessante relativa ao cache em memória é
> >> maximum_object_size_in_memory. Sugiro uns 100 KB se a cache em
> >> memória for grande.
> >>
> >> A opção maximum_object_size é boa, pois pode evitar downloads grandes.
> >> Aqui está com 16 MB, e isto faz até mesmo que o pacote de instalação do
> >> Skype fique em cache. Isto faz diferença.
> >>
> >> Vai se proxy trasparente?
> >>
> >> Se sim, tem mais algumas opções importantes.
> >>
> >> Configure estas opções como:
> >>
> >> httpd_accel_host virtual
> >> httpd_accel_port 80
> >> httpd_accel_uses_host_header on
> >> ie_refresh on
> >>
> >>
> >> Leia os textos explicando cada uma das opções acima. Uma delas vai
> >> ser MUITO interessante. :^)))
> >>
> >>
> >>
> >>
> >>>> Com 4 GB de ram dá para fazer caches em memória e em disco
> >>>> MUITO grandes. Eu estou restrito em 1 GB.
> >>>>
> >>>>
> >>> O que vc sugere?
> >>>
> >> Crescer aos poucos, especialmente no primeiro mês, monitorando. Sugiro
> >> que configure o kernel, já que tem 4 GB, para permnitir que programas
> >> usem até 3 GB, mas não deixe o squid atingir isto. Não configure para
> >> usar muito mais, pois o sistema tem que ter memória para outras coisas.
> >>
> >> Use a opção high_memory_warning para deixar log se o squid passar de
> >> um limite de memória. Se possibilitar 3 GB, sugiro que coloque 2700 MB
> >> neste parâmetro.
> >>
> >> Sugiro que o kernel também seja compilado com:
> >>
> >> options UFS_DIRHASH # Improve performance on big
> >> directories
> >>
> >> Acho que o GENERIC já é assim.
> >>
> >> Nesta opção abaixo está configurado para usar 80 GB de memória, e
> >> criar uma árvore de diretórios com 256 sub-diretórios dentro de 16
> >> diretórios.
> >>
> >> cache_dir ufs /usr/local/squid/cache 80000 16 256
> >>
> >> Se fizer uma cache muito grande, aumente de 16 para 64, ou até mesmo
> >> para 256. No meu caso estou com uma média aproximada de 1300 arquivos
> >> por diretório (5.300.000/16/256).
> >>
> >> Nunca coloque para usar todo o disco no cache.
> >>
> >> Cuidado com os logs, pois tem que ser rotacionados. Tanbém tenho um
> >> script para colocar no cronta para isto.
> >>
> >> ----- 8x ----- Corte aqui ----- Cut here -----
> >> #!/bin/sh
> >>
> >> #
> >> # Este script e' para ser rodado a meia noite. O nome do arquivo
> >> # de logs compactados representara' a data dos logs, mas se no
> >> # dia anterior este script nao executado, o arquivo acumulara' os
> >> # logs dos dias dias em que nao rodou.
> >> #
> >> # Criado por Joao Rocha em 23/06/2006.
> >> #
> >>
> >> cd /usr/local/squid/logs
> >>
> >> ls -ls
> >>
> >> /usr/local/sbin/squid -k rotate
> >>
> >> sleep 120
> >>
> >> /usr/bin/tar cvjf squid_logs_`/bin/date -v-6H '+%Y-%m-%d'`.tbz2 *.[0.9]
> >>
> >> rm *.[0-9]
> >>
> >> ls -ls
> >>
> >> ----- 8x ----- Corte aqui ----- Cut here -----
> >>
> >>
> >> Coloque no crontab do usuário squid.
> >>
> >> Na realidade você tem máquina demais só para 80 GB de cache. Aqui
> >> temos pouco mais de 300 clientes, e um link de 4 Mbits/s. Pode fazer
> >> um RAID 0 ou 10? Este disco é de 15.000 RPM ? Aqui estou com um IDE
> >> Seagate de 7200 e está dando conta. O processador é um AMD 64 939
> >> 3000+. Quantos HDs você tem? Quantos HDs a máquina pode ter?
> >>
> >> Não se esqueça de fazer as ACLs, e também pode fazer algumas listas
> >> negras de vírus e coisas assim.
> >>
> >> Adoraria instalar este servidorzinho. :^) Você é de onde?
> >>
> >>
> >> Abraços,
> >> João Rocha.
> >>
> >>
> >>>> Abraços,
> >>>> João Rocha.
> >>>>
> >>>>
> >>>>
> >>>>
> >>>>> Estou pensando em fazer assim.
> >>>>>
> >>>>> options MAXDSIZ="(512*1024*1024)
> >>>>> options MAXSSIZ="(512*1024*1024)
> >>>>> options DFLDSIZ="(256*1024*1024)
> >>>>>
> >>>>> O que vocês acham?
> >>>>>
> >>>>> Grato,
> >>>>>
> >>>>> --
> >>>>> Marcos Francisco A. Silva
> >>>>>
> >>>>> Existem indivíduos que estão consideravelmente adiantados nessa
> >>>>> trajetória para o Criador....
> >>>>> É extremamente importante saber que ninguém ensina nada, mas que
> >>>>> existem pessoas que aprendem
> >>>>>
> >>>>>
> >>>>> -------------------------
> >>>>> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>>>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>>>>
> >>>>>
> >>>>>
> >>>>
> >>>>
> >>> --
> >>> Marcos Francisco A. Silva
> >>> Consultor Linux e Unix
> >>>
> >>> LinuxTEC Soluções em tecnologia da informação
> >>> http://www.linuxtec.com.br
> >>>
> >>> ---
> >>> Existem indivíduos que estão consideravelmente adiantados nessa
> >>> trajetória
> >>> para o Criador....
> >>> É extremamente importante saber que ninguém ensina nada, mas que existem
> >>> pessoas que aprendem
> >>>
> >>>
> >>> -------------------------
> >>> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>>
> >>>
> >> --
> >> "Sempre se apanha mais com as menores besteiras. Experiência própria."
> >>
> >> goffredo at goffredo.eti.br
> >> goffredo at gmail.com
> >> http://www.goffredo.eti.br
> >> -------------------------
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>
> >> -------------------------
> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
> >>
> >>
> >
> >
> >
>
> --
> Marcos Francisco A. Silva
> Consultor Linux e Unix
>
> LinuxTEC Soluções em tecnologia da informação
> http://www.linuxtec.com.br
>
> ---
> Existem indivíduos que estão consideravelmente adiantados nessa trajetória
> para o Criador....
> É extremamente importante saber que ninguém ensina nada, mas que existem
> pessoas que aprendem
>
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
--
"Sempre se apanha mais com as menores besteiras. Experiência própria."
goffredo at goffredo.eti.br
goffredo at gmail.com
http://www.goffredo.eti.br
Mais detalhes sobre a lista de discussão freebsd