[FUG-BR] maxproc limit uid 89, tuning qmail

Joel Cappellesso cappellesso em gmail.com
Quinta Maio 20 09:41:59 BRT 2010


# cat /usr/local/etc/spamdyke.conf |grep -v "^$" |grep -v "#"
max-recipients=100
reject-empty-rdns
reject-missing-sender-mx
reject-unresolvable-rdns
log-level=info
log-target=syslog
ip-whitelist-file=/usr/local/etc/spamdyke-whitelist
dns-blacklist-entry=DNSRBL
dns-blacklist-file=/usr/local/etc/spamdyke-blacklist
graylist-level=none
graylist-dir=/usr/local/vpopmail/graylist
graylist-max-secs=86400
graylist-min-secs=300
graylist-exception-ip-file=/usr/local/etc/spamdyke-graylist-exception
graylist-exception-rdns-file=/usr/local/etc/spamdyke-graylist-exception-rdns
relay-level=normal
access-file=/usr/local/vpopmail/etc/tcp.smtp
local-domains-file=/var/qmail/control/rcpthosts
rejection-text-empty-rdns="Negado. Voce nao tem o DNS reverso
configurado, contato o Administrador de sua rede."
rejection-text-missing-sender-mx="Recusado. O dominio do seu endereco
de email nao possui uma entrada MX no DNS."
rejection-text-unresolvable-rdns="Recusado. Seu servidor nao possui o
Dns Reverso configurado, contate o administrador da sua rede!"

Quanto as mensagens na fila , elas são de tudo que é tipo. Spams,
destinos inexistentes e as mensagens reais.

# cat /usr/local/etc/spamdyke-blacklist
bl.spamcop.net
xbl.spamhaus.org
sbl.spamhaus.org


Não estou usando o graylist porque os alguns usuários reclamam se o
email demorar mais que 5 min. E fica inviável ficar administrando
whitlist para o graylist.

Pelo jeito o softfail é mais inteligente vou ver o que consigo com
ele. Valeu pela dica, não conhecia.

O spamassassin eu chamo via .qmail-default
| /var/qmail/bin/preline /usr/local/bin/spamc -u "$DEFAULT"@"$HOST" |
/usr/local/vpopmail/bin/vdelivermail '' delete


A intenção quando postei a dúvida era aumentar a eficiência das
entreguas simultâneas. A impressão como falei é que o hardware está
limitando. Inicialmente por exemplo se eu não trabalha-se com
grayllist o servidor não aguentava o tranco, gerava muita fila. Depois
que alterei o :
>> >> kern.ipc.nsfbufs="79872"                # Set the number of sendfile(2)
Ele deslanchou. Depois disso pude trabalhar sem o graylist que ele aguenta.
Por isso a dúvida se existe algum parametro ainda para ajuste ou se o
hardware está no limite. Talvez algo no simscan ou anti-virus que
esteja segurando.
Agora só usando alguma ferramenta como  o softfail para aliviar o serviço?

Obrigado a todos pela ajuda.







Em 19 de maio de 2010 22:19, Luciano Antonio Borguetti Faustino
<lucianoborguetti.listas em gmail.com> escreveu:
> Joel,
> Quais são os filtros que você está utilizando no spamdyke?
> Tenho experiência com servidores de e-mail/qmail e uso o spamdyke, talves
> possa te ajudar.
> Essas mensagens que ficam na fila como não processadas são spam's ?
> Posso compartilhar algumas configurações que uso aqui em alguns clientes
> (também provedores de acesso).
>
> Abraço,
>
> 2010/5/19 Joel Cappellesso <cappellesso em gmail.com>
>>
>> Obrigado pelo retorno, vou dar uma olhada no patch que mencionaram,
>> deve ajudar tmb. Vamos lá:
>>
>> Meu tcpserver está configurado para atender até 160 conexões simultâneas.
>> Qmailmrtg do tcpserver: média de 112 simultâneas.
>>  Max    Average         Current
>> SMTP    150.0 SMTP (150.0%)     112.0 SMTP (112.0%)     127.0 SMTP
>> (127.0%)
>> SMTP    150.0 SMTP (150.0%)     112.0 SMTP (112.0%)     127.0 SMTP
>> (127.0%)
>>
>> Queue Size: O problema é quando ele aumenta as mensagens não
>> processadas. No momento por exemplo 194 ainda não foram processadas.
>>  Max    Average         Current
>> msg     1531.0 Msg (15.3%)      590.0 Msg (5.9%)        673.0 Msg (6.7%)
>> unprocessed msg:        1210.0 Msg (12.1%)      58.0 Msg (0.6%)
>> 194.0 Msg (1.9%)
>>
>> Mensagens/hora
>>  Max    Average         Current
>> Deliveries:     12.9 kmsg (129.1%)      6065.0 msg (60.6%)      10.6 kmsg
>> (105.8%)
>> Attempts:       14.8 kmsg (148.3%)      7081.0 msg (70.8%)      12.0 kmsg
>> (119.5%)
>>
>> # cat concurrencyincoming
>> 150
>> # cat concurrencyremote
>> 200
>> # cat concurrencylocal
>> 200
>>
>> Utilizo o spamdyke + simscan + spamassassin + clamd.
>>
>> Recebo muito spam, com certeza. São aproximadamente 7.000 caixas
>> postais. Provedor.
>> No geral está funcionando bem. Só achei que ele deveria entregar mais
>> mensagens locais simultâneamente.
>>
>> Tenho a impressão que é o disco, fiz um iostat em 2 momentos. Com fila e
>> sem.
>> Não encontrei diferença nos dois. Alguma dica para tirar a certeza se
>> é ou não disco?
>>
>> #sem fila
>> # /var/qmail/bin/qmail-qstat
>> messages in queue: 455
>> messages in queue but not yet preprocessed: 0
>> # iostat -c 10
>>      tty             ad4             cpu
>>  tin tout  KB/t tps  MB/s  us ni sy in id
>>   0    1 15.87  89  1.38  18  0  4  0 78
>>   0  129  8.97  89  0.78  23  0  6  0 71
>>   0   43  9.79  56  0.53  20  0  7  0 73
>>   0   43  6.67  83  0.54   6  0  3  0 92
>>   0   43  8.92 104  0.90  16  0  4  0 80
>>   0   43 11.17 118  1.29  10  0  5  0 86
>>   0   43 16.16 141  2.22  16  0  3  0 81
>>   0   43 20.33 129  2.56  18  0  5  0 77
>>   0   43 16.80 142  2.33  24  0  6  0 69
>>   0   43 20.48 146  2.92  35  0  7  0 58
>>
>> #com fila/mensagens na espera para serem processadas.
>> # iostat -c 10
>>      tty             ad4             cpu
>>  tin tout  KB/t tps  MB/s  us ni sy in id
>>   0   16 15.92  91  1.42  18  0  4  0 77
>>   0  129  6.54  92  0.59  46  0  9  0 45
>>   0   43  7.79 122  0.93  77  0  6  0 17
>>   0   43  5.96 100  0.58  82  0  6  0 12
>>   0   43  7.03  97  0.67  54  0 13  0 34
>>   0   43  5.61 132  0.72  10  0  2  0 88
>>   0   43 22.04 134  2.88  61  0 20  0 18
>>   0   43  8.62 146  1.23  71  0 13  0 16
>>   0   43 12.49 181  2.20  41  0  6  0 53
>>   0   43 13.84 126  1.70  39  0  7  0 54
>>
>>
>> # cat /usr/local/etc/clamd.conf |grep -v "#" |grep -v "^$"
>> LogFile /var/log/clamav/clamd.log
>> PidFile /var/run/clamav/clamd.pid
>> DatabaseDirectory /var/db/clamav
>> LocalSocket /var/run/clamav/clamd.sock
>> FixStaleSocket yes
>> MaxConnectionQueueLength 40
>> MaxThreads 45   <--- talvez
>> MaxQueue 200
>> User clamav
>> AllowSupplementaryGroups yes
>> ScanMail yes
>>
>> Não parece ser limite no spamassassin. Está configurado para até 100
>> conexões.
>>  /usr/local/bin/spamd -c -v -u simscan -d -m 100 -r
>> /var/run/spamd/spamd.pid -s /var/log/spamd.log (perl5.8.9)
>>
>> Obrigado
>> Joel
>>
>>
>>
>>
>> Em 18 de maio de 2010 08:17, renato martins <renatobsd em gmail.com>
>> escreveu:
>> > cara o qmail mesmo com muito trafego não consome tanto cpu e memoria
>> > assim é
>> > possivel que voce esteja rodando mais aplicativos como spamassassin,
>> > clamav
>> > que estão consumido essa sua memoria e cpu.
>> >
>> > rode o top por um tempo e veja oque esta consumindo tanto outra coisa
>> > use o
>> > qmhandle para verificar sua fila que deve estar lotada de spams
>> >
>> > Em 17 de maio de 2010 14:16, Joel Cappellesso
>> > <cappellesso em gmail.com>escreveu:
>> >
>> >> Ola Pessoal,
>> >>
>> >> May 17 09:22:21 avalon kernel: maxproc limit exceeded by uid 89,
>> >> please see tuning(7) and login.conf(5).
>> >> May 17 09:22:50 avalon last message repeated 9 times
>> >>
>> >> meu login.conf o default está:
>> >>
>> >>
>> >> default:\
>> >>  ....
>> >>        :maxproc=unlimited:\
>> >>  ....
>> >>
>> >> Não deveria estar sem limite .
>> >>
>> >> Ou ele utiliza:
>> >>
>> >> kern.maxproc: 6164
>> >> kern.maxprocperuid: 5547
>> >>
>> >> Estou aumentando agora:
>> >>  sysctl kern.maxprocperuid=8547
>> >> kern.maxprocperuid: 5547 -> 8547
>> >> para teste.
>> >>
>> >> Para melhorar a performance adicionei no arquivo : /boot/loader.conf
>> >> kern.ipc.nsfbufs="79872"                # Set the number of sendfile(2)
>> >> bufs
>> >>
>> >> Isso já melhorou o número de mensagens entregues ao mesmo tempo. Mas
>> >> ainda não ficou legal, não passa das 40 simultâneos.
>> >>
>> >> Alguem tem alguma dica para melhorar a performance do qmail?
>> >>
>> >> # netstat -m
>> >> 700/1325/2025 mbufs in use (current/cache/total)
>> >> 279/733/1012/25600 mbuf clusters in use (current/cache/total/max)
>> >> 279/476 mbuf+clusters out of packet secondary zone in use
>> >> (current/cache)
>> >> 0/726/726/12800 4k (page size) jumbo clusters in use
>> >> (current/cache/total/max)
>> >> 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
>> >> 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
>> >> 733K/4701K/5434K bytes allocated to network (current/cache/total)
>> >> 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
>> >> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
>> >> 0/22/79872 sfbufs in use (current/peak/max)
>> >> 0 requests for sfbufs denied
>> >> 0 requests for sfbufs delayed
>> >> 1112 requests for I/O initiated by sendfile
>> >> 0 calls to protocol drain routines
>> >>
>> >> last pid: 42903;  load averages:  2.12,  3.70,  3.03
>> >>                              up 9+22:11:27  14:12:33
>> >> 327 processes: 12 running, 298 sleeping, 1 zombie, 16 lock
>> >> CPU: 69.0% user,  0.0% nice, 26.6% system,  0.4% interrupt,  3.9% idle
>> >> Mem: 541M Active, 2032M Inact, 235M Wired, 69M Cache, 112M Buf, 625M
>> >> Free
>> >> Swap: 4096M Total, 204K Used, 4096M Free
>> >>
>> >> Valeu
>> >> Joel
>> >> -------------------------
>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >>
>> > -------------------------
>> > Histórico: http://www.fug.com.br/historico/html/freebsd/
>> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>
>
>
> --
> #!/bin/bash
>
> Luciano Antonio Borguetti Faustino
> GNU/Linux user number: 339110
> ICQ UIN number: 82092097 - ICQ ainda na atividade :)
> http://lucianoborguetti.blogspot.com
>
> Preconceito é opinião sem conhecimento.
>
> :wq
>


Mais detalhes sobre a lista de discussão freebsd