[FUG-BR] maxproc limit uid 89, tuning qmail

Joel Cappellesso cappellesso em gmail.com
Sexta Maio 21 11:02:25 BRT 2010


Pelo que vejo é o disco mesmo, veja:

real memory  = 3748200448 (3574 MB)
avail memory = 3668545536 (3498 MB)

ad4: 238475MB <Seagate ST3250318AS CC44> at ata2-master SATA150


dT: 1.001s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    3    113     18    152  129.1     95   7385  133.6  103.0| ad4
    3    113     18    152  129.1     95   7385  133.6  103.1| ad4s1
    0      0      0      0    0.0      0      0    0.0    0.0| ad4s1a
    0      0      0      0    0.0      0      0    0.0    0.0| ad4s1b
    0      0      0      0    0.0      0      0    0.0    0.0| ad4s1c
    1     19      2      4  173.2     17    138  112.0  105.2| ad4s1d
    0     54      0      0    0.0     54   6905   74.5   69.6| ad4s1e
    2     40     16    148  123.6     24    342  282.2  102.6| ad4s1f

Para dar uma aliviada vou ver a questão do softfail.

Valeu pela ajuda.

Joel





Em 20 de maio de 2010 20:52, renato martins <renatobsd em gmail.com> escreveu:
> Qual o cpu desta maquina ?
> Outra coisa seria bom voce por mais memoria nessa maquina  512 é muito pouco
> para rodar o clamav e spamassin na mesma maquina
> acredito que voce deva ter ai ainda um mysql para ajudar a comer a memoria ?
>
>
>
> os hds são sata ou scsi ?
>
> eu rodava esses mesmo aplicativos com 8.000 mil caixas de email em um del
> com 2 gb de memoria e um xeon 3.0 bem folgado
>
> Em 20 de maio de 2010 09:41, Joel Cappellesso <cappellesso em gmail.com>escreveu:
>
>> # cat /usr/local/etc/spamdyke.conf |grep -v "^$" |grep -v "#"
>> max-recipients=100
>> reject-empty-rdns
>> reject-missing-sender-mx
>> reject-unresolvable-rdns
>> log-level=info
>> log-target=syslog
>> ip-whitelist-file=/usr/local/etc/spamdyke-whitelist
>> dns-blacklist-entry=DNSRBL
>> dns-blacklist-file=/usr/local/etc/spamdyke-blacklist
>> graylist-level=none
>> graylist-dir=/usr/local/vpopmail/graylist
>> graylist-max-secs=86400
>> graylist-min-secs=300
>> graylist-exception-ip-file=/usr/local/etc/spamdyke-graylist-exception
>>
>> graylist-exception-rdns-file=/usr/local/etc/spamdyke-graylist-exception-rdns
>> relay-level=normal
>> access-file=/usr/local/vpopmail/etc/tcp.smtp
>> local-domains-file=/var/qmail/control/rcpthosts
>> rejection-text-empty-rdns="Negado. Voce nao tem o DNS reverso
>> configurado, contato o Administrador de sua rede."
>> rejection-text-missing-sender-mx="Recusado. O dominio do seu endereco
>> de email nao possui uma entrada MX no DNS."
>> rejection-text-unresolvable-rdns="Recusado. Seu servidor nao possui o
>> Dns Reverso configurado, contate o administrador da sua rede!"
>>
>> Quanto as mensagens na fila , elas são de tudo que é tipo. Spams,
>> destinos inexistentes e as mensagens reais.
>>
>> # cat /usr/local/etc/spamdyke-blacklist
>> bl.spamcop.net
>> xbl.spamhaus.org
>> sbl.spamhaus.org
>>
>>
>> Não estou usando o graylist porque os alguns usuários reclamam se o
>> email demorar mais que 5 min. E fica inviável ficar administrando
>> whitlist para o graylist.
>>
>> Pelo jeito o softfail é mais inteligente vou ver o que consigo com
>> ele. Valeu pela dica, não conhecia.
>>
>> O spamassassin eu chamo via .qmail-default
>> | /var/qmail/bin/preline /usr/local/bin/spamc -u "$DEFAULT"@"$HOST" |
>> /usr/local/vpopmail/bin/vdelivermail '' delete
>>
>>
>> A intenção quando postei a dúvida era aumentar a eficiência das
>> entreguas simultâneas. A impressão como falei é que o hardware está
>> limitando. Inicialmente por exemplo se eu não trabalha-se com
>> grayllist o servidor não aguentava o tranco, gerava muita fila. Depois
>> que alterei o :
>> >> >> kern.ipc.nsfbufs="79872"                # Set the number of
>> sendfile(2)
>> Ele deslanchou. Depois disso pude trabalhar sem o graylist que ele aguenta.
>> Por isso a dúvida se existe algum parametro ainda para ajuste ou se o
>> hardware está no limite. Talvez algo no simscan ou anti-virus que
>> esteja segurando.
>> Agora só usando alguma ferramenta como  o softfail para aliviar o serviço?
>>
>> Obrigado a todos pela ajuda.
>>
>>
>>
>>
>>
>>
>>
>> Em 19 de maio de 2010 22:19, Luciano Antonio Borguetti Faustino
>> <lucianoborguetti.listas em gmail.com> escreveu:
>> > Joel,
>> > Quais são os filtros que você está utilizando no spamdyke?
>> > Tenho experiência com servidores de e-mail/qmail e uso o spamdyke, talves
>> > possa te ajudar.
>> > Essas mensagens que ficam na fila como não processadas são spam's ?
>> > Posso compartilhar algumas configurações que uso aqui em alguns clientes
>> > (também provedores de acesso).
>> >
>> > Abraço,
>> >
>> > 2010/5/19 Joel Cappellesso <cappellesso em gmail.com>
>> >>
>> >> Obrigado pelo retorno, vou dar uma olhada no patch que mencionaram,
>> >> deve ajudar tmb. Vamos lá:
>> >>
>> >> Meu tcpserver está configurado para atender até 160 conexões
>> simultâneas.
>> >> Qmailmrtg do tcpserver: média de 112 simultâneas.
>> >>  Max    Average         Current
>> >> SMTP    150.0 SMTP (150.0%)     112.0 SMTP (112.0%)     127.0 SMTP
>> >> (127.0%)
>> >> SMTP    150.0 SMTP (150.0%)     112.0 SMTP (112.0%)     127.0 SMTP
>> >> (127.0%)
>> >>
>> >> Queue Size: O problema é quando ele aumenta as mensagens não
>> >> processadas. No momento por exemplo 194 ainda não foram processadas.
>> >>  Max    Average         Current
>> >> msg     1531.0 Msg (15.3%)      590.0 Msg (5.9%)        673.0 Msg (6.7%)
>> >> unprocessed msg:        1210.0 Msg (12.1%)      58.0 Msg (0.6%)
>> >> 194.0 Msg (1.9%)
>> >>
>> >> Mensagens/hora
>> >>  Max    Average         Current
>> >> Deliveries:     12.9 kmsg (129.1%)      6065.0 msg (60.6%)      10.6
>> kmsg
>> >> (105.8%)
>> >> Attempts:       14.8 kmsg (148.3%)      7081.0 msg (70.8%)      12.0
>> kmsg
>> >> (119.5%)
>> >>
>> >> # cat concurrencyincoming
>> >> 150
>> >> # cat concurrencyremote
>> >> 200
>> >> # cat concurrencylocal
>> >> 200
>> >>
>> >> Utilizo o spamdyke + simscan + spamassassin + clamd.
>> >>
>> >> Recebo muito spam, com certeza. São aproximadamente 7.000 caixas
>> >> postais. Provedor.
>> >> No geral está funcionando bem. Só achei que ele deveria entregar mais
>> >> mensagens locais simultâneamente.
>> >>
>> >> Tenho a impressão que é o disco, fiz um iostat em 2 momentos. Com fila e
>> >> sem.
>> >> Não encontrei diferença nos dois. Alguma dica para tirar a certeza se
>> >> é ou não disco?
>> >>
>> >> #sem fila
>> >> # /var/qmail/bin/qmail-qstat
>> >> messages in queue: 455
>> >> messages in queue but not yet preprocessed: 0
>> >> # iostat -c 10
>> >>      tty             ad4             cpu
>> >>  tin tout  KB/t tps  MB/s  us ni sy in id
>> >>   0    1 15.87  89  1.38  18  0  4  0 78
>> >>   0  129  8.97  89  0.78  23  0  6  0 71
>> >>   0   43  9.79  56  0.53  20  0  7  0 73
>> >>   0   43  6.67  83  0.54   6  0  3  0 92
>> >>   0   43  8.92 104  0.90  16  0  4  0 80
>> >>   0   43 11.17 118  1.29  10  0  5  0 86
>> >>   0   43 16.16 141  2.22  16  0  3  0 81
>> >>   0   43 20.33 129  2.56  18  0  5  0 77
>> >>   0   43 16.80 142  2.33  24  0  6  0 69
>> >>   0   43 20.48 146  2.92  35  0  7  0 58
>> >>
>> >> #com fila/mensagens na espera para serem processadas.
>> >> # iostat -c 10
>> >>      tty             ad4             cpu
>> >>  tin tout  KB/t tps  MB/s  us ni sy in id
>> >>   0   16 15.92  91  1.42  18  0  4  0 77
>> >>   0  129  6.54  92  0.59  46  0  9  0 45
>> >>   0   43  7.79 122  0.93  77  0  6  0 17
>> >>   0   43  5.96 100  0.58  82  0  6  0 12
>> >>   0   43  7.03  97  0.67  54  0 13  0 34
>> >>   0   43  5.61 132  0.72  10  0  2  0 88
>> >>   0   43 22.04 134  2.88  61  0 20  0 18
>> >>   0   43  8.62 146  1.23  71  0 13  0 16
>> >>   0   43 12.49 181  2.20  41  0  6  0 53
>> >>   0   43 13.84 126  1.70  39  0  7  0 54
>> >>
>> >>
>> >> # cat /usr/local/etc/clamd.conf |grep -v "#" |grep -v "^$"
>> >> LogFile /var/log/clamav/clamd.log
>> >> PidFile /var/run/clamav/clamd.pid
>> >> DatabaseDirectory /var/db/clamav
>> >> LocalSocket /var/run/clamav/clamd.sock
>> >> FixStaleSocket yes
>> >> MaxConnectionQueueLength 40
>> >> MaxThreads 45   <--- talvez
>> >> MaxQueue 200
>> >> User clamav
>> >> AllowSupplementaryGroups yes
>> >> ScanMail yes
>> >>
>> >> Não parece ser limite no spamassassin. Está configurado para até 100
>> >> conexões.
>> >>  /usr/local/bin/spamd -c -v -u simscan -d -m 100 -r
>> >> /var/run/spamd/spamd.pid -s /var/log/spamd.log (perl5.8.9)
>> >>
>> >> Obrigado
>> >> Joel
>> >>
>> >>
>> >>
>> >>
>> >> Em 18 de maio de 2010 08:17, renato martins <renatobsd em gmail.com>
>> >> escreveu:
>> >> > cara o qmail mesmo com muito trafego não consome tanto cpu e memoria
>> >> > assim é
>> >> > possivel que voce esteja rodando mais aplicativos como spamassassin,
>> >> > clamav
>> >> > que estão consumido essa sua memoria e cpu.
>> >> >
>> >> > rode o top por um tempo e veja oque esta consumindo tanto outra coisa
>> >> > use o
>> >> > qmhandle para verificar sua fila que deve estar lotada de spams
>> >> >
>> >> > Em 17 de maio de 2010 14:16, Joel Cappellesso
>> >> > <cappellesso em gmail.com>escreveu:
>> >> >
>> >> >> Ola Pessoal,
>> >> >>
>> >> >> May 17 09:22:21 avalon kernel: maxproc limit exceeded by uid 89,
>> >> >> please see tuning(7) and login.conf(5).
>> >> >> May 17 09:22:50 avalon last message repeated 9 times
>> >> >>
>> >> >> meu login.conf o default está:
>> >> >>
>> >> >>
>> >> >> default:\
>> >> >>  ....
>> >> >>        :maxproc=unlimited:\
>> >> >>  ....
>> >> >>
>> >> >> Não deveria estar sem limite .
>> >> >>
>> >> >> Ou ele utiliza:
>> >> >>
>> >> >> kern.maxproc: 6164
>> >> >> kern.maxprocperuid: 5547
>> >> >>
>> >> >> Estou aumentando agora:
>> >> >>  sysctl kern.maxprocperuid=8547
>> >> >> kern.maxprocperuid: 5547 -> 8547
>> >> >> para teste.
>> >> >>
>> >> >> Para melhorar a performance adicionei no arquivo : /boot/loader.conf
>> >> >> kern.ipc.nsfbufs="79872"                # Set the number of
>> sendfile(2)
>> >> >> bufs
>> >> >>
>> >> >> Isso já melhorou o número de mensagens entregues ao mesmo tempo. Mas
>> >> >> ainda não ficou legal, não passa das 40 simultâneos.
>> >> >>
>> >> >> Alguem tem alguma dica para melhorar a performance do qmail?
>> >> >>
>> >> >> # netstat -m
>> >> >> 700/1325/2025 mbufs in use (current/cache/total)
>> >> >> 279/733/1012/25600 mbuf clusters in use (current/cache/total/max)
>> >> >> 279/476 mbuf+clusters out of packet secondary zone in use
>> >> >> (current/cache)
>> >> >> 0/726/726/12800 4k (page size) jumbo clusters in use
>> >> >> (current/cache/total/max)
>> >> >> 0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
>> >> >> 0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
>> >> >> 733K/4701K/5434K bytes allocated to network (current/cache/total)
>> >> >> 0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
>> >> >> 0/0/0 requests for jumbo clusters denied (4k/9k/16k)
>> >> >> 0/22/79872 sfbufs in use (current/peak/max)
>> >> >> 0 requests for sfbufs denied
>> >> >> 0 requests for sfbufs delayed
>> >> >> 1112 requests for I/O initiated by sendfile
>> >> >> 0 calls to protocol drain routines
>> >> >>
>> >> >> last pid: 42903;  load averages:  2.12,  3.70,  3.03
>> >> >>                              up 9+22:11:27  14:12:33
>> >> >> 327 processes: 12 running, 298 sleeping, 1 zombie, 16 lock
>> >> >> CPU: 69.0% user,  0.0% nice, 26.6% system,  0.4% interrupt,  3.9%
>> idle
>> >> >> Mem: 541M Active, 2032M Inact, 235M Wired, 69M Cache, 112M Buf, 625M
>> >> >> Free
>> >> >> Swap: 4096M Total, 204K Used, 4096M Free
>> >> >>
>> >> >> Valeu
>> >> >> Joel
>> >> >> -------------------------
>> >> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >> >>
>> >> > -------------------------
>> >> > Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> > Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >> >
>> >> -------------------------
>> >> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> >> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>> >
>> >
>> >
>> > --
>> > #!/bin/bash
>> >
>> > Luciano Antonio Borguetti Faustino
>> > GNU/Linux user number: 339110
>> > ICQ UIN number: 82092097 - ICQ ainda na atividade :)
>> > http://lucianoborguetti.blogspot.com
>> >
>> > Preconceito é opinião sem conhecimento.
>> >
>> > :wq
>> >
>> -------------------------
>> Histórico: http://www.fug.com.br/historico/html/freebsd/
>> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>>
> -------------------------
> Histórico: http://www.fug.com.br/historico/html/freebsd/
> Sair da lista: https://www.fug.com.br/mailman/listinfo/freebsd
>


Mais detalhes sobre a lista de discussão freebsd