andrejz

nginx directives capture

Tue, 05 May 2009 06:30:24 GMT

В принципе идея была сделать для nginx некий помошник для генерации документации, но в силу лени и количества полезностей, которые можно таким образом добывать, идея как-то потухла в моем мозгу.
Написано как всегда на коленке. Документация, которую пишет Сысоев - полная гадость, но лучше то на русском нет :-)

#!/usr/bin/perl

use strict;
use File::Basename;

die "Usage: $0 <dir to nginx source code>\n" unless $ARGV[0];

RecurseWalk($ARGV[0]);

sub ParseSourceCode {
    my $filename = shift;
    my (@result, $line);
    open (IN, "$filename") or die "[E]: $!\n";
    while (<IN>) {
        next if (/^#/); # Skip preproccesor macros
        $line .= $_
    }
    close (IN);
    # Find our struct
    $line =~ m#static ngx_command_t.*\s*=\s*{(.*)ngx_null_command\s};#s;
    return unless($1);
    my $stage_1 = $1;
PARSE:
    if ( $stage_1 =~ m#{(.*?)},#sx ) {
        my $stage_2 = $1;
        $stage_1 =~ s/{/|/;
        push @result, $stage_2;
        goto PARSE;
    }
    return @result;
}

sub CaptureData {
    my ($module_name, @array) = @_;
    my %hash;
    # Only *.c files contain our code
    next unless $module_name =~ /.c$/;
    my $module_name = basename( $module_name );
    foreach my $section (@array) {
        my ($dname) = $section =~ m/ngx_string$"(.*)"$,/s;
        my (@d) = split(",", $section);
        $d[1] =~ s/^\s+//; $d[1] =~ s/^\s+$//; $d[1] =~ s/\n//; $d[1] =~ s/\ //g;
        my $tu = $d[1];
        my @d = split(/\|/, $d[1]);
        print "$module_name: $dname -- ", join (',', @d), "\n";
    }
}

sub RecurseWalk {

    my($path) = @_;

    $path .= '/' if( $path !~ /\/$/ );
    for my $filename( glob( $path.'*')) {
        if( -d $filename) {
            RecurseWalk($filename);
        } else {
            CaptureData($filename, ParseSourceCode($filename));
        }
    }
}

Запускать так:
./ngx_parser.pl /home/azverev/nginx-vendor-current/
nginx.c: daemon -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
nginx.c: master_process -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
nginx.c: worker_processes -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
nginx.c: worker_threads -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
nginx.c: thread_stack_size -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
nginx.c: user -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE12
nginx.c: pid -- NGX_MAIN_CONF,NGX_DIRECT_CONF,NGX_CONF_TAKE1
ngx_conf_file.c: include -- NGX_ANY_CONF,NGX_CONF_TAKE1
ngx_log.c: error_log -- NGX_MAIN_CONF,NGX_CONF_1MORE
....

Про флаги можно почитать вот тут

Network overlaps

Mon, 04 May 2009 13:40:22 GMT

Находит все сети, которые пересекаются с друг-другом. Иногда полезно.

#!/usr/bin/perl

use strict;

my ($code, $msg) = overlap(qw(10.17.18.1/32 10.17.18.0/24 10.17.18.4/25));
die $msg if ($code);
print "OK\n";

sub subnet2range {
    my $subnet = shift;
    my ($from, $to);
    $subnet =~ /^(\d+)\.(\d+)\.(\d+)\.(\d+)\/(\d+)$/ || die "bad CIDR format for $subnet\n";
    $from = ($1*2**24) + ($2*2**16) + ($3*2**8) + $4;
    $to = $from + 2**(32-$5) - 1;
    return ($from, $to);
}

# Return code == 0 if OK
# Return code == 1 and msg explain if fail
sub overlap {
    my @networks = @_;
    my (@subnets, %overlaps);

    foreach my $subnet (@networks) {
        my ($from, $to) = subnet2range ($subnet);
        push @subnets, { net => $subnet, from => $from, to => $to };
    }

    @subnets = sort { $a->{from} <=> $b->{from} } @subnets;

    for (my $i=0; $i<=$#subnets; $i++) {
        for (my $j=$i+1; $j<=$#subnets; $j++) {
            last if $subnets[$i]->{to} < $subnets[$j]->{from};
            push @{$overlaps{$subnets[$i]->{net}}}, $subnets[$j]->{net}
                if $subnets[$i]->{to} >= $subnets[$j]->{from};
        }
    }

    if (scalar (keys %overlaps)) {
        foreach my $subnet (sort keys %overlaps) {
            return (1, sprintf ("Network %s overlap with %s", $subnet, join (', ', sort @{$overlaps{$subnet}})));
        }
    } else {
        return 0;
    }
}

if_bridge + ipfw

Wed, 29 Nov 2006 15:35:10 GMT

Стала задача, сделать фильтрацию ipfw трафика проходящего между двумя кошками.
Все бы хорошо, да вот только беда, трафик в этом канале бегает тегированый.

Вот, возьмем наш случай

[ LAN ] ----- [Cisco 3750] --- dot1q --- [fxp0][FreeBSD][fxp1] ---- dot1q ---- [Cisco 3750] --- [LAN]

то есть ipfw add reject blabalbal via bridge0 ничего не даст, как и via другие интерфейсы.

Минут 40 ломал голову, не веря, что такая жопа бываает и фря это не умеет. Потом подумалось, что если не понимает так, тогда можно сделать снимать тег на входящем и одевать на исходящем интерфейсах. Не знаю, работает ли это до версии 6.2, не проверял.
Но выкрутился так

cloned_interfaces="bridge0 vlan101 vlan102"
ifconfig_vlan101="vlan 1000 vlandev fxp0 up"
ifconfig_vlan102="vlan 1000 vlandev fxp1 up"
ifconfig_bridge0="addm vlan101 addm vlan102 up"

Далее уже allow icmp from any to any via vlanxxxx и все работает на ура !

Спасибо товарищу aaa111 за снятие с ручника в паре случаев и за сочувствие :) Без Макса было бы тяжко

cyrus-imapd и BDB

Mon, 06 Mar 2006 11:50:35 GMT

Вот, примерно год назад, с переходом на BDB 4.2 стал замечать, что иногда при stop\start или когда машина уходит не коректно в ребут (бывало и такое), Cyrus поднимается, но считает свои базы currupted, много читал, думал. Попробывал 4.3 - ситуация такая-же, если конечно на сервер есть нагрузка. Происходит это практически всегда на IDE винтах, на SCSI все нормально, видимо хвататет скорости провести транхакцию. Такое же бывает, когда db/log.* вырастает очень большого объема и время на его перемешение и создание не хватает, тогда cyrus вываливается с ошибкой, что не правильные права и действительно если посмотреть, то права там будут рутовые. Не хватает прыткости :)

После чтения документации в BDB, придумалось, что там можно тюнить параметры, создал вот такой вот файл в db/ c именем DB_CONFIG
----
set_lg_max 104857600
set_lg_bsize 204800
set_lg_regionmax 409600
set_cachesize 0 5120000 2
----

После этого, падения перестали иметь место :) Если кому-то пригодиться, юзайте.