http://lug.ivanovo.ru/f/forum.pl Ivanovo Linux Users Group - Системное Latest forum posts 2011-02-22T21:00:17Z mwForum http://lug.ivanovo.ru/f/topic_show.pl?pid=7307 diff отслеживаем изменения в файлах. hawk 2011-02-22T06:16:47Z 2011-02-22T06:22:10Z 2

> по поводу кодировок - не совсем понятно, нафига оно надо. тут скорее путь в причесывании кодировок в исходных файлах кода


Правильно говоришь, все проекты должны быть в одной кодировке, все хостинги привести к одним версиям установленного ПО, разработку можно завернуть через систему контроля версий. Универсально, легко управляемо и ежели что, можно потом так же легко разобраться. Но ситуация не такая простая, разработка ведется в том виде, в котором велась долгие годы и устраивает всех, кроме меня )))).
С кодировками пока вопрос снимаю, русские буквы не так важны. Видно код, который менялся, пока этого достаточно.]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7306 diff отслеживаем изменения в файлах. Bercut 2011-02-21T22:50:15Z 2011-02-21T22:50:15Z 2
по теме. ты ужо ея поднимал. советов начитался. кури методичку по правильной разработке говнософта. и никогда не бойся ломать стереотипы. сломанными стереотипами бьют не так сильно как целыми, и массогабариты не те и держать не удобно :D]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7304 diff отслеживаем изменения в файлах. hawk 2011-02-17T14:28:54Z 2011-02-17T14:54:20Z 2 Второй скрипт делает diff папок зеркала источника, с записью в файлы формата имя_сайта.diff, так по каждому сайту, например 10 сайтов 10 diff файлов соответственно. Скрипты в крон, в 1:00 (утра) текущего дня выполняем синхронизацию,  в 23:00 текущего дня получаем diff и того видим код, который менялся за день. В последующие дни  будет формироваться накопительный патч. Возможно сделаю rsync замену изменяемых файлов в зеркале раз в сутки, тогда патчи будут не накопительные, а только изменения за день.
Все работает, возможно некоторые вещи пересмотрю еще, если есть дельные советы с удовольствием выслушаю. Пока решаю накопительный патч или за день.
Вопрос в следующем, при получении так называемого мега патча diff со всех файлов сайта, внутри получается каша из кодировок. Системная кодировка KOI8-R, часть файлов сайтов в UTF-8, часть в CP1251. По сути пока не заморачиваюсь, т.к. русские буквы не так важны, важно в первую очередь видеть код, который менялся, в каких файлах и строках были изменения. Но кто и как попробовал бы решить эту проблему :)? Например мне на ум приходит использование утилиты file для получения сведений кодировок, потом iconv. Да, скрипт получает diff-ы с 18 Gb файлов :) достаточно долго, но операция проходит ночью, так что приемлемо. 

p.s. систему SVN и прочие не предлагать, вся разработка ведется программистом on-line на нескольких серверах, да и это идет в разрез с уже сложившимися традициями программирования веб программиста :), да и руководству главное скорость. Поэтому контроль веду я, таким вот лисипедным образом.]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7274 Работа с системными пользователями в скрипте. hawk 2011-02-07T13:13:58Z 2011-02-07T13:13:58Z 6 не ну вводить то когда-то надо, а то девственником можно остаться :)
весна весна, видимо уже близко ... :))))))]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7273 Работа с системными пользователями в скрипте. Bercut 2011-02-07T13:06:48Z 2011-02-07T13:06:48Z 6 если не вводить, то хранить, где гарантия, что место хранения не будет скомпрометировано...
вощем если тема промышленная то не колхозь, про керберос таки почитай, например
хотя все равно надо аутентифицироваться иначе никакой иб
а так то всегда можно шифрануть весь раздел, из пушки по воробьям :), а ключи хрнить удаленной машинке да с хитрыми правилами доступа, хотябы кнопка шухер...]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7272 Работа с системными пользователями в скрипте. hawk 2011-02-07T12:23:50Z 2011-02-07T12:26:29Z 6 ps чую плюну я на это дело и сделаю по старинке chmod 700 на скрипт для рута :))))]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7271 Работа с системными пользователями в скрипте. Bercut 2011-02-07T12:11:08Z 2011-02-07T12:11:08Z 6 методов то куча, на самом деле, тока ты сам определись когда надо вводить пароль руками или делать иное аутентифицирующее действие, смарт-карта, етокен, глаз, рука, нога... жопа
без сего сокровенного никак
другое дело сколько раз и где
а так смотри системы типа сингл сайн он, или разные pki ldap итд в различных смесях, да кстати, керберос еще в тему вообще конкретно, с его билетиками
ето конечно гимор тот еще, но игра стоит свеч]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7269 Работа с системными пользователями в скрипте. hawk 2011-02-07T11:01:27Z 2011-02-07T11:14:45Z 6 Сервер виртуальных машин, на нем крутиться виртуалка, в команде сначало передаем логин и пароль администратора сервера, который совпадает с логином паролем непривилигированного пользователя Линукс. Дальше когда заавторизовались - авторизуемся на хостовой машине, так сделал что пароль и логин хостовой машины совпадает с пассом и логином непривилигированного пользователя Линукс. Вот и не хочется столько паролей одновременно хранить в открытом виде, самое бы простое что напрашивается - это как то в скрипте заюзать зашифрованный пасс непривилигированного системного пользователя - если такое возможно. Было бы самое правильное решение, из костыликов уже SSH можно, можно GPG, а можно и MySQL :).
Как идет работа в системе с пассами:
Сравнение правильности пароля происходит следующим образом. Программа получает настоящий пароль от пользователя, потом вырабатывает на его основе хеш и сравнивает его с тем, который она получила из файла /etc/shadow. Если хеши не совпадают, то значит пароли разные.
Вот только обратная ситуация невозможна насколько я понимаю.]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7267 Работа с системными пользователями в скрипте. LOE 2011-02-07T10:02:10Z 2011-02-07T10:02:10Z 6 С помощью ssh-keygen генеришь ключи для локального пользователя.
Потом публичный ключ помещаешь в файл /home/пользователь/.ssh/authorized_keys2 удаленного пользователя.
После этого (если в глобальном конфиге sshd разрешено использование авторизации по ключам) можно "логиниться" на удаленную систему без ввода паролей.

В принципе, такое и локально можно сделать, только стучаться на localhost под нужным пользователем.

По большому счету, это создает некоторое беспокойство: если кто-то проник в локальную систему под локальным пользователем, он сможет выполнять команды на удаленной системе уже без всякой авторизации.
Тут можно подумать о паролировании секретного ключа или размещении его в "тихом месте".]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7265 Работа с системными пользователями в скрипте. hawk 2011-02-07T09:39:37Z 2011-02-07T09:46:38Z 6 Какие мысли на этот счет, например использовать GnuPG (gpg) для шифрования по ключу или возможно, можно как то выдернуть из системы юзера и подставить его пароль (в системе он шифрован). Тут ключевое - пароль, как дернуть юзера из системы понятно и не интересно.

Еще пояснение, в скрипте используются пасс логин системного пользователя, который является администратором одного сервиса. В скрипте еще указываются пасс и логин удаленной машины, которые совпадают с первыми. Т.е. если дернуть один раз из системы, то будет самое красивое решение.]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7257 AWK работает не так как хотелось бы... hawk 2011-02-04T07:35:40Z 2011-02-04T08:21:14Z 2 Похоже решил проблему, видоизменив строку вот так:
awk '{OFMT="%.4f"; $3 = int($2/1048576)} {print $1,"==> "$2,"("$3")"}' \
т.е. еще учел формат цифирь, что они не целочисленные. Теперь, очень мелкие значения просто
45343 (0) - т.е. первое байты, потом 0 мегабайт, как задумывалось в общем.]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7256 AWK работает не так как хотелось бы... LOE 2011-02-04T07:10:42Z 2011-02-04T07:17:12Z 2
Но лично я, не очень люблю делать такие пайпы. Максимум если надо 1 или 2 раза вызвать тот-же awk. Если больше - уже проще написать скриптик на том-же perl'е:
$ cat dan
0.1.2.3 123456789
1.2.3.4 1023
2.3.4.5 1
6.7.8.9 5
$ cat p.pl

while(<STDIN>) {
        chop;
        (@D)=split(/[ \t]+/,$_);
        $S{$D[0]}+=$D[1];
}
map {
        printf("%s %s (%.3f)\n",$_,$S{$_},$S{$_}/1048576);
} keys %S;

$ cat dan | perl p.pl
2.3.4.5 1 (0.000)
1.2.3.4 1023 (0.001)
6.7.8.9 5 (0.000)
0.1.2.3 123456789 (117.738)

Зато, появляется возможность в одном месте сделать всё, что требуется, оформить как хочется и сделать еще кучу вещей :)

PS. да, написанные слитно [i] приводят к отработке форматирования. Либо вставить пробелы, либо (как я сейчас), "замаскировать" другими конструкциями ;)]]> http://lug.ivanovo.ru/f/topic_show.pl?pid=7255 AWK работает не так как хотелось бы... hawk 2011-02-04T06:13:08Z 2011-02-04T06:29:38Z 2
ip(откуда)     ip(куда)     кол-во пакетов   колво байт

ip(куда)         ip(откуда) кол-во пакетов   колво байт

Этот вывод я сократил, так как порты не интересны, подсчет идет только по внешним ИП адресам чтобы видеть общую нагрузку. Есть скрипт, который дампит в файл данные с коллектора в выше приведенный формат, далее с помощью awk я беру только два столбца
ip(куда) колво байт
и
ip(откуда)  колво байт
не трудно догадаться это входящий и исходящий траф, сам кусок кода выглядит следующим образом:
/bin/cat ${DIR_DUMP}/${SDIR}/${DNAME_EXT} | awk '{print $2,$4}' \
                                          | grep ${NET} | sort -fn \
                                          | awk '{sum[$1]+=$2}END{for(i in sum) print i,sum}' \
                                          | awk '{OFS=" "} $3 = int($2/1048576) {print $1,"==> "$2,"("$3")"}' \
                                          | sort -fn >> ${DIR_SORT}/${SDIR}/${SNAME_EXT};

${DIR_DUMP}/${SDIR}/${DNAME_EXT} - это файл дампа входящего трафа
суммируем по одинаковым адресам второй столбик в котором байты awk '{sum[$1]+=$2}END{for(i in sum) print i,sum}' \
а вот тут сама засада, строка awk '{OFS=" "} $3 = int($2/1048576) {print $1,"==> "$2,"("$3")"}' \ выводит в файл данные в виде
IP1   байт  (мб)
т.е. в скобках добавляет еще Мегабайты для лучшего восприятия, и что выходит, если сумма хранящаяся в $2 мала то при делении на 1048576 получаем ноль целых ноль ноль ноль ноль, и вобщем строка из отчета с этим IP просто выпадает - ее нет, если блок кода привести к следующей форме
/bin/cat ${DIR_DUMP}/${SDIR}/${DNAME_EXT} | awk '{print $2,$4}' \
                                          | grep ${NET} | sort -fn \
                                          | awk '{sum[$1]+=$2}END{for(i in sum) print i,sum}' \
                                          | sort -fn >> ${DIR_SORT}/${SDIR}/${SNAME_EXT};
без преобразований в Мб, все IP на месте, но читать не удобняк, вот и вопрос, как сделать чтобы не терялась строка, когда делим и получаем ноль целых.

P/s LOE движок по тексту [ i ] воспринимает как начало курсива и автозаканчивает эти теги самостоятельно, оформляя текст курсивом.]]>