Między 22 a 25 września 2011 r. w Hotelu „Przedwiośnie” w Mąchocicach Kapitulnych koło Kielc odbędzie się tegoroczna impreza entuzjastów języka Python, PyCon PL 2011.  Jest to już czwarta edycja tej ogólnopolskiej konferencji.

Przewidywane są następujące prelekcje:

• Wzorce projektowe w Pythonie. Praktyczne zastosowania.
• Co można zrobić z pygame
• System zarządzania wersjami jako część twojej aplikacji
• Jak napisać program, żeby nie działał? Najczęstsze błędy i antywzorce pythonowe.
• Nie tylko SQL? Tylko nie SQL!
• Python i Cassandra
• Actor model – współbieżność w dużej skali
• VCS – piekło systemów kontroli wersji
• django CMS kontra Plone CMS
• Hic sunt pythones – magiczna strona pythona
• Dołącz do projektu CPython w 8 tygodni
• Dlaczego Unikod jest trudny

Atutami tegorocznej edycji są bez wątpienia:

• kameralne otoczenie Gór Świętkorzyskich,
• stosunkowo dobry dojazd samochodem, jak i komunikacją publiczną,
• bardzo dobry standard hotelu w tym pełne wyżywienie.

Są jeszcze wolne miejsca, rejestrować się można na stronie: http://pl.pycon.org/2011/

W wersji demo możemy się sprawdzić w jednym zadaniu, którego stopień trudności określono na 1 gwiazdkę.

Teraz uwaga: wszystkich zainteresowanych rzeczywistym sprawdzeniem swoich umiejętności zapraszam na stronę Codility. Niżej znajdują się gotowe rozwiązania i nie ma sensu ich analizować zanim nie spróbuje się o własnych siłach zmierzyć z algorytmem.

Zadanie polega na stworzeniu funkcji, która zwraca tzw wartość equilibrium (oznaczymy jako i) dla danej tablicy. Jest to numer  indeksu tej tablicy, dla którego suma wartości o indeksach mniejszych od „i” jak i większych od „i” jest taka samą.

Jako, że najbardziej lubię język Python, mój algorytm przy pierwszym podejściu wyglądał tak:

def equi ( A ):
    dl = len(A)
    for i in range(0,dl):
        sumL = 0
        sumR = 0
        if i == 0:
            sumL = 0
        if i == dl - 1:
            sumR = 0
        for j in range(0, i):
                sumL+=A[j]
        for j in range(i+1, dl):
                sumR+=A[j]
        if sumL == sumR:
            return i
    return -1

Złożoność, jak można się spodziewać (pętla w pętli!) to O(n^2), czyli bez rewelacji. Nie przeszedł 4 ostatnich testów, dlatego ocena końcowa to 75/100.

No to przystępujemy do optymalizacji. Trzeba zmodyfikować algorytm.

def equi ( A ):
    dl = len(A)
    sum = 0
    prev = 0
    for i in A:
        sum += i
    for i in range(0,dl):
        sumL = 0
        sumR = 0
        if i == 0:
            sumL = 0
        else:
            prev += A[i-1]
            sumL = prev
        if i == dl - 1:
            sumR = 0
        else:
            sumR = sum - A[i] - prev
        if sumL == sumR:
            return i
    return -1

100 pkt i złożoność O(n) świadczy o tym, że wszystko jest tak jak być powinno

Zapraszam do dzielenia się spostrzeżeniami !

Aby było ciekawiej, program wyszukuje tekst w plikach pdf, czyli w najpopularniejszym formacie stosowanym przy publikacjach naukowych. Dzięki temu szybko zorientujesz się, jakie słownictwo przyda się najbardziej przy czytaniu danego tekstu i które braki warto uzupełnić. Myślę, że program, po niewielkich modyfikacjach znalazłby wiele innych zastosowań, swoje propozycje możesz wpisać w komentarzu.

Już na początku spotkałam się z problemem braku jakiejkolwiek biblioteki do Pythona jeśli chodzi o odczyt z plików pdf.  Niestety nie ma aktualnie żadnej opensource’owej biblioteki, jedyna dostępna – ReportLab, w wersji bezpłatnej może jedynie generować pdf-y, bez możliwości czytania ich zawartości.

Znalazłam inne rozwiązanie: pakiet xpdf

Zainstaluj pakiet xpdf (Ubuntu) wpisując w konsoli
sudo apt-get install xpdf
Dla pozostałych systemów jest również dostępny: http://www.foolabs.com/xpdf/download.html – pod precompiled binaries, z tym że zastrzegam, iż nie testowałam programu pod innym systemem poza Ubuntu.

Zakładam, że Pythona (ver. 2.6 +) już masz

Sercem skryptu jest słownik, którego kluczem jest znalezione słowo a wartością – jego liczba wystąpień w tekście.
Użycie xpdf-a nasŧepuje w linii 18, który tworzy plik txt, który następnie trzeba przetworzyć.
TopWords = 1000 definiuje liczbę słów, które chcesz zobaczyć w top.
Jak wywołać ten skrypt? jako parametr musisz podać ścieżkę katalogu, w którym masz swoje pliki pdf. Jako, że wyszukiwanie jest rekurencyjne, przetworzone zostaną również pliki w podkatalogach.

Przykładowe wywołanie:
python freq.py /home/justi/Pulpit/pdf
Rezultat działania znajdziesz w pliku result.txt w tym samym katalogu, z którego uruchomiono skrypt. Miłej zabawy

import subprocess
import sys
import re
import os

try:
    p1 = subprocess.Popen(
    ['find', sys.argv[1], '-type', 'f', '-name', '*.pdf'],
    stdout=subprocess.PIPE)

    output_str = p1.communicate()[0]
    output_str = output_str.split('\n')
    output_str.pop() #pozbywamy się zbędnego ostatniego wiersza
    dict = {}

    for file in output_str:
    try:
        p = subprocess.Popen(
        ['pdftotext', '-q', file, "temp.txt"],
        stdout = subprocess.PIPE).wait() #czekamy na koniec procesu

        f = open("temp.txt", 'r')

        words = re.split('\W+', f.read().lower())

        for w in words:
            if (len(w) > 3):
                if dict.has_key(w):
                    dict[w] += 1
                else:
                    dict[w] = 1
        f.close()

    except IOError as (errno, strerror):
        print "I/O error({0}): {1}".format(errno, strerror)

    os.remove(os.path.join(os.getcwd(), "temp.txt"))

    f = open("result.txt", 'w')

    TopWords = 1000
    for index, w in enumerate(sorted(dict, key=dict.get, reverse=True)):
        if index < TopWords:
            f.write(w + "  " + str(dict[w]) + "\n")
    f.close()

except IOError as (errno, strerror):
    print "I/O error({0}): {1}".format(errno, strerror)

Ściągnij plik: Note: There is a file embedded within this post, please visit this post to download the file.

Dzięki książce Python. Projekty do wykorzystania dowiesz się, jak przygotować swoje środowisko pracy i rozpocząć przygodę z językiem Python. (…) Na konkretnych, praktycznych projektach pokaże Ci, jak wykorzystać potencjał drzemiący w tym języku. Wśród przykładów znajdziesz opis takich zagadnień, jak wykonywanie migawek katalogów i plików, projektowanie katalogu filmów i systemu testującego wydajność WWW czy też tworzenie systemu gromadzenia opinii. Najważniejsze jest jednak to, że każde z tych rozwiązań możesz bez trudu zaadaptować do potrzeb Twojego projektu. Książka ta stanowi świetną lekturę zarówno dla zaawansowanych programistów Pythona, jak i tych, którzy chcą dopiero rozpocząć z nim pracę.

Do testów wybrałam język Python oraz kompilator Eclipse.

Problem:
Znaleźć minimalny i maksymalny element w tablicy n-elementowej.

Można to zrobić na 2 sposoby:

1) przechodząc po kolei po każdym elemencie tablicy zadecydować, czy przypisać go do min lub max. Złożoność tego algorytmu to ok. 2n
2) porównywać ze sobą 2 kolejne elementy i zadecydować który przypisać do min a który do max. Złożoność tego algorytmu to ok. 3*n/2 = 1,5n

Jak wynika ze wstępnych założeń, algorytm drugi powinien być o ok. 25% szybszy niż pierwszy.

Zapis w Pythonie:

Algorytm 1:

def algorytm1(tab):

        min = 0
        max = 0
        t1 = time.clock()

        for i in range(0,ilosc,1):
            if (tab[i] > max):
                max = tab[i]
            if (tab[i] < min):
                min = tab[i]
        t2 = time.clock()

        return t2-t1

Algorytm 2:

def algorytm2(tab):

        min = 0
        max = 0
        t1 = time.clock()

        for i in range(0,ilosc,2):
            if(tab[i] > tab[i+1]):
                if (tab[i] > max):
                    max = tab[i]
                if (tab[i+1] < min):
                    min = tab[i+1]
            else:
                if (tab[i+1] > max):
                    max = tab[i+1]
                if (tab[i] < min):
                    min = tab[i]
        t2 = time.clock()

        return t2-t1

Obie funkcje zwracają różnicę czasu pomiędzy momentem swojego startu i zakończenia.

Tablice testową program tworzy z losowo wybranych liczb typu całkowitego z przedziału od 1 do 1000. Wielkość tablicy przekazywana jest jako parametr tej funkcji.

def genTab(ilo):

        tablica = []

        for i in range(ilo):
            tablica.append(round(random.random() * 1000))

        return tablica

Cały program do ściągnięcia: Note: There is a file embedded within this post, please visit this post to download the file.

Program zwraca procentową różnicę czasu działania między algorytmem drugim a pierwszym. Jest to średnia z x prób (ostatnia pętla).

Wyniki zaprezentowane są na wykresie:

Jak widać, różnica w szybkości działania obu algorytmów jest tym bardziej widoczna, im większy jest rozmiar danych, (n-> nieskończoności).

Jeszcze wykres średniej procentowej wzrostu:

A gdyby nieco zoptymalizować kod algorytmu numer 2?

Dopisałam w nim 2 linijki kodu

            zm1 = tab[i]
            zm2 = tab[i+1]

po to, aby nie odwoływać się za każdym razem do samej tablicy (która może być stosunkowo duża), zamiast tego zrobić to raz, na samym początku.

Wyniki są ciekawe:

Dla dużych wartości n szybkość działania algorytmu drugiego względem pierwszego wzrosła z ok 20% do ok. 27,5%

Program po optymalizacji do ściągnięcia: Note: There is a file embedded within this post, please visit this post to download the file.

Książka „Python. Wprowadzenie. Wydanie III” stanowi kompletny i szczegółowy przewodnik po podstawach języka Python. Wiedza w niej zawarta umożliwia pełne zrozumienie tego języka, co pozwoli Ci pojąć dowolne przykłady kodu na poziomie aplikacji. Zwięźle i jasno przedstawione przykłady świetnie ilustrują poszczególne kwestie i problemy, co daje solidny fundament do praktycznego zastosowania świeżo nabytych umiejętności. W niniejszym — trzecim już — wydaniu znajdziesz nowy zestaw praktycznych wskazówek i porad, dobranych w taki sposób, aby obejmowały aktualne zalecenia i najlepsze praktyki programowania. Krótko mówiąc, ta książka ma wszystko, czego potrzebujesz, aby nie tylko dokładnie poznać język Python, ale także efektywnie z niego korzystać!

Książka „Python. Od podstaw” to podręcznik dla tych, którzy chcą opanować ten język i tworzyć w nim własne aplikacje. Dzięki niej poznasz wszystkie elementy Pythona i dowiesz się, na czym polega programowanie obiektowe. Nauczysz się przetwarzać dane tekstowe i liczbowe, tworzyć graficzne interfejsy użytkownika za pomocą GTK oraz łączyć aplikacje z bazami danych.

Note: There is a file embedded within this post, please visit this post to download the file.

Książka „Python. Receptury” to zbiór rozwiązań problemów, z jakimi w codziennej pracy borykają się programiści korzystający z tego języka. Materiały do niej przygotowało ponad 300 członków społeczności Pythona odpowiadających na pytania zadawane na forum internetowym. Rozwiązania zostały przetestowane w praktyce, co ułatwia ich zaimplementowanie we własnych projektach.

Note: There is a file embedded within this post, please visit this post to download the file.

Dzięki książce „Python. Rozmówki” błyskawicznie poznasz najważniejsze zwroty i konstrukcje oraz podstawy składni tego języka programowania. Nauczysz się między innymi wykonywać w aplikacjach operacje na łańcuchach i pracować z typami danych, a także pisać programy wielowątkowe i sieciowe. Dowiesz się, jak zarządzać plikami i przetwarzać je oraz jak obsługiwać bazy danych.

Note: There is a file embedded within this post, please visit this post to download the file.

]]> http://www.bioinformatyk.eu/index.php/programowanie/python/python-polecane-ksiazki.html/feed 0