Wydawnictwo O’Reilly oferuje ok. 100 darmowych książek z dziedziny analizy danych i data science pod adresem: http://www.oreilly.com/data/free/archive.html.

SearX to kolejna metawyszukiwarka na rynku. Dlaczego warto po nią sięgnąć?

• Zapytania użytkownika są anonimowe, więc znika problem „bańki informacyjnej” polegającej na dopasowywaniu wyników do profilu użytkownika określonego na podstawie wcześniejszych wyszukiwań, oglądanych w internecie treści, dokonywanych zakupów itp.
• Zapytanie jest wykonywane na ponad 70 usługach online, w tym Google, Bing, DuckDuckGo, Wikipedia, Reddit itp.
• Można łatwo ograniczyć wyniki do zadanego języka (jest polski), a nawet do jednej z kategorii: General (domyślnie), Files, Images, IT (tutaj szuka w usługach typu GitHub, StackOverflow itp.), Map, Music, News, Social Media, Videos.
• Algorytm działania wyszukiwarki jest jawny: projekt jest otwartoźródłowy i dostępny na GitHubie.
• Widać sporo udogodnień znanych z wyszukiwarki Google, np. panel informacyjny z definicją pojęcia z Wikipedii, sugerowane podobne zapytania itp.

Ogólnie, wydaje się że warto co jakiś czas przyglądać się metawyszukiwarkom ponieważ z upływem czasu stają się coraz bardziej atrakcyjne i konkurencyjne na rynku. Przykładowo wyszukiwarka DuckDuckGo może przyjemnie zaskoczyć kogoś kto zaglądał do niej dawno temu.

Wprowadzenie

Urządzenia wchodzące w skład IoT cechują: mały rozmiar, niskie zapotrzebowanie na energię, łączność bezprzewodowa, wbudowana pamięć (połączenie nie musi być ciągłe).

Aby firmy mogły w pełni czerpać korzyści z potencjalnych strumieni danych dostarczanych w czasie rzeczywistym, muszą stworzyć kulturę opartą na podejmowaniu decyzji na podstawie danych. Czyli firmy będą musiały podążać tam, gdzie prowadzą je dane, a niekoniecznie tam, gdzie powinny się kierować zdaniem konserwatywnych kadr kierowniczych.

Bluetooth i Bluetooth Smart

Moduły Bluetooth są bardzo małe, o wiele mniejsze od modułów Wi-Fi, mają zasięg do 10m i zużywają bardzo mało prądu, co sprawia, że są idealne do miniaturowych czujników IoT. Miniaturowa, domowa sieć połączonych w ten sposób urządzeń (personal area network, PAN) nazywana jest „piconetem”. W piconecie jedno z urządzeń Bluetooth ma przypisaną rolę master i może obsługiwać do 8 urządzeń slave. Specjalnie dla IoT stworzono odmianę Bluetooth o nazwie Bluetooth Smart – cechuje ją zredukowane zapotrzebowanie na energię (wystarczą baterie pastylkowe), mniejsza prędkość przesyłania i większy zasięg (do 100m).

Sieci o topologii siatki

Sieć typu mesh zawiera urządzenia pełniące rolę nie tylko nadawców i odbiorców, ale również przekaźników (ang. repeater). W takiej sieci nie istnieje żadne centrum, a awaria pojedynczego urządzenia nie powoduje awarii sieci – sygnał znajdzie inną drogę korzystając z połączeń z pozostałymi urządzeniami. Istnieje wiele protokołów tego typu, na ogół niekompatybilnych ze sobą, najpopularniejsze to INSTEON, Z-Wave i ZigBee.

Sieci komórkowe

Francuska firma Sigfox do stworzenia własnej sieci komórkowej dla IoT wykorzystuje własną wersję technologii radiowej z I wojny światowej, dzięki której załogi łodzi podwodnych mogły komunikować się ze sobą pod wodą. Technologia ta pozwala na przesyłanie bardzo małych kawałków danych – przypominających alfabet Morse’a – na relatywnie duże odległości z niewielką prędkością (100bps). Dzięki korzystaniu z pasma 900 MHz zamiast wyższych częstotliwości typowych dla dzisiejszych operatorów komórkowych, Sigfox może rozmieszczać swoje maszty w większych odległościach i z wyraźnie niższym zapotrzebowaniem na energię. Firma buduje obecnie sieci w Wielkiej Brytanii, Holandii, Rosji i Hiszpanii, a także USA. Specjalizuje się w sieciach przemysłowych. W Hiszpanii jej sieć łączy kilkadziesiąt milionów domowych systemów zabezpieczeń. We Francji sieci Sigfox są używane do zapewniania połączeń między wodomierzami, elektronicznymi billboardami, a także urządzeniami monitorującymi dla seniorów.

Inną firmą tworzącą własne sieci komórkowe IoT jest Iotera (na potrzeby urządzeń do śledzenia lokalizacji dzieci i zwierząt domowych).

Czytaj więcej »

Przystępną wizualizację dostarcza serwis wrut.pl/ssc Pełny ekran.

Centralny Ośrodek Dokumentacji Geodezyjnej i Kartograficznej (CODGiK) w dziale Dane bez opłat udostępnia za darmo bazę punktów adresowych, dość często aktualizowaną (nawet co kilka dni).

Najważniejsza jest w niej tabela PunktAdresowy (przeszło 7 mln rekordów), o następującej strukturze (wymieniłem najciekawsze kolumny):

PunktAdresowy
wojewodztwo
powiat
gmina
miejscowosc
ulica
numerPorzadkowy	numer budynku
kodPocztowy	wypełniony w ok. 75% rekordów
status	wartości: istniejacy (97,64%), prognozowany (1,9%), wTrakcieBudowy (0,46%)
gps	współrzędne punktu na mapie (w układzie EPSG:2180)

W bazie jednak jest więcej. Każdy punkt adresowy zawiera dowiązania do rekordów w tabelach JednostkaAdministracyjna (kraj/województwo/powiat/gmina), Miejscowosc oraz Ulica. Struktura tych tabel jest następująca (pola wypełnione są w 100% chyba że napisano inaczej):

JednostkaAdministracyjna
nazwa
idTERYT	kod TERC
poziom	1: państwo, 2: województwo, 3: powiat, 4: gmina
Miejscowosc
nazwa
idTERYT	kod SIMC
gps	współrzędne punktu na mapie, wypełnione w ok. 11% rekordów
Ulica
idTERYT	kod ULIC
przedrostek1Czesc	np. "pl.", "al."
przedrostek2Czesc	np. "ks."
nazwaCzesc	np. "Jerzego"
nazwaGlownaCzesc	np. "Popiełuszki"
posList	lista punktów GPS wyznaczających przebieg ulicy na mapie; wypełnione w ok. 6%

Ujęty w rekordach tabel JednostkaAdministracyjna i Miejscowosc podział administracyjny kraju możemy sobie wyobrazić jako drzewo (w korzeniu będzie rekord POLSKA, potem województwa, powiaty, gminy i miejscowości). Ten model nie rozciąga się jednak na ulice. Każda ulica w kraju jest reprezentowana w tabeli Ulica jako jeden obiekt. Jedna ulica może przebiegać przez kilka miejscowości (sąsiadujących ze sobą). Punkt adresowy oczywiście ma dowiązanie do jednej miejscowości i (zwykle) do jednej ulicy (na wsiach adres pocztowy często zawiera tylko nazwę miejscowości i numer domu).

Przetwarzanie bazy

Do pobrania ze strony CODGiK jest duży (ok. 700 MB), spakowany plik punkty_adr.zip zawierający 16 plików XML (dokładniej: GML) po jednym dla każdego województwa, po rozpakowaniu ok. 16 GB. Format XML dobrze się nadaje do udostępniania zbioru danych innym, ale gdyby ktoś chciał zaimportować dane do relacyjnej bazy danych, to może skorzystać z efektów mojej pracy. Napisałem program w Javie, który konwertuje pliki XML do jednego pliku bazy danych SQLite o objętości ok. 3 GB.

Program wywołujemy poleceniem

./run.sh KATALOG

Gdzie KATALOG to nazwa katalogu, w którym rozpakowaliśmy pliki XML. Wynik po kilkunastu minutach pojawia się w pliku PRG.db, który możemy eksplorować za pomocą standardowego klienta SQLite:

sqlite3 PRG.db