Publicznie dostępne dane

W tym temacie postaram się zbierać i opisywać dostępne zbiory danych w regionie małopolskim. Rozpoczynamy tym samym nieskończoną prace identyfikacji, opisu a nastęnie normalizacji (o ile będziemy mogli to zrobić) danych.

Chciałbym również, żeby pojawiały się tu zbiory danych przetworzone w trakcie hackathonów do późniejszego wykorzystania.

Każdy zbiór opisany będzie w następujący sposób:

  • Nazwa
  • Opis
  • Opis słowny
  • Ostatnia aktualizacja
  • Właściciel
  • Technicznie
  • Namiary na bazę
  • Rozmiar
  • Sposób pobrania
  • Technologia
  • Znane parsery
  • Tagi

Zobaczymy co z tego powstanie. Na poczatek zabieramy się za zbiory danych już wcześniej wykrozystane podczas hackathonów

Zapraszam do wspólnej zabawy :smile:

2 polubienia

Dane transportowe z MPK przetworzone przez http://poloko.pl Można od nich embeddować wyszukiwarkę:

http://poloko.pl/#/poloko/pl/group/8

A także są otwarci na współpracę przy wykorzystaniu API:

http://transitart.io/pl/api-pl/

Trzeba by się do nich odezwać, ustalić szczegóły i opcje dostępu (komercyjnie, niekomercyjnie…)

2 polubienia

Publicznie dostępne dane przestrzenne Krakowa

Miejski System Informacji Przestrzennej (vel “Obserwatorium”)

Podstawowym zasobem jest tutaj Miejski System Informacji Przestrzennej (MSIP), który polecam odwiedzić na początku - pozwala on szybko zorientować się, jakie geo-warstwy są dostępne i sprawdzić wizualnie, czy coś zawierają. Warstwy włączamy/wyłączamy specjalnym menu. Tamże, korzystając z przycisku z małym trójkątem w dół (po prawej stronie nazwy warstwy) można zobaczyć “Opis” warstwy, gdzie dowiadujemy się, skąd serwowane są dane. Za MSIP odpowiada Wydział Geodezji Urzędu Miasta Krakowa.

Dla przykładu, dla warstwy o nazwie “Nieruchomości na sprzedaż” adres źródła danych to: http://msip.um.krakow.pl/rest/services/GS_PRZETARGI/MapServer (więcej o zawartości tej strony poniżej). Choć nie ma takiej gwarancji(*), zazwyczaj w ten sposób trafiamy w tzw. katalog warstw krakowskiego sytemu ArcGIS. W niektórych sytuacjach (np. warstwa “Zagospodarowanie”) trafimy w 400. Dotyczy to warstw bitmapowych (tzw. tiles) i chyba związane jest z zablokowaniem dostępu do części katalogu warstw serwera ArcGIS. Wysłałem zapytanie do WG UMK aby to wyjaśnić. Póki co, można próbować adres do takiej warstwy uzyskać podglądając wysyłane zapytania w konsoli przeglądarki.

Uwaga: przyciskiem “Zmiana kompozycji” możemy przełączyć się pomiędzy 4 różnymi mapami tematycznymi, z innym zestawem prezentowanych warstw.

(*) Tego typu geoportal potrafi wizualizować dane z wielu tzw. WMS (Web Map Service) - można nawet dodać ad hoc własny - oczywiście dodane warstwy będą widoczne tylko we własnej przeglądarce.

Katalog warstw miejskiego ArcGISa

Znajdujemy go pod adresem: http://msip.um.krakow.pl/arcgis/rest/services. Jest to wersja 10.05 serwera(***). Warstw jest sporo, poniżej zamieszczam wykaz - dla wygody użytkowników forum oraz dla zrobienia kopii, na wypadek, gdyby oryginalny wykaz zablokowano.

Zagadnienia techniczne:

  • Namiary na bazę: używamy URLa warstwy (np. http://msip.um.krakow.pl/arcgis/rest/services/GS_PRZETARGI/MapServer) dodając na końcu numer warstwy (np. /0)
  • Rozmiar: różny, w zależności od warstwy i zakresu query, jaki wystosujemy (wielkość pola powierzchni obszaru)
  • Sposób pobrania: można “ręcznie” (biblioteką http) lub dedykowaną biblioteką w wybranym języku - ja używałem leaflet.js i działało bez zarzutu(***); mój kod, gdyby ktoś chciał podpatrzeć - dla warstwy wektorowej (tzw. Feature Layer, w nomenklaturze OGC)
  • Technologia: jest to tzw. WFS (Web Feature Service) - standard rozprzestrzeniania danych geo, który jest b. dobrze wspierany przez wiele bibliotek w różnych językach; dane zwracane są w JSONie, a sama geometria w wektorze
  • Znane parsery: raczej nie ma potrzeby parsować “ręcznie” w języku, lepiej użyć specjalizowanej biblioteki; “na szybko” można sobie obejrzeć warstwę wektorową poprzez prosty “viewer” ArcGISa, dodając do URLa warstwy parametr “?f=jsapi”, np. http://msip.um.krakow.pl/arcgis/rest/services/K18-INWESTYCJE/MapServer?f=jsapi

Zawartość katalogu(****):

  • Decyzje WZ (o warunkach zabudowy) oraz pozwolenia budowlane
  • Przewody i urządzenia telekomunikacyjne
  • Ortofotomapa Krakowa 2011
  • Granice administracyjne i dzielnice
  • Miejscowe plany zagospodarowania przestrzennego (kontury planów i uchwalone strefy szczegółowe)
  • Numery adresowe, Działki, Budynki, Jednostki ewidencyjne, Obręby
  • Użytki gruntowe, Klasy bonitacyjne
  • Nieruchomości Gminy i Skarbu Państwa na sprzedaż
  • Zestaw map historycznych (4 z XVIII w., 2 z XIX w., 4 z XX w.)
  • Infrastruktura ciepłownicza, elektroenergetyczna, gazociągowa, wodociągowa, kanalizacyjna, telekomunikacyjna, inne sieci
  • Struktura własności
  • Nazwy ulic, Stacje kolejowe, Linie kolejowe, Ulice, Ważniejsze drogi, Stacje KMK Bike, Tramwaj wodny - przystanki, Stanowiska cumownicze, Port lotniczy, Linie tramwajowe, Strefy parkowania
  • Wybory (4: europarlamentarne, samorządowe, prezydenckie, parlamentarne)
  • Budynki Urzędu Miasta Krakowa, Publiczne punkty Hot Spot WiFi, Zasięgi publicznych punktów Hot Spot WiFi
  • Hydrografia: Zbiorniki wodne, Cieki wodne
  • Demografia - Liczba mieszkańców
  • Edukacja: Zespoły szkół i placówek oświatowych, Gimnazja, Inne placówki, Internaty i bursy, Licea, MDK, Poradnie, Przedszkola, Szkoły muzyczne, Szkoły podstawowe, Szkoły policealne, Szkoły przysposabiające do pracy, Technika, Zasadnicze szkoły zawodowe, Żłobki
  • Edukacja niepubliczna: Zespoły szkół niepublicznych, Przedszkola niepubliczne, Szkoły podstawowe niepubliczne, Gimnazja niepubliczne, Licea niepubliczne, Szkoły policealne niepubliczne, Technika niepubliczne, Zasadnicze szkoły zawodowe niepubliczne, Inne placówki niepubliczne, Żłobki niepubliczne i kluby dziecięce
  • Zdrowie: Hospicja, Szpitale, Apteki całodobowe, Uzdrowisko Swoszowice
  • Decyzje zasadzenia i usunięcie zieleni (po 4 warstwy 2012 - 2015)
  • Posterunki policji, Zasięgi komisariatów
  • Biblioteki
  • Obszary inwestycyjne, Inwestycje (brak szczegółów - “z wyglądu” warstwy, głównie drogowe)
  • Zabytki: Obszary Urbanistyczne, Miasto Pomnik, Strefy Nadzoru Archeologicznego, Architektura i Budownictwo, Mała Architektura, Archeologia, Urządzenia Techniki, Zieleń i Obszary
  • Roślinność: Rośliny chronione, Zdjęcia fitosocjologiczne, Waloryzacja, Wydzielenia
  • Obiekty Noclegowe - Rodzaj, Dostępność, Ilość miejsc
  • Rejestr cen - lokale niemieszkalne, garaże, lokale mieszkalne; lata 2006 - 2014
  • Geologia: Ruchy masowe - Nasypy, Ruchy masowe - Osuwiska, Spadki terenu >= 12%, Złoża kopalin, Górniczy obszar, Górniczy teren, Ujęcia wód powierzchniowych, Ujęcia wód podziemnych
  • Emisja, imisja, przekroczenia progów hałasu - drogi, tramwaj, przemysł, kolej
  • Ekrany akustyczne
  • Jednostki MOPS
  • (MPEC) Ciepło: Stacje wymienników ciepła, Źródła ciepła, Sieć ciepłownicza MPEC
  • Rzeźba terenu
  • Lokalne Programy Rewitalizacji
  • Stacje bazowe GSM, Stacje bazowe GSM - kierunki

(***) Z interfejsowaniem warstw tego ArcGIS są jednak pewne problemy techniczne. Po pierwsze, że względu na starszą wersję serwera, nie ma odblokowanego CORS - trzeba używać starej techniki JSONP, która jest dużo mniej efektywna (ściąganie dużych bloków informacji nadmiarowej). Dodatkowo, dane nie są serwowane przez HTTPS, więc jeśli ktoś ma aplikację szyfrowaną, przeglądarki użytkowników będą zgłaszać tzw. mixed content (i np. nie wyświetlać w ogóle warstwy, dopóki użytkownik nie włączy wyjątku). Tutaj rozwiązaniem może być proxowanie zapytań przez własny serwer, aby “uzyskały” szyfrowanie. Oba problemy zgłosiłem kilka miesięcy temu, ale gdzieś “utknęło” ;).

(****) Niewątpliwie w katalogu jest troszkę naśmiecone - wiele kategorii danych pojawia się w różnych warstwach. Lepiej wygląda to na samym geoportalu MSIP, gdyż tam śmieci są “odfiltrowane”.

Podsumowując chciałem zaznaczyć, że powyższe zasoby udało mi się użyć praktycznie do tworzenia własnego prototypu, ale zanim ktoś z Was będzie chciał wykorzystać je w trybie produkcyjnym, lub nawet komercyjnym, radzę wcześniej porozumieć się z odpowiednimi osobami w UMK (np. spróbować w Wydziale Geodezji) aby upewnić się, że regulamin MSIP dopuszcza takie użycie umieszczonych tam danych przestrzennych.

Małopolska Infrastruktura Informacji Przestrzennej (MIIP)

Małopolska Infrastruktura Informacji Przestrzennej (MIIP) jest usługą prezentującą zestaw danych przestrzennych dla obszaru całej Małopolski. Choć jest to inna wersja geoportalu niż MSIP, zasadnicze funkcje są podobne:

  • w lewym-górnym rogu, po najechaniu myszą, możemy zmieniać różne tryby tematyczne mapy, np. oglądnąć obwody łowieckie ;). W zależności od trybu są nam prezentowane określone zestawy warstw. Same warstwy włączamy/wyłączamy w okienku dialogowym “Key” (być może trzeba je wcześniej “rozwinąć”). Co interesujące, MIIP serwuje też niektóre warstwy z ArcGIS MSIP (np. plany zagospodarowania przestrzennego).

Portal skrzętnie ukrywa źródło danych (przynajmniej ja nie znalazłem w UI żadnej informacji), ale z konsoli przeglądarki możemy zdobyć odpowiedni adres. Ogólna lista danych dostępnych w serwisie: http://www.geomalopolska.pl/index.php?option=com_content&view=article&id=53&Itemid=69. Przeklejam poniżej dla zachowania (proponuję weryfikować dostępność danych, które nas interesują - poniższa lista może nie być aktualna):

DANE OGÓLNE:

· BDOT (Baza Danych Obiektów Topograficznych)
· BDOT10k (Baza Danych Obiektów Topograficznych 10k)
· Dostosowanie budynków użyteczności publicznej dla osób z niepełnosprawnością ruchową w Krakowie
· Struktura przestrzenna obszarów wiejskich
· Topografia
· VMap
· Ortofotomapa
· Sozologia
· Hydrografia
· Mapa glebowo-rolnicza
· Skorowidze WODGiK
· Plany miejscowe
· Własna kompozycja - umożliwia stworzenie własnej mapy z dostępnych serwisów
· Moduł statystyczny

DANE TEMATYCZNE:

· Obręby ochronne w granicach obwodów rybackich
· Obwody łowieckie
· Aglomeracje wodne
· Projekt POPH+Mapy akustyczne
· Program Ochrony Powietrza
· Mapa emisji zanieczyszczeń
· Mapa akustyczna
· Źródła promieniowania elektromagnetycznego
· Gospodarka odpadami
· Ochrona przyrody
· Szlaki tematyczne
· Turystyka kwalifikowana
· Obiekty turystyczne
· Szlaki turystyczne - Bukowina Tatrzańska
· Hydrogeoróżnorodności Województwa Małopolskiego
· Produkty regionalne i tradycyjne
· Szpitale
· Specjalna Strefa Ekonomiczna
· Nieruchomości województwa
· Przystanki
· Stacje referencyjne GNSS

DANE POWIATOWE:

· M. Kraków - Mapa geodezyjna
· M. Kraków - Struktura własności gruntów
· M. Kraków - Plany Zagospodarowania Przestrzennego
· M. Kraków - Mapa Akustyczna
· powiat suski - Osnowa geodezyjna

Uwagi:

  • w odróżnieniu od MSIP, katalog warstw (services) MIIP jest zablokowany: http://miip.geomalopolska.pl/arcgis/rest/services
  • regulamin MIIP wprost zakazuje użycia zautomatyzowanego (punkt 7b regulaminu), zakazane jest też użycie komercyjne (punkt 5 regulaminu), przy czym nie jest dla mnie jasne, czy odnosi się to także do samych źródeł danych, czy tylko do geoportalu
  • w związku z powyższymi, należałoby zapewne uzyskać odpowiednie zgody/wyłączenia/bojawiemco od administratorów tych zasobów danych, przed wdrożeniem aplikacji wykorzystującej te dane.

Krzysiek - Dzięki, dodam do listy
Tomek - Zielone światło.

Na ten moment skończyłem. Jeśli będzie zainteresowanie tymi danymi, to będę szukał/pomagał dalej.

  • Nazwa - BIHAPI API
  • Opis
  • mapa_utrudnien
  • zdarzenia_drogowe
  • wyszukiwarka_drog
  • mapa_egib
  • mapa_bdot
  • mapa_gesut
  • cmentarze
  • punkty_infokrakow.
  • mapa_wifi
  • apteki
  • baseny
  • hotel
  • mapa_wifi
  • konsulaty
  • kultura
  • restauracje szpitale
  • trasa_turystyczna_jpii
  • Technicznie
    Opis jak pobrać znajduje się w pdf po wybraniu odpowiedniej kategorii
    http://www.bihapi.pl/for-developers/

Nie wiadomo czy te dane z BiHAPI będą dostępne także po zakończeniu konkursu?

Niestety, nie wiadomo. Co więcej, są to tylko pozornie otwarte dane, gdyż dostęp do nich mają jedynie uczestnicy konkursu - wklejam oficjalną odpowiedź Orange do mojej prośby o login i hasło:

W założeniach konkursu login i hasło otrzymują osoby, których pomysły na aplikację zostały zakwalifikowane do drugiego etapu konkursu - etapu developmentu. Z metodą wywołania API oraz kształtem zwracanych danych można się było zapoznać na rozgrzewkach, które organizowaliśmy w każdym z miast partnerskich.

Podejrzewam, że część tych danych można też odszukać na serwisach oficjalnych, ale do linków w domenie bihapi trzeba mieć hasło.

Wracając do tematu - UMWM będzie tworzył system Open Data - jest szansa, że znajdą się tam otwarte dane nie tylko UM, ale także gminne, w tym pewnie także dane udostępnione dla konkursu BIHAPI.