GeoJava

De Lillois Fractale Wiki
Aller à la navigation Aller à la recherche
La version imprimable n’est plus prise en charge et peut comporter des erreurs de génération. Veuillez mettre à jour les signets de votre navigateur et utiliser à la place la fonction d’impression par défaut de celui-ci.

 

Intro

PG souhaite développer une application java manipulant des données géographiques planétaires.

Ce n'est pas une mince affaire car:

  • les données sont très volumineuses
  • il est indispensable de mettre en place une architecture client serveur
  • les structures de données ne sont pas évidentes
  • Il faudrait pouvoir accéder à un bon niveau de détail sur n'importe quelle zone de la planète.
  • la configuartion des multiples composants impliqués est lourde.


Projects key components

Various system components and web-downloadable data, listed below.

Besides that, the specific productions of pge are

  • The directory with the key data /media/Shared/server.geo/
  • This wiki file (GeoJava)
  • The script osmExtract (output example)
  • The osm extraction style file osm2pgsql.pge.style
  • And the big part (java sources): the java project gwtApp/'CeMap' (CeMap, centered Map) available in eclipse.

Données à intégrer

Voici ce qui serait utile (le fichier style est à adapter pour ces limites):

  • Contour des pays
  • Contour des océans et étendues d'eau
  • Nom des villes
  • Nom des rues
  • Plus ?!? ... plus tard.

 



Matière première: les données OSM

Le fichier global dont tout sera extrait est planet-170306.osm.pbf (170306 pour YYMMDD).

Le format PBF est le moins encombrant.

Le fichier est placé dans /media/Shared/server.geo

Ce fichier assez volumineux peut être téléchargé sur le site d'OpenStreeMap (OSM).

Voir aussi la commande osmupdate et les autres commandes osmXXX.

osmium fileinfo /media/Shared/server.geo/planet-*.osm.pbf

Les données d'SOM sont considérables en taille (voir OpenStreetMap stats report run at 2017-05-21 at http://www.openstreetmap.org/stats/data_stats.html)

Number of uploaded GPS points

5696 M

Number of nodes

3894 M

Number of ways

412 M

Number of relations

4995 K

The number of ways is the heaviest regarding OSM conversion.

The tag list and comments is on http://wiki.openstreetmap.org/wiki/Map_Features .

Tag related stats are in https://taginfo.openstreetmap.org/keys .

Base de données : PostGres

La commande pour utiliser postgres interactivement est psql (installé normalement en standard au sein d'ubuntu - otherwise sudo apt-get install postgresql).

Il faut définir (administration) un utilisateur/rôle pge.

Pour donner l'accès à MMM (192.168.100.66) il est nécessaire d'ajouter la ligne:

 host    all             all             192.168.100.66/32       md5

..  au fichier /etc/postgresql/9.5/main/pg_hba.conf, mais aussi d'ajouter

listen_addresses = '*'

..  au fichier /etc/postgresql/9.5/main/postgresql.conf . En outre l'emplacement des données peut être adapté aux disques disponibles:

# data_directory = '/var/lib/postgresql/9.5/main'        # use data in another directory
data_directory = '/media/Server/postgresql/9.5/main'     # (PGE) 

Ce genre de changement requiert un restart du serveur postgres:

sudo service postgresql restart

Il faut créer la base de données gis: 

sudo -u postgres psql
CREATE USER pge SUPERUSER;
ALTER USER pge WITH PASSWORD 'XXXXXX';
CREATE DATABASE gis;

Il faut aussi que le package postgis soit installé (sudo apt install postgis).

Au sein de postgres (en tant que pge) il faut installer les extensions HSTORE et POSTGIS:

psql -d gis
LOAD EXTENSION HSTORE ;
LOAD EXTENSION POSTGIS ;

And possibly more (see www.postgis.net/install):

-- Enable PostGIS (includes raster)
CREATE EXTENSION postgis;
-- Enable Topology
CREATE EXTENSION postgis_topology;
-- Enable PostGIS Advanced 3D 
-- and other geoprocessing algorithms
-- sfcgal not available with all distributions
CREATE EXTENSION postgis_sfcgal;
-- fuzzy matching needed for Tiger
CREATE EXTENSION fuzzystrmatch;
-- rule based standardizer
CREATE EXTENSION address_standardizer;
-- example rule data set
CREATE EXTENSION address_standardizer_data_us;
-- Enable US Tiger Geocoder
CREATE EXTENSION postgis_tiger_geocoder;

Il peut en outre être utile de vérifier la base de données gis dans postgres avec l'outil pgadmin3 (Si nécessaire : sudo apt install pgadmin3).

Optimisation des performances:

ALTER SYSTEM SET work_mem TO "128MB";
ALTER SYSTEM SET maintenance_work_mem TO "512MB";
SHOW work_mem;
SHOW maintenance_work_mem;

It may be necessary to restart  the postgresql service.

Pour un accès à partir d'autres machines: 

psql --version
psql -h MMU -U pge -d gis

Chargement des données OSM dans PostGres

sudo apt-get install osm2pgsql # installation du package de conversion ad hoc

l'exécutable est /usr/bin/osm2pgsql

ce qui est extrait vers postgres est défini dans un fichier de configuration:

  • version par défaut /usr/share/osm2pgsql/default.style
  • version pour les besoins de pge : /media/Shared/osm2pgsql.pge.style (fichier précieux à adapter selon besoins)
  • use this command to compare them :
diff /usr/share/osm2pgsql/default.style /media/Shared/osm2pgsql.pge.style

la commande à exécuter est (osm2pgsql avec tous les arguments ad hoc) dans le script osmExtract.

L'exécution de cette commande peut prendre des heures...

 



Checking data content with qgis

Aec qgis, on dispose d'un exécutable interactif disponible sous linux. L'installation est obtenue avec (sudo commands):

  • add-apt-repository ppa:ubuntugis/ubuntugis-unstable
  • apt install qgis python-qgis qgis-provider-grass libgdal-dev

La doc en ligne de qgis est ici.

La version sous Ubuntu n'est probablement pas la plus récente.

Le programme est très lent lorsqu'un layer est chargé (par exemple 'planet_osm_line').

Il permet notamment de lire une base postgis, et donc de vérifer les données préalablement exportées avec osmExtract.

Paramètres d'accès:

  • Name: gis
  • Service:
  • Host: MMU
  • Port: 5432
  • SSL mode: disable
  • Username: pge
  • Password: XXXXXXXX

Java access to postgis (gis data in postgres DB)

See https://postgis.net/docs/

Java clients can access PostGIS "geometry" objects in the PostgreSQL database either directly as text representations or using the JDBC extension objects bundled with PostGIS. In order to use the extension objects, the "postgis.jar" file must be in your CLASSPATH along with the "postgresql.jar" JDBC driver package.

Ces deux jars ddoivent être copiés dans $jnb/lib.