日本全国避難所データと現在地周辺の避難所地図を公開しました

github

Data/shelter/pref at master · yutakikuchi/Data

公開地図

避難所マップ

pdftotextを利用した避難所YAMLファイルの生成

まずはpdfからtextに変換する為のツールであるpdftotextをCentOS6.4へinstallします。install後に国民保護ポータルサイトからpdfファイルをdownloadして、pdftotextコマンドを実行してみます。pdftotextにより標準出力されたデータを見てみるとちゃんと変換されていることが分かりますが、pdf中の表に入力された改行がそのまま改行として出力されています。改行が1つであれルール化できそうですが、2つ以上ある箇所は改行がメイン行の前後に出力されるので、そのようなデータを拾う事はここでは諦めました。拾いたい場合は人の目で判断する必要があると思います。
※pythonにはpdfをtext変換するpyPdf ライブラリもあるので、そちらを使っても良いと思います。

$ sudo yum install  poppler-utils -y
$ wget http://www.kokuminhogo.go.jp/pdf/hinan_hokkaido.pdf
$ pdftotext -enc UTF-8 -layout -nopgbrk hinan_hokkaido.pdf - 
 46    円山公園                     札幌市     円山西町8丁目 
                                    宮の森1〜2条14丁目他
 47    旭山記念公園                   札幌市     中央区界川４丁目
                                    中央区中島公園
 48    中島公園                     札幌市     南14条西５丁目
                                    南15条西４丁目

YOLP(地図):Yahoo!ジオコーダAPI - Yahoo!デベロッパーネットワーク
Google Geocoding API - Google Maps API ウェブ サービス ― Google Developers

次に以下のPythonコードを実行して、各都道府県の避難所データをYAMLに変換します。生成するYAMLのデータ形式は 都道府県 - 市区町村 - 番地名 - ( 緯度経度 / 場所名[配列] )の4階層になっています。 緯度経度のデータを取得にはYahoo!のジオコーダーAPIを利用しました。Googleのジオコーダーを利用したかったのですが、APIへのリクエスト数上限に引っかかり、OVER_QUERY_LIMITというエラーが頻発するのでYahoo!を使いました。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# 避難所データの構造化テキスト作成
# shelter.pyとして保存する
import os,sys,time,re,urllib,urllib2,yaml,json,unicodedata,time
url = 'http://www.kokuminhogo.go.jp/hinan/index.html'
opener = urllib2.build_opener()
ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.51.22 (KHTML, like Gecko) Version/5.1.1 Safari/    534.51.22'
referer = 'http://www.kokuminhogo.go.jp/'
opener.addheaders = [('User-Agent', ua),('Referer', referer)]
appid = 'Yahoo!' # yahooapiのappidをここに定義
try:
   html = unicode(opener.open(url).read(), 'cp932') 
   if re.compile(r', re.M).search(html) is not None:
  data = re.compile(r', re.M).findall(html) 
  # pdf download
  for line in data:
     dict = {}
     os.system('wget http://www.kokuminhogo.go.jp' + line[0].replace('..', ''))
     # pdftotext
     textfile = line[0].replace('../pdf/', '').replace('.pdf', '.txt')
     os.system("pdftotext -enc UTF-8 -layout -nopgbrk %s - | sed '/^$/d' | sed 's/^ \+//g' | sed 's/ \{2,\}/\t/g' | sed 's/ //g' | grep '^[0-9]\+'$'\t' | cut -f 2,3,4 | awk '{ print $2%s$3%s$1}' > %s" % (line[0].replace('../pdf/', ''), '"\t"', '"\t"', textfile))
     f = open(textfile, 'r')
     for node in f.readlines():
        (mun,adr,name) = node.rstrip().split("\t")
        if mun == '' or adr == '' or name == '' or name == '/':
           continue
        mun = unicodedata.normalize('NFKC', unicode(mun, 'utf-8'))
        adr = unicodedata.normalize('NFKC', unicode(adr, 'utf-8'))
        name = unicodedata.normalize('NFKC', unicode(name, 'utf-8'))
        dict.setdefault(line[1], {}).setdefault(mun, {}).setdefault(adr, {}).setdefault('name', [] )
        # geoencoding
        #url = "http://maps.googleapis.com/maps/api/geocode/json?address=%s&sensor=false" %(urllib.quote_plus(mun.encode('utf-8') + adr.encode('utf-8')))
        latlng = ''
        try:
           time.sleep(0.2)
           url = 'http://geo.search.olp.yahooapis.jp/OpenLocalPlatform/V1/geoCoder?appid=%s&query=%s&output=%s' % (appid, urllib.quote_plus(mun.encode('utf-8') + adr.encode('utf-8')), 'json')
           res = json.loads(opener.open(url).read())
           if (res['ResultInfo']['Status'] == 200 and res['ResultInfo']['Count'] > 0 ):
              (lng,lat) = res['Feature'][0]['Geometry']['Coordinates'].split(',')
              latlng = lat + ',' + lng
           dict[line[1]][mun][adr]['latlng'] = latlng
           dict[line[1]][mun][adr]['name'].append(name)
        except urllib2.URLError:
           dict[line[1]][mun][adr]['latlng'] = latlng
           dict[line[1]][mun][adr]['name'].append(name)
           continue
     f.close()
     # yaml generator
     savefile = open(textfile.replace('.txt', '').replace('hinan_', '') + '_shelter.yaml', 'w')
     yaml.safe_dump(dict, savefile, default_flow_style=False, encoding='utf8', allow_unicode=True)
except Exception, e:
exc_type, exc_obj, exc_tb = sys.exc_info()
fname = os.path.split(exc_tb.tb_frame.f_code.co_filename)[1]
print(exc_type, fname, exc_tb.tb_lineno) 

# 都道府県名:
  # 市区町村名:
 # 番地名:
    # latlng:
    # name:
    # - 場所名
    # - 場所名

東京:
  あきる野市:
上代継190:
  latlng: 35.72992747,139.27797845
  name:
  - あきる野市立西中学校校庭
  - あきる野市立西中学校体育館