データマイニングで覗く高校偏差値の地域格差：偏差値65以上の高校分布調査

スクレイピングで全国の進学校を捕捉する

#pip install requests beautifulsoup4

 
            
get_link_list.py

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse

def extract_links(base_url):
    # HTMLを取得
    response = requests.get(base_url)
    if response.status_code != 200:
        print(f"Failed to fetch {base_url}")
        return

    html_content = response.text
    soup = BeautifulSoup(html_content, "html.parser")

    # 学校詳細のリンクを取得
    for name in soup.select('div.mod-listRanking-name a') :
        if ( name['href'] ) :
            print(name['href'])

if __name__ == "__main__":

    base_url = 'https://www.minkou.jp/hischool/ranking/deviation/';

    for i in range(36) :
        if ( i == 0 )  :
            extract_links(base_url)
        else:
            extract_links(base_url + "page=" + str(i+1) + "/")

 
            
get_hs_list.py

import sys
import re
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse

def fetch_page_and_assets(base_url):
    # HTMLを取得
    response = requests.get(base_url)
    if response.status_code != 200:
        print(f"Failed to fetch {base_url}")
        return

    html_content = response.text
    soup = BeautifulSoup(html_content, "html.parser")

    #基本情報を取得
    for tag in soup.select('div.mod-subSection table.table-binfo') :
        td_list = tag.select('td')
        if ( len(td_list) < 4 ):
            continue
        if ( td_list[4].get_text().strip() == '-' ):
            continue

        name = td_list[0].get_text()
        gakka = re.findall('（(\d+)）',td_list[2].get_text())
        hensa = sum(int(i) for i in gakka)/len(gakka)

        #生徒数を設定
        num = 500
        if ( td_list[4].get_text().strip()[0:1] == '小' ):
            num = 120
        elif ( td_list[4].get_text().strip()[0:1] == '中' ):
            num = 250

        address = " ".join(i.get_text() for i in td_list[5].select('p.tx-address span'))

        print(f"{name}\t{hensa}\t{num}\t{address}")

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print("使い方: python get_hs_list.py <入力ファイル>", file=sys.stderr)
        sys.exit(1)

    input_file = sys.argv[1]
    base_url = 'https://www.minkou.jp';

    with open(input_file, 'r', encoding='utf-8') as f_in:
        for line in f_in:
            fetch_page_and_assets(base_url + line.strip() )

 
            
hs_list.txt

沖縄尚学高等学校        56.8    250     沖縄県 那覇市 国場747番地
お茶の水女子大学附属高等学校    77.0    120     東京都 文京区 大塚2-1-1
開成高等学校    77.0    250     東京都 荒川区 西日暮里4-2-4
開智高等学校    70.0    250     埼玉県 さいたま市岩槻区 徳力西186
開明高等学校    66.0    250     大阪府 大阪市城東区 野江1-9-9
大手前高松高等学校      59.0    250     香川県 高松市 室新町1166
高松高等学校    71.0    250     香川県 高松市 番町3-1-1
丸亀高等学校    69.0    250     香川県 丸亀市 六番丁1
学習院高等科    69.0    250     東京都 豊島区 目白1-5-1
鹿児島中央高等学校      67.0    250     鹿児島県 鹿児島市 加治屋町10-1
甲南高等学校    69.0    250     鹿児島県 鹿児島市 上之園町23-1
鶴丸高等学校    73.0    250     鹿児島県 鹿児島市 薬師2-1-1
鹿児島実業高等学校      54.0    250     鹿児島県 鹿児島市 五ケ別府町3591番3
鹿児島純心女子高等学校  59.25   120     鹿児島県 鹿児島市 唐湊4-22-2
春日部共栄高等学校      66.0    500     埼玉県 春日部市 上大増新田213番地
厚木高等学校    69.0    250     神奈川県 厚木市 戸室2-24-1
旭丘高等学校    64.5    250     愛知県 名古屋市東区 出来町3-6-15
小田原高等学校  66.0    250     神奈川県 小田原市 城山3-26-1
:

言語の使い分け：Python・Perl・Shellの適材適所

 
            
upper_65.pl

%pref_list = ();
while(<>) {
    chomp;
    my @list = split("\t",$_);
    next if ($#list < 3);
    my @address = split(" ",$list[3]);
    next if ($#address < 2);
    if ( $list[1] >= 65 ) {
        $pref_list{$address[0]} += 1;
    }
}
foreach  my $key ( keys %pref_list) {
    print $pref_list{$key} . "\t" . $key . "\n";
}

#perl upper_65.pl pref_list.txt  | sort -r -n
54      東京都
27      神奈川県
27      大阪府
27      埼玉県
21      千葉県
13      福岡県
13      兵庫県
11      北海道
11      京都府
10      静岡県
10      茨城県
9       愛知県
6       鹿児島県
6       福島県
6       栃木県
6       宮城県
6       奈良県
5       群馬県
:

 
            
pref

北海道  計      5183687         156638  187132  203762  216223
北海道  男      2450393         80315   95673   104103  110815
北海道  女      2733294         76323   91459   99659   105408
青森県  計      1243081         36305   44151   48461   52881
青森県  男      589143  18627   22727   24685   27066
青森県  女      653938  17678   21424   23776   25815
岩手県  計      1206479         36020   44793   49645   52659
岩手県  男      581809  18351   23003   25521   26917
岩手県  女      624670  17669   21790   24124   25742
宮城県  計      2268355         76333   92434   97534   102804
宮城県  男      1106183         39100   47510   50068   52689
宮城県  女      1162172         37233   44924   47466   50115
秋田県  計      956836  24275   30708   35643   37726
:

 
            
pref_count.pl

use strict;
while(<>) {
    chop;
    my @list = split("\t",$_);
    next unless ( $list[1] eq '計' ) ;
    print $list[0] . "\t" .int($list[6]/5 + 0.5) . "\n";
}

 
            
pref_hs.txt

北海道  43245
青森県  10576
岩手県  10532
宮城県  20561
秋田県  7545
山形県  9513
福島県  16870
茨城県  26519
栃木県  17906
群馬県  18301
埼玉県  65603
千葉県  55795
東京都  106001
:

都道府県別の高校生人口を調べたわけ