はじめてのWebスクレイピング
先日、初めてWebスクレイピングというものに手を出しました!
出力結果だけいったん見てからこの記事を読むのもよいかもです!
動機
漠然とWebスクレイピングという技術に憧れがありました!
なんかWeb上のデータを自動処理しているのって、イケてません?
そうでもない?
環境
今回初めて「Selenium」というモジュールを知りました。
Pythonのモジュールには便利なものがたくさんあって便利ですね!
くそ雑に説明しますと
「Google Chrome」を通して、
URLにアクセスしたり、
Web上のボタン要素をクリックしたり、
INPUT要素に自動で文字列を挿入したり、
ということに関する関数が入ったモジュールです。
詳しくは、英語ができる人は公式でみてね!
英弱仲間のみんなはこっち!
ほかにもWebスクレイピングできるモジュールとして「Beautiful Soup」てのもあるらしい...
スクレイピング先
どこにするか迷った挙句、バイト先の「シフト管理しているサイト」にターゲットしました!
(他サイトにあるものと被るのがなんとなく嫌なんです)
短時間に何度もログインしまくりながら、デバッグしていたので、明日怒られないかなとか考えました。
全然何にもなかった ( 'ω')ノグッ
サイトでは、週ごとのシフト、表示月の実勤務時間、名前、ID、店舗名などが表示されています。
出力結果
コマンド [ c ] で「現在年の1月から現在月までの実勤務時間」を検索してくれます。
コマンド [ a ] で「指定年から現在年月までの実勤務時間」を検索してくれます。
そうです!
友人、先輩からバ畜といわれています...
4月少ないのは、大学院入試があったからです。
バ畜しているのは、その大学院の学費を賄うためです。はい。
(合格できたので良かったです)
考察ではなく感想
大学先生に、
😏「実験したのに考察がないわけないだろぉぅ????」
😔 「考察は感想じゃないぞぉぅ????」
😟「このデータほんとにあってる?実験方法はみた?」
😛「え? これだけ?? やり直し」
と口酸っぱく言われていた一年生の時が懐かしい。。。(突然の懐古)
考察にはしっかりと、数値、グラフなどのデータと理論、そもそもの実験の目的とを照らし合わせながら、それらの事実から導き出されることを書いていきましょう。
感想ですが、
「なんか楽しい😼キリッ」
です。
バラバラだった勤務情報のデータをひとまとめにして見れるのって壮観です!
自分の頑張り(バイト)が自分の頑張り(プログラミング)によって見れるのはいいものです。
ソースコードなどはサイトが従業員用であり、サイト構成などが漏洩するのはよくないかと思い公開できませんが。
皆さんもWebスクレイピングいかがですか?
今後
いまPyinstallerでEXE化しているのですが
Webサイト化して友達に使ってみてもらいたいですね。
自尊心を高められます。
ははは。。。