ALL Program Python

【Python】Webスクレイピングの実行環境を整える【初心者】

Python-Webスクレイピング実行環境を整える

PythonでWebスクレイピングをするための設定方法を教えてください!

 

こんな疑問にお答えします。

 

このようなことで悩んでいる人は、本記事をご覧になってください。

こんな人が読むべき

  • PythonでWebスクレイピングをする環境を整えたい
  • Chromeを使ってWebスクレイピングをする環境を整えたい
  • とりあえず、WebDriverとSeleniumの設定だけしておきたい

 
 

ちなみに、本記事は以下の記事でPython環境が整えられている前提で説明します。
Nakamura

 

Pythonのインストールがまだの人はコチラから


python-インストール方法
Pythonのダウンロードとインストール方法(全手順-画像付)

続きを見る

 

コードエディターはATOMのインストール方法


pythonオススメコードエディター
【Python】ATOMのインストール方法と日本語化を説明【簡単】

続きを見る

 

PythonでWebスクレイピングに必要なもの

ざっくり言うと、以下の5つの要素が必要です。

  1. Python(プログラミング言語)
  2. ATOM(コードエディター)
  3. Chrome-WebDriver ←★本記事説明
  4. Seleniumのインストール ←★本記事説明
  5. Chrome

 

本記事では、③WebDriverのダウンロード方法と④Seleniumのインストールについて説明します。

あと、動作検証もします。

Nakamura

 

尚、①②については、本記事の冒頭にリンクは貼っておりますので、そちらを参照ください。

※⑤のChromeについてはワザワザ説明する必要はないと思うため省略しますね。

 

Chrome-WebDriverをダウンロードする方法

さっそくやっていきましょう!

 

step
1
現在使用中のChromeバージョンを確認

以下の手順でChromeのメジャーバージョンを確認しておきましょう。

手順

  1. Chromeタスクバー内の「…」をクリック
  2. 「設定」をクリック
  3. 「Chromeについて」をクリック
  4. Chromeのバージョンを確認できる

 

 

Chrome-WebDriverダウンロード方法① Chrome-WebDriverダウンロード方法②

 

step
2
ChromeWebDriverダウンロードページへ行く

こちらのURLよりWebDriverダウンロードページへ飛びましょう。

 

step
3
Chromeバージョンに合ったWebDriverのリンクへ飛ぶ

STEP1で確認したChromeメジャーバージョンに合ったものをクリックしましょう。

ChromeWebDriverダウンロード③

本記事ではSTEP1で「86」と確認できているため、こちらで進めます。
Nakamura

 

step
4
Chromeバージョンに合ったWebDriverのリンクへ飛ぶ

各自利用中のOSに合ったものをクリックして、ZIPファイルをダウンロードしましょう。

ChromeWebDriverダウンロード④

 

ポイント

  • Windows-64bitを利用中のユーザーは「chromedriver_win32.zip」をダウンロードすればOKです。

 

step
5
ZIPファイルの解凍

ダウンロードしたZIPファイルを解凍しましょう。

解凍したZIPファイル内に「chromedriver.exe」があることを確認。

chromewebdriver.exeファイルの確認

 

step
6
chromedriver.exe を任意の場所に保存

ここは各自の裁量にお任せする部分となります。

PythonでWebスクレイピングする際、都度「chromedriver.exe」を使用することになるため、
個人的に分かりやすい場所に保管することが良いかと思います。

ちなみに、僕は↓の画像の通りに配置しています。
Cドライブ内の「Program Files」に保管しております。
Nakamura

webdriver保管先

Chromeのメジャーバージョンが更新された場合、
webdriverも更新する必要があるため、
保管場所は忘れない場所に置いときましょう!
Nakamura

 

Seleniumをインストールする方法(簡単)

Windowsの人は コマンドプロントを開いてください。

Macの人は ターミナルを開きましょう。

本記事では コマンドプロントでやっていきます。
Nakamura

 

step
1
コマンドプロントを開く


コマンドプロントの開き方

  1. キーボードで「windows」キーを押下
  2. キーボードで「cmd」と入力
  3. キーボードの「Enter」キーを押下

<Windows10の場合は以下のような画面になっているはず>
コマンドプロントのショートカット開き方

 

上記以外の方法でもコマンドプロントが開けば問題なしです。
Nakamura

 

step
2
pipコードを入力しEnterを押下

コマンドプロント上に、以下のコードをコピペして、Enterをクリックしましょう。

 

≪こんな感じに入力≫
pip install seleniumのコード

 

Seleniumのインストールは以上で終わりです。
Nakamura

上手くインストールできない場合は?

PythonのPath(パス)が通っていない場合、インストールできない場合があります。

以下のコードだと、Pathを通した状態でインストールしてくれるため、こちらをお試しください。

 

 

上記のコードでもダメな場合、
Pythonをアンインストールして、
以下の記事を参照し再インストールしてみて下さい。
Nakamura
python-インストール方法
Pythonのダウンロードとインストール方法(全手順-画像付)

続きを見る

 

動作検証する方法

コードエディターで「ATOM」がインストールされていることを前提に話します。

ATOMが未インストールの人は以下の記事を参照ください。

 

 

step
1
ATOMで新規ファイルを作成

ATOM側で「ファイル」→「新規ファイル」の順にクリックしましょう。

ATOM新規ファイル作成

 

step
2
新規ファイルを「.py」で一度保存

ここ重要です。

ATOM側で「Python」を使用していることを宣言するために、
ファイル名を「○○.py」で一度保存します。
※○○は適当な名前で。本記事では「WebTest.py」で進めます。

 

<ATOM上での処理>
ATOM保存方法

 

<pyファイルの保存方法>
ATOMでpyファイル保存

ファイル名の後ろに「.py」と入力してあげましょう!
Nakamura

 

step
3
コードをコピペ ※一部-コードを改変して下さい。

以下のコードをATOM側にコピペしてあげましょう。

尚、4行目の「ChromeDriverのファイルパス」は、
本記事 冒頭付近でダウンロードして保管した「ChromeDriverのファイルパス」を入力してください。

ポイント

Q:ChromeDriverファイルパスはどこまで入力すれば良いの?
A:結論、ファイル名まで入れましょう。

僕の場合はこのような形「C:\Program Files\chromedriver_win32\chromedriver.exe」です。

 

コードのコメントアウト部分で、簡単な解説も入れてます。
Nakamura

 

ただ単にGoogleを出現させて閉じるだけでは、感動が薄いと思うので、
検索結果から任意のページに飛ぶところまでを動作検証範囲とさせていただきました。

理解は追々で良いと思いますので、Webスクレイピングで「何ができるか?」を一歩先取りしちゃいましょう。

Nakamura

 

注意ポイント

もし動かない場合は以下の部分のコードを修正してみてください。

■4行目(僕の場合)
修正前:C:\Program Files\chromedriver_win32\chromedriver.exe
 ↓
修正後:C:\\Program Files\\chromedriver_win32\\chromedriver.exe

 

Windowsだと「¥」が「\」に該当しますが、
この「\」1つだけだとPCによっては「認識されない」事象があります。

この解決方法が「\\」と2つ並べることになります。

Nakamura

 

step
4
Alt + r で動作確認

ATOM側のパッケージに「Atom Runner」がインストールされていることが前提です。

まだ「Atom Runner」が未インストールの人は、以下の記事を参照ください。

 

では、さっそく 「Alt + r」を押してみましょう!

 

<コピペしたコード上で Alt+r を押下>

ATOMでAlt+rを押下

 

<NakamuraBlogのトップまで画面遷移したら動作確認OK>

 

  • Selenium動作中は「Chrome は自動テスト ソフトウェアによって制御されています。」と表示されます。

 

終わりに

お疲れさまでした。

これにてPythonのWebスクレイピング用の設定は終了となります。

少しややこしかったと思いますが、
しっかり読みながらやれば問題なく出来たかと思います。
Nakamura

 

今回はここまでとなります。

長文だったと思いますが、ここまでお読みいただきありがとうございました。

終わり。

 

補足:ちなみにPythonを学べるプログラミングスクールは?

プログラミングスクールはたくさんありますが、Pythonを学べるオススメなスクールは「TechAcademy」ですね。

理由は3つあります。

  • Pythonに必要なスキルを体系的に学べる
  • 短期集中プランがある
  • 無料体験会がある

Pythonを実務レベルで習得するなら、プログラミングスクールを選択するのは、賢い選択の1つです。
(人に聞けるって、楽です。)

決して安い値段では無いので、まずは無料体験会参加してみると良いと思います。

無料体験会はWeb上で受けられるますので、かなり気楽に受けられます(お菓子食べながらでも。笑)

 

オススメのプログラミングスクール

正直、時間と気力があれば、Pythonはソコソコ触れるようになりますので、
ショートカットしたい人はプログラミングスクールは如何でしょうか?というお話でした。

もし行くなら「TechAcademy」がオススメという感じですね。
Nakamura

 

 




  • この記事を書いた人

Nakamura(nkmr)

NakamuraBlog(ナカログ)運営 [ 2.5万PV/月 ] │ブロガー│ 【経歴】IT会社に新卒入社 ▶︎ 通用しない ▶︎ プログラミングに出会う ▶︎ 年間1億円以上のコスト削減プログラムを開発 ▶︎ 会社賞受賞 ▶︎ 少しでも世の中の苦しんでる私と似た人に役に立てればと思いブログを開設。 ● 文系がプログラムと出会って会社員人生が変わった人。 ● 2020年より「嫁を置いて1人旅」の旅動画を投稿開始。

-ALL, Program, Python
-,