こんな疑問にお答えします。
このようなことで悩んでいる人は、本記事をご覧になってください。
こんな人が読むべき
- PythonでWebスクレイピングをする環境を整えたい
- Chromeを使ってWebスクレイピングをする環境を整えたい
- とりあえず、WebDriverとSeleniumの設定だけしておきたい
Pythonのインストールがまだの人はコチラから
-
-
Pythonのダウンロードとインストール方法（全手順-画像付）
続きを見る
コードエディターはATOMのインストール方法
-
-
【Python】ATOMのインストール方法と日本語化を説明【簡単】
続きを見る
非表示にできる< 目次 >
PythonでWebスクレイピングに必要なもの
ざっくり言うと、以下の5つの要素が必要です。
- Python（プログラミング言語）
- ATOM（コードエディター）
- Chrome-WebDriver ←★本記事説明
- Seleniumのインストール ←★本記事説明
- Chrome
あと、動作検証もします。
尚、①②については、本記事の冒頭にリンクは貼っておりますので、そちらを参照ください。
※⑤のChromeについてはワザワザ説明する必要はないと思うため省略しますね。
Chrome-WebDriverをダウンロードする方法
さっそくやっていきましょう！
step
1現在使用中のChromeバージョンを確認
以下の手順でChromeのメジャーバージョンを確認しておきましょう。
手順
- Chromeタスクバー内の「…」をクリック
- 「設定」をクリック
- 「Chromeについて」をクリック
- Chromeのバージョンを確認できる
step
2ChromeWebDriverダウンロードページへ行く
こちらのURLよりWebDriverダウンロードページへ飛びましょう。
step
3Chromeバージョンに合ったWebDriverのリンクへ飛ぶ
STEP1で確認したChromeメジャーバージョンに合ったものをクリックしましょう。
step
4Chromeバージョンに合ったWebDriverのリンクへ飛ぶ
各自利用中のOSに合ったものをクリックして、ZIPファイルをダウンロードしましょう。
ポイント
- Windows-64bitを利用中のユーザーは「chromedriver_win32.zip」をダウンロードすればOKです。
step
5ZIPファイルの解凍
ダウンロードしたZIPファイルを解凍しましょう。
解凍したZIPファイル内に「chromedriver.exe」があることを確認。
step
6chromedriver.exe を任意の場所に保存
ここは各自の裁量にお任せする部分となります。
PythonでWebスクレイピングする際、都度「chromedriver.exe」を使用することになるため、
個人的に分かりやすい場所に保管することが良いかと思います。
Cドライブ内の「Program Files」に保管しております。
webdriverも更新する必要があるため、
保管場所は忘れない場所に置いときましょう！
Seleniumをインストールする方法（簡単）
Windowsの人は コマンドプロントを開いてください。
Macの人は ターミナルを開きましょう。
step
1コマンドプロントを開く
コマンドプロントの開き方
- キーボードで「windows」キーを押下
- キーボードで「cmd」と入力
- キーボードの「Enter」キーを押下
＜Windows10の場合は以下のような画面になっているはず＞
step
2pipコードを入力しEnterを押下
コマンドプロント上に、以下のコードをコピペして、Enterをクリックしましょう。
|
1 |
pip install selenium |
≪こんな感じに入力≫
上手くインストールできない場合は？
PythonのPath（パス）が通っていない場合、インストールできない場合があります。
以下のコードだと、Pathを通した状態でインストールしてくれるため、こちらをお試しください。
|
1 |
py -m pip install selenium |
Pythonをアンインストールして、
以下の記事を参照し再インストールしてみて下さい。
-
-
Pythonのダウンロードとインストール方法（全手順-画像付）
続きを見る
動作検証する方法
コードエディターで「ATOM」がインストールされていることを前提に話します。
ATOMが未インストールの人は以下の記事を参照ください。
続きを見る
【Python】ATOMのインストール方法と日本語化を説明【簡単】
step
1ATOMで新規ファイルを作成
ATOM側で「ファイル」→「新規ファイル」の順にクリックしましょう。
step
2新規ファイルを「.py」で一度保存
ここ重要です。
ATOM側で「Python」を使用していることを宣言するために、
ファイル名を「○○.py」で一度保存します。
※○○は適当な名前で。本記事では「WebTest.py」で進めます。
＜ATOM上での処理＞
＜pyファイルの保存方法＞
step
3コードをコピペ ※一部-コードを改変して下さい。
以下のコードをATOM側にコピペしてあげましょう。
尚、4行目の「ChromeDriverのファイルパス」は、
本記事 冒頭付近でダウンロードして保管した「ChromeDriverのファイルパス」を入力してください。
ポイント
Q：ChromeDriverファイルパスはどこまで入力すれば良いの？
A：結論、ファイル名まで入れましょう。
僕の場合はこのような形「C:\Program Files\chromedriver_win32\chromedriver.exe」です。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
import time from selenium import webdriver #Selenium Webdriverをインポートする driver = webdriver.Chrome("ChromeDriverのファイルパス") #chromdriverのフルパスを入れてあげる driver.get('https://www.google.com/') time.sleep(5) #5秒待つ。冒頭のimport timeで利用可能なtimeメソッド search_box = driver.find_element_by_name("q") #DOM操作 search_box.send_keys('NakamuraBlog') #Google検索ボックス内に「NakamuraBlog」と入力 search_box.submit() #Google検索ボタンのクリック time.sleep(5) #5秒待つ。冒頭のimport timeで利用可能なtimeメソッド research_result = driver.find_element_by_partial_link_text("nkmrdai") #検索結果hrefタグ内に「nkmradai」があるリンクを探す research_result.click() #クリックする。 #このタイミングでNakamuraBlogのトップページが開かれたらOK time.sleep(5) #5秒待つ。冒頭のimport timeで利用可能なtimeメソッド driver.quit() #Chromeブラウザを閉じる |
検索結果から任意のページに飛ぶところまでを動作検証範囲とさせていただきました。
理解は追々で良いと思いますので、Webスクレイピングで「何ができるか？」を一歩先取りしちゃいましょう。
注意ポイント
もし動かない場合は以下の部分のコードを修正してみてください。
■4行目（僕の場合）
修正前：C:\Program Files\chromedriver_win32\chromedriver.exe
↓
修正後：C:\\Program Files\\chromedriver_win32\\chromedriver.exe
この「\」1つだけだとPCによっては「認識されない」事象があります。
この解決方法が「\\」と2つ並べることになります。
step
4Alt + r で動作確認
ATOM側のパッケージに「Atom Runner」がインストールされていることが前提です。
まだ「Atom Runner」が未インストールの人は、以下の記事を参照ください。
続きを見る
【Python】ATOMのインストール方法と日本語化を説明【簡単】
では、さっそく 「Alt + r」を押してみましょう！
＜コピペしたコード上で Alt+r を押下＞
＜NakamuraBlogのトップまで画面遷移したら動作確認OK＞
- Selenium動作中は「Chrome は自動テスト ソフトウェアによって制御されています。」と表示されます。
終わりに
お疲れさまでした。
これにてPythonのWebスクレイピング用の設定は終了となります。
しっかり読みながらやれば問題なく出来たかと思います。
今回はここまでとなります。
長文だったと思いますが、ここまでお読みいただきありがとうございました。
終わり。
補足：ちなみにPythonを学べるプログラミングスクールは？
プログラミングスクールはたくさんありますが、Pythonを学べるオススメなスクールは「TechAcademy」ですね。
理由は3つあります。
- Pythonに必要なスキルを体系的に学べる
- 短期集中プランがある
- 無料体験会がある
Pythonを実務レベルで習得するなら、プログラミングスクールを選択するのは、賢い選択の1つです。
（人に聞けるって、楽です。）
決して安い値段では無いので、まずは無料体験会に参加してみると良いと思います。
無料体験会はWeb上で受けられるますので、かなり気楽に受けられます（お菓子食べながらでも。笑）
オススメのプログラミングスクール
正直、時間と気力があれば、Pythonはソコソコ触れるようになりますので、
ショートカットしたい人はプログラミングスクールは如何でしょうか？というお話でした。