SeleniumとChromeDriverでYahoo!mobageにログイン【Python3】スクレイピング

タイトル通りSeleniumとChromeDriverを使ってYahoo!mobageにログインして適当な情報を取得してきます

事前準備

環境

Python3.6.4

Seleniumのインストール

pip install selenium

ChromeDriverダウンロード

chrome driver

Seleniumの使い方メモ

新しいChromeブラウザを開く

from selenium.webdriver import Chrome chromedriver = "C:/hoge/chromedriver.exe" driver = Chrome(chromedriver)

新しいChromeブラウザにオプションを指定して開く

今回はオプションでヘッドレスモードを有効化しています。 from selenium.webdriver import Chrome, ChromeOptions chromedriver = "C:/hoge/chromedriver.exe" options = ChromeOptions() options.set_headless(headless=True) driver = Chrome(chromedriver, chrome_options=options)

最大待機時間の設定

ページの読み込みが終わるまでの最大待機時間の設定（秒） driver.set_page_load_timeout(30) スクリプト実行中の最大待機時間の設定（秒） driver.script_timeout(3600)

待機

待機時間の設定 from selenium.webdriver.support import expected_conditions from selenium.webdriver.support.ui import WebDriverWait wait = WebDriverWait(driver, 30) 対象DOMの読み込みが完了するまで待機 wait.until(expected_conditions.presence_of_element_located((By.TAG_NAME, "body"))) 対象が押下可能になるまで待機 wait.until(expected_conditions.element_to_be_clickable((By.TAG_NAME, "body")))

指定URLを読み込む

サンプルはYahoo!のトップページを指定しています page_url = "http://www.yahoo.com" driver.get(page_url)

ブラウザを閉じる

開いてるページを閉じる driver.close() 全てのタブを閉じる driver.quit()

要素の取得

from selenium.webdriver.common.by import By driver.find_element(By.CLASS_NAME, "class_name") driver.find_element(By.CSS_SELECTOR, "css_selector") driver.find_element(By.ID, "id") driver.find_element(By.LINK_TEXT, "link_text") driver.find_element(By.NAME, "name") driver.find_element(By.PARTIAL_LINK_TEXT, "partial_link_text") driver.find_element(By.TAG_NAME, "tag_name") driver.find_element(By.XPATH, "xpath") 公式ドキュメントでは下記のfind_element_by_*が推奨されています find_element_by_class_name(name) find_element_by_css_selector(css_selector) find_element_by_id(id_) find_element_by_link_text(link_text) find_element_by_name(name) find_element_by_partial_link_text(link_text) find_element_by_tag_name(name) find_element_by_xpath(xpath)

要素のプロパティの取得

body要素のinnerHTMLの取得 driver.find_element(By.TAG_NAME, "body").get_attribute("innerHTML") img要素のsrcの取得 driver.find_element(By.TAG_NAME, "img").get_attribute("src")

要素の状態取得

要素が表示されていればTrueを返す driver.find_element(By.TAG_NAME, "button").is_displayed() 要素が有効であればTrueを返す driver.find_element(By.TAG_NAME, "button").is_enabled() 要素（チェックボックスかラジオボタン）が選択されていればTrueを返す driver.find_element(By.ID, "radio").is_selected()

ActionChains

from selenium.webdriver.common.action_chains import ActionChains 新しいActionChainsオブジェクトを生成 actitons = ActionChains(driver) ActionChainsオブジェクトに格納された全てのイベントを格納された順に実行する actions.perform() ボタンを押下する ActionChains(driver).click(driver.find_element(By.TAG_NAME, "button")).perform() 10秒間一時停止する ActionChains(driver).pause(10).perform() 指定要素に"aiueo"を送信する ActionChains(driver).send_keys_to_element(driver.find_element(By.TAG_NAME, "input"), "aiueo").perform() 現在フォーカスされている要素にENTER KEYを送信する ActionChains(driver).send_keys(Keys.ENTER).perform()

Keys

from selenium.webdriver.common.keys import Keys Keys.ADD Keys.ALT Keys.ARROW_DOWN Keys.ARROW_LEFT Keys.ARROW_RIGHT Keys.ARROW_UP Keys.BACKSPACE Keys.BACK_SPACE Keys.CANCEL Keys.CLEAR Keys.COMMAND Keys.CONTROL Keys.DECIMAL Keys.DELETE Keys.DIVIDE Keys.DOWN Keys.END Keys.ENTER Keys.EQUALS Keys.ESCAPE Keys.F1 Keys.F10 Keys.F11 Keys.F12 Keys.F2 Keys.F3 Keys.F4 Keys.F5 Keys.F6 Keys.F7 Keys.F8 Keys.F9 Keys.HELP Keys.HOME Keys.INSERT Keys.LEFT Keys.LEFT_ALT Keys.LEFT_CONTROL Keys.LEFT_SHIFT Keys.META Keys.MULTIPLY Keys.NULL Keys.NUMPAD0 Keys.NUMPAD1 Keys.NUMPAD2 Keys.NUMPAD3 Keys.NUMPAD4 Keys.NUMPAD5 Keys.NUMPAD6 Keys.NUMPAD7 Keys.NUMPAD8 Keys.NUMPAD9 Keys.PAGE_DOWN Keys.PAGE_UP Keys.PAUSE Keys.RETURN Keys.RIGHT Keys.SEMICOLON Keys.SEPARATOR Keys.SHIFT Keys.SPACE Keys.SUBTRACT Keys.TAB Keys.UP

サンプル

Yahoo!mobageにログインして適当な情報を取得してくる

ログイン用のIDとパスワード、ダウンロードしたドライバーのパスは適せん変更して下さい
かなり適当なサンプルなので自己責任でお願いします( ｀ー´)ノ from logging import getLogger, StreamHandler, Formatter, DEBUG from selenium.webdriver import Chrome, ChromeOptions from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support import expected_conditions from selenium.webdriver.support.ui import WebDriverWait from selenium.common import exceptions as ex handler = StreamHandler() handler.setLevel(DEBUG) handler.setFormatter(Formatter('[%(asctime)s:%(levelname)s: %(name)s(%(lineno)s)] %(message)s')) logger = getLogger(__name__) logger.setLevel(DEBUG) logger.addHandler(handler) def main(): #ダウンロードして配置したドライバーのパスに変更して下さい。 chromedriver = "C:/hoge/chromedriver.exe" try: options = ChromeOptions() options.set_headless(headless=True) driver = Chrome(chromedriver, chrome_options=options) driver.set_page_load_timeout(30) wait = WebDriverWait(driver, 30) login(driver, wait) logger.info("login success") coin = get_data(driver, wait, By.ID, "having_coin", "innerText") logger.info("モバコイン残高: %s" % coin) pickup = get_data(driver, wait, By.CSS_SELECTOR, '#header-sec > p.top_header_msg > a', "innerHTML") logger.info("お知らせ: %s" % pickup) logo = get_data(driver, wait, By.XPATH, '//*[@id="pagetop"]/img', "src") logger.info("ロゴ画像: %s" % logo) except ex.ElementNotVisibleException: logger.error("要素が表示されていません。") except ex.NoSuchElementException: logger.error("要素が見つかりませんでした。") except Exception as e: logger.error(e) finally: driver.quit() def login(driver, wait) -> None: url_login = "http://yahoo-mbga.jp" #ログインしたいアカウントのIDとパスワードに変更して下さい。 yid = "hogehoge@yahoo.co.jp" pwd = "fugafuga" #対象URLを読み込む driver.get(url_login) logger.info("loading %s" % url_login) #ログインボタンが押下可能になるまで待機 wait.until(expected_conditions.element_to_be_clickable((By.CSS_SELECTOR, "a.png_bg"))) #ログインボタンを押下 ActionChains(driver).click(driver.find_element(By.CSS_SELECTOR, "a.png_bg")).perform() #IDの入力欄が押下可能になるまで待機 wait.until(expected_conditions.element_to_be_clickable((By.ID, "username"))) logger.info("input usernaame") #IDを入力後ENTER ActionChains(driver)\ .send_keys_to_element(driver.find_element(By.ID, "username"), yid)\ .send_keys(Keys.ENTER).perform() #パスワード入力欄が押下可能になるまで待機 wait.until(expected_conditions.element_to_be_clickable((By.ID, "passwd"))) logger.info("input password") #パスワードを入力後ENTER ActionChains(driver)\ .send_keys_to_element(driver.find_element(By.ID, "passwd"), pwd)\ .send_keys(Keys.ENTER).perform() def get_data(driver, wait, element_type, target, get_type) -> str: data = "unknown" try: #対象の要素のDOMが生成されるまで待機 wait.until(expected_conditions.presence_of_element_located((element_type, target))) #対象要素のプロパティを取得 data = driver.find_element(element_type, target).get_attribute(get_type) except ex.NoSuchElementException as e: logger.error(e) raise e return data main()

今回もとりあえずメモ
説明は追記します(/ω＼)