取得したデータをデータベースに出力する方法

Sunday, April 08, 2018 5:19 AM

Octoparseは、データをCSV、XLS、HTMLなどの一般的な形式に出力するだけでなく、SqlServer、MySql、Oracleなどのデータベースへの出力もサポートしています。


ヒント!

現在、OctoparseはAWS、Azure、Cloud SQLなどのクラウドデータベースをサポートしていません。

 





データをデータベースに手動出力する

1) クラウドまたはローカルで抽出したデータをアクセスする

  • 「More Actions」をクリックします。
  • 「View Data」をクリックします。
  • 「Cloud Data」または「Local Data」を選択します。

Scraping with Octoparse - database export

2) データの読み込みが終わると、
  • 右下にある「Export」ボタンをクリックします。
  • 「Export to database」を選択します。
  • 「Export data」をクリックします。

Scraping with Octoparse - database export

3) 「Next」をクリックして続きます。

web scraping with octoparse - automatic data export to database

4) 設定画面で、
  • 以前に保存した設定があればそのままで選択します。
  • ドロップダウンメニューから、データベースのタイプを選択します。
  • サーバー、ユーザー名、パスワードなどのデータベース情報を入力します。

web scraping with octoparse - automatic data export to database

5) 接続をテストする

  • 「Database Name」の横にあるデータベースを選択します。
  • 「Test Connection」をクリックします。
  • 接続有効なら、「Next」をクリックします。

 

Scraping with Octoparse - Database Export
6) データ出力の設定を続行する
  • 「Data Table」ドロップダウンメニューから既存のテーブルを選択します。
  • 「Source data fields」(抽出したデータフィールド)を「Target data fields」に一致させます。
  • 「Primary key」として使用する「Source data fields」を選択します。
  • 「Next」をクリックします。

web scraping with octoparse - export data to database 

 

ヒント!

  • データフィールドが「Primary key」として選択されると、同じ「Primary key」を持つ後のデータがデータベース内の既存のデータを上書きします。
  • 設定が完了したら、次の使用できるように保存できます。

 

7) 「Next」をクリックし、データ出力が完了するまで待ちます。





データベースへの自動出力を設定する

データベースへの出力スケジュールを事前に設定できます(クラウドで抽出したデータのみ)。データは、スケジュールに従って指定されたデータベースに出力されます。

1) クラウドで抽出したデータにアクセスする

2) 「Export to database (Automatic)」を選択する

web scraping with Octoparse - automatic data export to database

3) 「Export data」をクリックする

web scraping with octoparse - automatic export to database

4) 「Next」をクリックする

web scraping with Octoparse - automatic data export to database

5) 設定画面では、
  • 以前に保存した設定があればそのままで選択します。
  • ドロップダウンメニューから、データベースのタイプを選択します。
  • サーバー、ユーザー名、パスワードなどのデータベース情報を入力します。

web scraping with octoparse - automatic data export to database

6) 接続をテストする

  • 「Database Name」の横にあるデータベースを選択します。
  • 「Test Connection」をクリックします。
  • 接続有効なら、「Next」をクリックします。

web scraping with octoparse - automatic data export to database 

 

7) データ出力の設定を続行する
  • 「Data Table」ドロップダウンメニューから既存のテーブルを選択します。
  • 「Source data fields」(抽出したデータフィールド)を「Target data fields」に一致させます。
  • 「Primary key」として使用する「Source data fields」を選択します。
  • 「Next」をクリックします。

web scraping with octoparse - export to database

ヒント!

  • データフィールドが「Primary key」として選択されると、同じ「Primary key」を持つ後のデータがデータベース内の既存のデータを上書きします。
  • 設定が完了したら、後で使用できるように保存することができます。設定が完了したら、次の使用できるように保存できます。

 

8) スケジュールを設定する

  • 「Scheduled Export」の横にあるテキストボックスにスケジュールの名前を入力します。
  •  出力する時間間隔を選択します。 
  • 「Next」をクリックします。

web scraping with Octoparse - auto export to database

 9)「Finish」をクリックして自動出力を完了する

web scraping with octoparse

 10)ポップアップウィンドウから、自動出力のスケジュールを開始/停止/削除できます。

web scraping with octoparse - auto export

 

ヒント!

「Scheduled Export to Database」画面は、サイドナビメニューからの「Tools」からもアクセスできます。

web scraping with Octoparse - auto export to database 

 

関連記事: 

Octoparse 7.Xの新機能を見ましょう!

AJAXを扱う方法

ドロップダウンリストからオプションを選択する方法

リストを使ってデータを抽出する

複数のページからデータを抽出する

 

btn_sidebar_use.png