ローカルコンピューターでタスクを行う

Sunday, April 08, 2018 4:43 AM

Octoparseで作ったWebスクレイピングタスクは、ローカルコンピューター(Local Extraction) またはクラウド (Cloud Extraction )で実行できます。ローカルでタスクを行うと、

1) ワークフローの問題をトラブルシューティング/デバッグ
2) クラウドリソースを利用せずにデータを抽出する

ヒント!

Local Extractionは、無料版と有料版両方にも利用できます。無料版の場合、毎回出力データ数が10,000件と並行処理が2件に制限されています。有料版ならその制限はありません。

 

このチュートリアルでは、次の機能について説明します。

 

 

 

Local Extractionでタスクを行う

Wizard Mode では、Octoparseが「complete」に進むと、「Local Extraction」をクリックしてローカルコンピューターでスクレイピングタスクを実行できます。

 

 Advanced Mode では、タスクの設定が完了したら、「Start Extraction」をクリックし、[Local Extraction」を選択できます。

 

次に、タスクの実行プロセスが見られるし、取得したデータもを表示できます。

 

 

 

Local Extractionの設定

タスク実行中、ローカルタスクの「Extraction settings」を変更できます。Octoparseはこれらの3つの機能をデフォルトで無効にします。タスクの要件に基づいて有効にできます。

Display error message:  データ欠落などのエラーが発生した場合、内蔵ブラウザにエラーメッセージが表示されます。

Loading image: 画像の読み込みを無効にして、Webページを開く時間を短くします。

Memory release: Local extractionはコンピュータのメモリをを占用します。解放するには「Memory release」を選択してください。

 

ヒント!

1. ローカルタスクはどこで実行されますか?

Local Extractionでローカルコンピューターでクローリングします。あるWebサイトでは同じIPの訪問時間を制限する場合があります。このような状況下では、制限を超えるなら、ブロックされる可能性があります。

2. Local Extractionは何に影響しますか?

クローリングはローカルマシン上で実行されているため、ネットワークの速度とハードウェアの性能に影響します。

 

 

関連記事:

Cloud Extraction 

Wizard Mode 

Advanced Mode 

並行処理とは?

 

 

btn_sidebar_use.png