並行処理とは?

Sunday, April 08, 2018 4:30 AM

並行処理中のタスクは、クラウドまたはローカルマシンで同時に実行されていることを意味します。

1. ローカル並行処理とは、ローカルコンピュータ上で複数のタスクを行うことを意味します。無料プランはローカル並行処理を2つに制限されていますが、他のプランでは制限なしです。

2. クラウド並行処理は、ダッシュボードから「Running in the Cloud」を選別することによってチェックできます。

Data Scraping with Octoparse - Concurrent Runs

3. 質問: プランに6台のクラウドサーバーがある場合、クラウドにはいつも6つの並行処理が実行されていますか?

    答え: ちょっと違います。各タスクは1台サーバーのみを使う場合は、6つの並行処理を行うことができます。しかし、クラウドタスクを行う場合、Octoparseはタスクをさらに小さなサブタスクに分割できるかどうかを確認し、それぞれのサブタスクをクラウドサーバ上で実行して抽出を速くします。この場合、1つのタスクはすべてはなく1台以上のクラウドサーバでタスクを行います(タスク分割の詳細を参照)。

 

ヒント!

  • タスクは分割できない場合は、「Settings」から「Disable task split」を選択してください(Cloud Extractionのみ)。
         Scraping with Octoparse - Concurrent Runs

  • 「Account Settings」にアクセスすることで、並行処理のタスク数を制限できます。並行処理のタスクを少なくにすると、より多くのクラウドサーバーがほかのタスクにサポートして、抽出がはやくなります(Cloud Extractionのみ)。

    Scraping with Octoparse - Concurrent Runs

  • 複数のタスクを並行処理する場合は、各タスクの優先度を設定できます(Cloud Extractionのみ)。

         Web Scraping with Octoparse - concurrent runs

 

関連記事:

Octoparse 7.Xの新機能を見ましょう!

AJAXを扱う方法 

ドロップダウンリストからオプションを選択する方法 

リストを使ってデータを抽出する 

複数のページからデータを抽出する

 

 

btn_sidebar_use.png