注目を浴びている! 2018 FIFAワールドカップYoutubeでのコメントを可視化する

2018 FIFAワールドカップは、6月14日から7月15 日にかけて、ロシアで開催されています。2014年大会の準決勝進出4チーム(ドイツ、アルゼンチン、オランダ、ブラジル)はすべて敗退となったことに信じられませんでした。サッカーファンの皆さんが今年の大会についてどんな評価するのか、非常に興味があります。そこで、YouTubeで「World Cup 2018」の検索結果から612件のビデオ情報をクローリングして、6,000件を超えるコメントを取得しました。

ここでは、データ抽出のプロセスと、抽出されたデータに基づいて見つかったことを紹介したいと思います。

 

どんな情報を収集したのか?

Octoparseというスクレイピングツールを使って、このプロジェクトに2つのwebクローラーを作りました。 Youtubeをスクレイピングすることの難しさは、結果ページとビデオページにある無限のスクロールです。なので、できるだけ多くのビデオ情報を取得するために、Octoparseで自動スクロールを設定する必要があります。

 

 

そこで、ビデオのタイトル、時間、投稿者、投稿日時、視聴回数、高評価と低評価を抽出したいと思います。

 

Octoparseのポイント&クリック機能により、取得したいビデオ情報を簡単に抽出できます。

 

各動画のコメントを取得するために、別のwebクローラーを作りました。 ここでのトリックは、クローラーのワークフロー内にループアイテムを追加して、各コメントを1つずつ抽出することです。

それぞれのコメントから、コメントの内容と "高評価"の数をスクレイピングしました。

 

その結果、YouTubeの動画情報やコメントを構造化されたデータシートに変換することができます。

 

抽出された情報から何を見つけましたか?

先週の金曜日にクローラーを使ってデータをスクレイピングして、その時点で56回の試合しかありません。

以下は皆さんとシェアしたい結果です。

 

2018年ワールドカップに最も人気のある動画トップ10

公式曲のビデオがとても人気があるのはかなり驚きました。その10つのビデオのうち、4つは2018年ワールドカップ公式曲のビデオです。

 

 

2018年ワールドカップに最も人気のある試合トップ10

人気は、試合の段階ではなく、対戦チームに関係があります。

人気試合にはグループリーグが7つあり、ベスト16試合が3つあります。

最も人気のあるチームはアルゼンチン(3試合)で、次はポルトガル、ドイツ、ブラジル(それぞれ2試合)です。

 

人々が最も人気のある試合トップ10に対する好み

今度は、「高評価」と「低評価」の数量から、最も人気のある試合トップ10についての人々の好みをさらに研究したいと考えています。

 

 

2018年ワールドカップに最も低評価な試合トップ10

これは、「低評価」/視聴回数の比率によって計算されます。そのうち6件が「最も人気のある試合トップ10」にも載っているのはとても面白いです。

 

 

2018年ワールドカップ試合での感情分析

コメントをさらに処理した後、2018年ワールドカップ試合8件についての感情分析は次のような結果が得られました。

 

 

まとめ

データは面白いです。データ抽出とデータ分析ツールの急速な発展と普及のおかげで、今情報の収集や分析をよりはやくより簡単に行うことができます。

 

 

 

関連記事:

第10回AKB48世界選抜総選挙のデータをスクレイピングしてみました!

BIツールとは | おすすめツール5選を紹介!