Goutte: シンプルなPHPウェブスクレイパー

Goutteは、PHP用のスクリーンスクレイピングおよびウェブクロールライブラリです。このライブラリは、ウェブサイトをクロールし、HTML/XMLレスポンスからデータを抽出するための素晴らしいAPIを提供します。しかし、注意が必要です。Goutteは非推奨となっており、バージョン4以降はSymfony BrowserKitコンポーネントのHttpBrowserクラスへの単純なプロキシとなっています。移行するには、コード内のGoutte\ClientをSymfony\Component\BrowserKit\HttpBrowserに置き換えてください。

要件

GoutteはPHP 7.1以上に依存しています。

インストール

composer.jsonファイルにfabpot/goutteを依存関係として追加します:

composer require fabpot/goutte

使用方法

Goutteクライアントインスタンスを作成します（これはSymfony\Component\BrowserKit\HttpBrowserを拡張しています）:

use Goutte\Client;
$client = new Client();

リクエストを送信

リクエストメソッドを使用してリクエストを送信します:

// symfony.comのウェブサイトにアクセス
$crawler = $client->request('GET', 'https://www.symfony.com/blog/');

このメソッドは、Crawlerオブジェクト（Symfony\Component\DomCrawler\Crawler）を返します。

リンクをクリック

// "Security Advisories"リンクをクリック
$link = $crawler->selectLink('Security Advisories')->link();
$crawler = $client->click($link);

データを抽出

// このカテゴリの最新の投稿を取得し、タイトルを表示
$crawler->filter('h2 > a')->each(function ($node) {
    print $node->text()."\n";
});

フォームを送信

$crawler = $client->request('GET', 'https://github.com/');
$crawler = $client->click($crawler->selectLink('Sign in')->link());
$form = $crawler->selectButton('Sign in')->form();
$crawler = $client->submit($form, ['login' => 'fabpot', 'password' => 'xxxxxx']);
$crawler->filter('.flash-error')->each(function ($node) {
    print $node->text()."\n";
});