ようこそ!浜村拓夫の世界へ

    ブログ内検索

    最近の記事

    ブックマーク数の多い記事

    Blog Translation

    Powered By FC2ブログ

    Powered By FC2ブログ
    ブログやるならFC2ブログ


    FC2ブログ LOGIN

    with Ajax Amazon

    スポンサーサイト

    このエントリーを含むはてなブックマーク はてなブックマーク - スポンサーサイト あとで読む
    上記の広告は1ヶ月以上更新のないブログに表示されています。
    新しい記事を書く事で広告が消せます。

    AJAXページをスクレイピングする方法

    このエントリーを含むはてなブックマーク はてなブックマーク - AJAXページをスクレイピングする方法 あとで読む
    AJAXページ スクレイピング 方法」で、Google検索すると、いろいろな方法が紹介されているが、
    結局、JavaScriptの実行環境を、何らかの方法で用意して、JavaScriptのコードを実行した結果を得ないといけない、という結論に行き着きます。

    CasperJSでAJAXページをスクレイピングする方法のアイデア - 浜村拓夫の世界

    問題の本質は、サーバーサイドで、「JavaScriptの実行環境」を、どうやって用意するか?という点です。

    ・Node.js + PhantomJS +CasperJS
    ・Selenium WebDriver
    ・Ruby + Capybara-Webkit
    ・Xvfb + Firefox + Selenium
    など、いろいろな方法が紹介されています。

    Nokogiri を使った Rubyスクレイピング [初心者向けチュートリアル] - 酒と泪とRubyとRailsと

    Rubyでスクレイピングするなら直NokogoriではなくNokogoriをラップしたMechanizeを利用するのが一般的です。
    また、MechanizeではJSイベント駆動(AJAX等)のページには対応できないので、そのようなページではSelenium WebDriverかCapybaraを使いましょう。
    Capybaraのドライバーであるcapybara-webkitやPoltergeist(PhantomJS)はブラウザのスクリーン表示領域外にある要素に対するイベント操作を行えないので、その場合にはCapybaraのSeleniumドライバーかSelenium WebDriverを使い、ヘッドレス・ブラウザ(PhantomJS等)ではなく普通のブラウザと連携させましょう、
    ヘッドレス・ブラウザはブラウザのスクリーン表示領域外にある要素に対するイベント操作に今のところ、対応できていません。
    Unix(OS X除く)ではXvfbを用いることで通常のブラウザをヘッドレス化できます、
    RubyにはXvfbまわりの面倒をみてくれるHeadless(gem)があります。



    何か知らんけど、ヘッドレス・ブラウザーでは、不都合があるんかいな!?

    ●JavaScriptのスキルアップ

    普段は、Webアプリのサーバーサイド(バックエンド)は、PHPで十分なんだけど、
    AJAXのスクレイピング→JavaScriptの実行環境→PHPじゃダメ、
    ということで、Node.jsを練習するキッカケにしてみたいと思います。

    クソ―、こんなところで、JavaScriptのスキル不足に泣かされるとは思わなんだ!
    やりたいことが直ぐにできなくて、イラつく!

    まあ、今さらだけど、JavaScriptは、Webアプリ作る人なら、クライアントサイド(フロントエンド)で必須科目だしねー。
    この機会にマスターしたいです!><

    Node.jsの知識を持っていれば、スクレイピング以外でも、何かのときに役立つような気がする!
    「non-blocking io」で、大量のアクセスをさばけるとか?

    URLを指定したら、AJAXページの実行結果を返してくれるような、Node.jsのWebアプリ、APIを用意したいです!
    誰か、同じこと考えてる人がいて、やり方の答えをネットで公開してくれていないかなー?(丸投げ)

    プロになるためのJavaScript入門 ~node.js、Backbone.js、HTML5、jQuery-Mobile (Software Design plus)
    河村 嘉之 / 川尻 剛
    技術評論社
    2012-12-07
    ¥ 3,218

    関連記事

    コメント

    コメントの投稿


    管理者にだけ表示を許可する

    トラックバック

    トラックバックURL:
    http://hamamuratakuo.blog61.fc2.com/tb.php/1186-21b2c036

    FC2Ad

    上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。