‘coro’ タグのついている投稿

CoroとthreadsとForkManagerでウェブページ取得の比較をしてみた

2009年10月16日 金曜日

以前Coroで効率よくスクレイピングなどと書いたんですが、恥ずかしながら書いた時はCoroがコルーチンを意味しているとは知らず、マルチスレッドを扱うライブラリだと認識していました。もう少し理解したいという事で、以下の３つの方法で並列にHTTPリクエストを発行して、その比較を行ってみました。

  • Coroによるマルチスレッド処理
  • threadsによるマルチスレッド処理
  • ForkManagerによるマルチプロセス処理

(続きを読む…)

タグ:, , ,
カテゴリー: perl, programming | コメントはまだありません »

Coroで効率良くスクレイピング

2009年8月25日 火曜日

スクレイピング処理をしていると大量のリクエストを発行する事が多いので、サーバの応答待ち時間がもったいないと感じていたのですが、最近巷でよく目にするCoroというモジュールを調べてみた所、非同期処理が割と簡単に書けるという事で試してみました。

(続きを読む…)

タグ:, ,
カテゴリー: perl, programming | コメントはまだありません »