hello twisted world

気になっていたtwistedをちょっとだけ試してみました。名前からtwitterのライブラリか何かだと思っていたのは僕だけですかそうですか。実際はネットワークライブラリで、専ら、簡単に各種プロトコルを利用したアプリケーションを実装する事ができるという噂です。

Continue reading “hello twisted world”

Coroで効率良くスクレイピング

スクレイピング処理をしていると大量のリクエストを発行する事が多いので、サーバの応答待ち時間がもったいないと感じていたのですが、最近巷でよく目にするCoroというモジュールを調べてみた所、非同期処理が割と簡単に書けるという事で試してみました。

Continue reading “Coroで効率良くスクレイピング”

Hello plagger World

plaggerを触ってみました。結構時間がかかったのでメモ書きです。

練習のため、はてなブックマークのトップのRSSから、300件以上ブックマークされているエントリをCSVに、更にそのうち500件以上ブックマークされているエントリをDBに格納してみました。肝心のフィードを弄るところの理解が中々進んでいませんが、とりあえずは、以下の2つを覚えておけば欲しいフィードとエントリを集められそうです。

Continue reading “Hello plagger World”