まず概要の把握ですが、僕は「サルにもわかるRSA暗号」を流してから、「RSA暗号体験入門」を読んだらとりあえず解った気になりました。

次に処理の流れをopensslコマンドで確認してみます。ここでは鍵を生成 => テキストを暗号化 => 復号を確認しました。なお秘密鍵を生成する際のビット数はデフォルトでは512で、普通は1024以上指定するようですが、数が大きくなると確認しづらいので256ビットを指定しています。

$ openssl genrsa -out priv.pem 256
Generating RSA private key, 256 bit long modulus
.+++++++++++++++++++++++++++
.................+++++++++++++++++++++++++++
e is 65537 (0x10001)
$ openssl rsa -in priv.pem -pubout -out pub.pem
writing RSA key
$ echo "hello rsa" > hello.txt
$ openssl rsautl -encrypt -pubin  -inkey pub.pem -in hello.txt -out hello.txt.crypto
$ openssl rsautl -decrypt -inkey priv.pem -in hello.txt.crypto
hello rsa

なんとなく流れは掴めた気がしますね。

さて鍵の生成はopensslコマンドでやれば良いとして、それを使って暗号化・復号をプログラムからやりたいですね。そこで次に上で作った秘密鍵・公開鍵をPythonから使ってみます。名前的にはrsaモジュールを使いたいのですが、手元では色々と怪しい動きをしていたので、おとなしくPyCryptoを使うのが良さそうです。

import Crypto
from Crypto.PublicKey import RSA

pub = RSA.importKey(open('pub.pem', 'r').read())
priv = RSA.importKey(open('priv.pem', 'r').read())

text = open('hello.txt', 'r').read()
crypto = pub.encrypt(text, '')
print priv.decrypt(crypto)

print 'PRIVATE KEY:\n  p=%s, \n  q=%s, \n  n=%s, \n  d=%s, \n  e=%s' % (priv.p, priv.q, priv.n, priv.d, priv.e)
print 'PUBLIC KEY:\n  n=%s, \n  e=%s' % (pub.n, pub.e)

これを実行すると以下のようになります。数が大きすぎて良く解らないですが、何となく正常に動いてる気がしますね。

hello rsa world

PRIVATE KEY:
  p=312812244098101569570522771086507368199,
  q=261732496899955705693539027437044751693,
  n=81873129708674556552097159647951377728324724985548367405770094930146879610907,
  d=61350191904775909756579327908681267205274632675124298948670533913070326529385,
  e=65537
PUBLIC KEY:
  n=81873129708674556552097159647951377728324724985548367405770094930146879610907,
  e=65537

折角なので学習のため先ほどのエントリで書いたmodinvを使って自分でも計算してみます。

>> def calc(base, exp, modulus):
>>     ans = 1
>>     while exp < 0:
>>         if exp & 1:
>>             ans = (ans * base) % modulus
>>         exp >>= 1
>>         exp = int(exp)
>>         base = (base * base) % modulus
>>     return ans
>>
>> (p, q) = (65537, 55079)
>> m = p * q
>> phi = (p - 1) * (q - 1)
>> e = 65537
>> d = modinv(e, phi)
>> orig = 2900
>> encoded = calc(orig, e, m)
>> print encoded
60945415393350116455581236569596858319975698828166554225855598846369380497015
>> decoded = calc(encoded, d, m)
>> print decoded
2900

値が大きくなるのでベキ乗計算が少し面倒ですが、暗号化と復号ができました。まだ文字列をどうやって暗号化可能な数値に変換してるのかとか細かくは理解してないですけど何となくつかめた気がしてます。

さて最後にフォーマットについて確認します。opensslで生成した鍵(priv.pem, pub.pem)はPEM形式というやつで、中身はDER形式のデータをbase64でエンコードしたもののようです。例えば上で生成したファイルは下記のような姿をしています。

-----BEGIN RSA PRIVATE KEY-----
MIGqAgEAAiEAtQKMmuoZNSc0jZe/TDf1p3bQraYwXvBkOdFSwJAkIBsCAwEAAQIh
AIei+mOXKf53e1ziqhleEXgAni7HKueUV/bWLRzb+D1pAhEA61VyYLHy31RSLJ3l
aWXfBwIRAMTn2GbiUscRRmBm9aiR3U0CEDnyEzS9/EiDUayMwHVAUTcCEBgXDWC4
+8ujD2sn7ZIsFlkCECAVBGiJ4VrYG6HTGgTflU4=
-----END RSA PRIVATE KEY-----

このファイルをDER形式に変換してみます。やはりopensslコマンドを使用します。

$ openssl rsa -inform PEM -outform DER -in priv.pem -out priv.der

変換後のDERファイルの内容をやはりopensslコマンドで読みます。この数値が大きい時に使われる表現をもとの数字に戻す方法が解らないのでどなたかご存知であれば教えてください。

$ openssl rsa -inform DER -in priv.der -text -noout
Private-Key: (256 bit)
modulus:
    00:b5:02:8c:9a:ea:19:35:27:34:8d:97:bf:4c:37:
    f5:a7:76:d0:ad:a6:30:5e:f0:64:39:d1:52:c0:90:
    24:20:1b
publicExponent: 65537 (0x10001)
privateExponent:
    00:87:a2:fa:63:97:29:fe:77:7b:5c:e2:aa:19:5e:
    11:78:00:9e:2e:c7:2a:e7:94:57:f6:d6:2d:1c:db:
    f8:3d:69
prime1:
    00:eb:55:72:60:b1:f2:df:54:52:2c:9d:e5:69:65:
    df:07
prime2:
    00:c4:e7:d8:66:e2:52:c7:11:46:60:66:f5:a8:91:
    dd:4d
exponent1:
    39:f2:13:34:bd:fc:48:83:51:ac:8c:c0:75:40:51:
    37
exponent2:
    18:17:0d:60:b8:fb:cb:a3:0f:6b:27:ed:92:2c:16:
    59
coefficient:
    20:15:04:68:89:e1:5a:d8:1b:a1:d3:1a:04:df:95:
    4e

全然細かい事は調べれてないのですが、何となくRSAの概要が把握できた気になっていて、コード追うくらいはできそうなのでこの辺にしておきます。

ちょっと検索すると本家MLの過去ログからビンゴなスレッドがありました。要はローカルからの接続時に認証を一旦外してパスワード変更後、元に戻すというものです。認証を設定しているのはpg_hba.confというファイルで僕の手元では下記の位置にありました。md5(パスワード認証)となっている認証形式をtrustに書き換えます。

$ sudo vim /Library/PostgreSQL/9.1/data/pg_hba.conf
- local   all             all                                     md5
+ local   all             all                                     trust

設定ファイルを修正後に再起動すると、postgresユーザでパスワードなしでログインできます。あとはALTER USERでパスワードを変更しましょう。

$ sudo -u postgres ./bin/pg_ctl restart -D/Library/PostgreSQL/9.1/data
$ psql -U postgres
postgres=# ALTER USER postgres WITH ENCRYPTED PASSWORD 'new password';
postgres=# \q

パスワードの変更が終わったら認証形式を元に戻しておきます。postgresユーザのパスワード忘れても何とか大丈夫なもんですね。

$ sudo vim /Library/PostgreSQL/9.1/data/pg_hba.conf
+ local   all             all                                     trust
- local   all             all                                     md5
$ sudo -u postgres ./bin/pg_ctl restart -D/Library/PostgreSQL/9.1/data
$ psql -U postgres
Password for user postgres:

一番最初に触ったデータベースがPostgreSQLだったので結構好きだったはずなんですけど、何年か使ってないくらいで綺麗サッパリ使い方を忘れていたので、ついでにちょっとだけリハビリです。

$ psql -U postgres
postgres=# \l      # データベース一覧
postgres=# \c db1  # データベース選択
db1=# \dt          # テーブル一覧
db1=# \d table1    # テーブルスキーマ
db1=# \d SELECT datname, pg_size_pretty(pg_database_size(datname)) FROM pg_database; # 各テーブルのサイズ
db1=# \q

herokuのShared Databaseもpsqlから接続できたら良いのになと思う今日この頃です。あとせめて50MBくらい容量欲しい。

これはちょっと習得しておきたいなと思うものの、上述のような特定の処理以外は他の言語と比べてあまりに貧弱です。今回使用した処理系の標準ライブラリはこれだけしかありません。

なので必要に応じてPrologを別の言語から使うという方が現実的なのかなということで、とりあえずPythonインターフェースを試したのですが、動かなかったので仕方なしにC言語から使ってみる事にしました。なお処理系はSWI-Prologというのを使う事にしました。(手元だとGNU Prologが日本語で文字化けを起こしました。)

まず以下のPrologのコードを見てください。ドラクエの道具屋(アリアハン)です。

% shop.pl
item(やくそう, 8).
item(どくけしそう, 10).
item(キメラのつばさ, 25).
item(おなべのフタ, 50).
 
available(G, X) :-
	item(X, G0),
	G0 =＜ G.

availableという述語を定義していて、持ち金(G)を指定してクエリを投げると、購入可能なアイテムが得られます。Prologからの実行は以下のようになります。

?- ['shop.pl'].
% shop.pl compiled 0.00 sec, 2,216 bytes
true.

?- available(10, X).
X = やくそう;
X = どくけしそう;
false.

?- available(100, X).
X = やくそう;
X = どくけしそう;
X = キメラのつばさ;
X = おなべのフタ.

これをC言語から使う訳ですが、公式ドキュメントによると以下のような手順になります。

1. C言語から使用したいPrologの述語が記述されたplファイルを準備する(今回はshop.pl)
2. Prologを叩くC言語のファイルを準備する(今回はmain.cpp)
3. SWI-Prologにバンドルされているswipl-ldというツールでビルドして実行ファイルを作成

本来はPrologで使用する述語もC言語側から追加したいのですが、今回はまぁ良しとします。さて手順1のshop.plはもう準備できているので手順2から進める事にします。

手順2
C言語のコードを書きます。大した処理でもないのですが、まぁ情報が無いので苦労しました。処理の流れは、PL_initializeで初期化して、PL_Predicateでクエリに必要なpredicate_tオブジェクト(SQLみたいなイメージ)を構築します。作成したpredicateをPL_open_queryでPrologにクエリを投げて、PL_get_charsなんかで結果を取得するというものです。

#include <stdio.h>
#include <string.h>
#include <SWI-Prolog.h>

int main(int argc, char **argv) {
    if (argc == 1) {
        printf("Usage: shop [持ち金]\n");
        exit(0);
    }

    // initialize
    char* program = argv[0];
    char* plav[2] = { program, NULL };
    if (!PL_initialise(1, plav)) {
        PL_halt(1);
    }

    // build query
    int money = atoi(argv[1]);
    predicate_t pred = PL_predicate("available", 2, NULL);
    term_t h0 = PL_new_term_refs(2);
    term_t h1 = h0 + 1;
    PL_put_integer(h0, money);

    // exec query
    qid_t qid = PL_open_query(NULL, PL_Q_NORMAL, pred, h0);
    while (PL_next_solution((qid))) {
        char *s = NULL;
        PL_get_chars(h1, &s, CVT_ALL|REP_UTF8);
        printf("%s\n", s);
    }
    PL_close_query(qid);

    // cleanup
    PL_cleanup(1);

    return 0;
}

とにかく情報が無いのが一番困りました。唯一サンプルコードが見つかったのがコチラのページです。フランス語ですけど。少しハマったのがPL_get_charsで文字列を取得する際には上記のフラグを指定しないと文字列として取得できないという事です。あとPL_open_queryからPL_close_queryまでを一纏めにしたPL_call_predicateを使うと、何故か想定通りの挙動をしませんでした。

手順3
次にビルドします。これは簡単ですね。

$ swipl-ld -o shop main.cpp shop.pl
$ ls
main.cpp        shop            shop.pl

ところでswipl-ldは幾つかのビルド処理を一纏めにしているユーティリティです。内部で何が起こっているかは-vオプションを追加すると見れます。詳細は調べてませんがswiplに何やら怪しい処理をさせていますね。気が向いたらもう少し突っ込みたいところです。

$ swipl-ld -v -o shop main.cpp shop.pl
        eval `swipl --dump-runtime-variables`
                CC="gcc"
                PLBASE="/usr/lib/swipl-5.6.63"
                PLARCH="i386-darwin10.8.0"
                PLLIBS="-lpl"
                PLLIB="-lpl"
                PLCFLAGS="-no-cpp-precomp -pthread -fno-common"
                PLLDFLAGS="-O3 -pthread"
                PLSOEXT="dylib"
                PLTHREADS="yes"
        g++ -c -no-cpp-precomp -pthread -fno-common -D_REENTRANT -D__SWI_PROLOG__ -D__SWI_EMBEDDED__ -I/usr/lib/swipl-5.6.63/include -o main.o main.cpp
        g++ -o shop -O3 -pthread main.o -L/usr/lib/swipl-5.6.63/lib/i386-darwin10.8.0 -lpl -lpl
        swipl -f none -F none -g true -t "consult(['shop.pl']),qsave_program('pltmp-98271',[goal='\$welcome',toplevel=prolog,init_file=none])"
% shop.pl compiled 0.00 sec, 5,272 bytes
% halt
        cat pltmp-98271 >> shop
        chmod 755 shop
        rm main.o
        rm pltmp-98271

以上で実行ファイルshopが生成されました。早速実行してみます。ライセンスとかが出力されて不満ですが、まぁ最低限の挙動は示していますね。

$ ./shop 10
Welcome to SWI-Prolog (Multi-threaded, 64 bits, Version 5.6.63)
Copyright (c) 1990-2008 University of Amsterdam.
SWI-Prolog comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to redistribute it under certain conditions.
Please visit http://www.swi-prolog.org for details.

For help, use ?- help(Topic). or ?- apropos(Word).

やくそう
どくけしそう

以上、SWI-PrologをC言語から触ってみました。GNU Prologの場合は少しインターフェースが異なるようなので注意してください。まぁ正直Cから使えても仕方が無いのでPythonから使えない理由を少し探ってみたいと思います。Pythonの他に、Perlにもインターフェースが用意されているようですね。

mysql> status;
--------------
mysql  Ver 14.14 Distrib 5.1.51, for apple-darwin10.3.0 (i386) using readline 5.1
...
Server characterset:    latin1
Db     characterset:    latin1
Client characterset:    latin1
Conn.  characterset:    latin1
...
--------------

で、この設定のままutf8な文字列を突っ込んでて、でも別にmysqlコマンドやらpythonのMySQLdbやらから読み書きしても文字化けしないし、まぁ良いかと思ってほったらかしてた訳です。そしたらDjangoから読もうとしたら文字化けしたので、なんでやねんと思って調べたのでメモしておきます。

ちょっと調べたところDjangoはデータベースに対してutf8のデータを要求するようです。そうするとMySQLは自分の中にlatin1の文字列が入っていると思い込んでいるので、格納されている文字列をlatin1からutf8に変換しようとする訳ですね。結果utf8で格納されている文字列に対して、無理矢理latin1からutf8への変換をかけて化けるという事でした。

なぜDjango以外のケースで化けなかったかというと、クライアントがlatin1のデータを要求したせいで、データベースで変換処理が走らず、結果的には化けないと。まぁタマタマ動いていただけですね。ダメダメです。

さて化けてた理由はわかりましたが、すでにlatin1なテーブルにutf8で数十万件ほどデータを突っ込んでしまっています。my.cnfなんかで慌ててutf8な設定にしても当然解決されませんし、テーブルの文字コードを変更しても化けたままです。しょうがないから変換スクリプトでも書くかと思っていると、MySQLのリファレンスに解決方法が書かれていました。抜粋したものが以下になります。

ALTER TABLE t1 CHANGE c1 c1 BLOB;
ALTER TABLE t1 CHANGE c1 c1 TEXT CHARACTER SET utf8;

リファレンスによるとテキストなカラムとblobなカラム間では変換処理は走らないようです。なのでblobを経由させると変換処理を発生させずに、MySQLにデータに対する認識を変更できるという事ですね。この場合はlatin1だと思われているutf8な文字列を、utf8として認識させ直すことができました。ちなみに僕は一度blobを介さずにutf8にalter tableして、バックアップを取ってなくて終わったと冷や汗をかきましたが、すがる思いでlatin1に再度alter tableしたら、元通りになりました。運がよかったのか、そういうものなのかは未検証です。

という訳で、文字コードlatin1のまま使って、やっちまった!と思ったけど、ALTER TABLE使えば何とかなったという話でした。まぁ最初から文字コードくらいちゃんと設定しとけという事ですね。

[mysqld]
default-character-set=utf8

まずはnginxユーザとグループを作成します。adduserはないので、dsclコマンドを使います。面倒ですが、パラメータを一つずつ設定していく感じのようですね。

$ dscl . -list /Groups PrimaryGroupID | sort -k 2 -n  # 開いているIDを確認
$ sudo dscl . -create /Groups/nginx PrimaryGroupID 1001
$ sudo dscl . -create /Users/nginx UniqueID 1001
$ sudo dscl . -create /Users/nginx PrimaryGroupID 1001
$ sudo dscl . -create /Users/nginx UserShell /usr/bin/false

続いてnginxをインストールします。これはlinux上での作業と同じですね。

$ curl -O http://nginx.org/download/nginx-1.0.3.tar.gz
$ tar zxvf nginx-1.0.3.tar.gz
$ cd nginx-1.0.3
$ ./configure --conf-path=/etc/nginx.conf --user=nginx --group=nginx
$ make
$ sudo make install

さてインストールしたnginxをデーモンとして扱いたい訳ですが、OSXにはinit.dな仕組みがありません。代わりにlaunchdとlaunchctlを使うようです。launchd周辺については、itmediaにわかりやすい記事があったので、とりあえず読んだら良いと思います。

launchdにデーモンを登録する際に必要なことは、登録したいデーモンの情報を記述したplistファイルを作成して適切なディレクトリに置くという事です。今回は以下のファイルを作成しました。

< ?xml version="1.0" encoding="UTF-8"?>
< !DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" 
                       "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
  <dict>
    <key>Label</key>
    <string>org.nginx.nginx</string>
 
    <key>Program</key>
    <string>/usr/local/nginx/sbin/nginx</string>
 
    <key>KeepAlive</key>
    </dict><dict>
        <key>NetworkState</key>
        <true />
    </dict>
 
    <key>StandardErrorPath</key>
    <string>/var/log/system.log</string>
 
    <key>LaunchOnlyOnce</key>
    <true />
 
</plist>

また作成した設定ファイルを置ける場所は複数あって、どこが正しい場所なのか迷っていたのですが、launchdのmanを見ると以下の記述がありました。

~/Library/LaunchAgents         Per-user agents provided by the user.
/Library/LaunchAgents          Per-user agents provided by the administrator.
/Library/LaunchDaemons         System-wide daemons provided by the administrator.
/System/Library/LaunchAgents   Per-user agents provided by Mac OS X.
/System/Library/LaunchDaemons  System-wide daemons provided by Mac OS X.

この感じだと/Library/LaunchDaemonsに入れたら良さそうです。この後以下のコマンドを実行すればサービスの登録が完了します。

sudo launchctl load -w /Library/LaunchDaemons/org.nginx.nginx.plist

以上で、nginxがOSX上で動くようになりました。ただ現状、手元ではlaunchctlコマンドからnginxの再起動やリロードが上手く行きません。開発環境なので、とりあえず放置する事にしましたが、サービス周辺の仕組みがlinuxと比べるとなんか複雑でイマイチだなぁ、という印象です。