When it’s ready.

出来るまで出来ない

2009-04-01から1日間の記事一覧

GAEのRemoteAPIを使って大量のEntityを消す。それも素早く

RemoteAPI使ってデータ消してる時に、気づいた。消し方によってはめちゃくちゃ時間がかかる。以下、実際のShellをペースとして、適宜コメント付けてみる。 今回は転置インデックスの構造を変えたので、以前のデータが要らなくなったので消す作業 # 転置イン…

gae上でDataStore使わずにmemcacheで転置インデックス作ってみた。

あまりテストをしてないけど、少なくとも100倍くらい速いし、まず時間かけ過ぎで落とされない。これはとても大きい。 以下、コード def uniqueInverseIndex(feed_id, text): try: ngram = NgramTokenizer(feed_id, text) ngram.setNgramArr(2) except: respo…