Python
もうこれ系の仕事について18年になる。よその業界の人から見ると「なんかパソコン使ってやる人」にひとくくりにされそうだが、職場によって結構やってることは違った。 そんな中でも振り返ってみるとそこそこでかい単ファイル(csv)を見る機会は結構あって、…
日次でも月次でも、まず殆どのシステムで何かしらのバッチジョブというものを動かしていると思いますが、 そのバッチが確かに実行された ことを保証・監視することは結構難しいです。ジョブが起動しましたのタイミングでログを書き、終わってもログを書くと…
「パイセン、JSONで帰ってくる複雑な構造のオブジェクトをいい感じにするやつしらないっすか?」 「ああ、複雑な構造ね。しらん、専用の関数用意するとか?」 「やっぱ、そっすよねー」 全国津々浦々でこんな会話が繰り広げられてると思います。私も2回ぐら…
最近なんでもかんでもJSONですが、MongoDB/ElasticsearchにJSONを突っ込もうとして問題にぶつかりました。具体的には表題の通りで、 キーにDot(.)を含むものが上手く動かない という点です。現状は キーにDotを使うな、もしもデータファイルに入っていたらコ…
前回ご紹介したKCL for Python ですが、ちゃんと使ってみました。 と言いましても、ブログにある通り、サンプルを動かすだけなのですが、PyPiでインストールすると、勝手が違うので色々ハマりました、が何とか動作確認が出来ました。 では、順を追って説明し…
Amazon Kinesisは秒間数千件単位のストリームデータを処理するのに適したソリューションです。Kinesisに対してのデータ送信は簡単ですが、問題はKinesisに集まってくるデータを処理する方法です。これに対し、Kinesis Client Libraryというライブラリが提供…
もう次のバージョンが出そうというところですが、今更 Marvericsksにアップデートしました。やっぱり色々ハマりました。 1ハマり iTerm2が動かない ターミナルが動かないと仕事が出来ないじゃないか!と冷や汗が出ましたが、brewのシンボリックリンクが切れ…
突然ですが、このコードを走らせている途中で in.txtを tail -f とかしたらどうなるでしょう? $ cat loop.pl #!/usr/bin/perl use strict; my $i = 0; while(1) { $i++; print STDOUT "hello".$i."\n"; print STDERR "hello-error".$i."\n"; sleep(1); } $ …
日々新しい機能が追加されるAWSですが、コマンドラインツールは是非入れておいたほうが良いです。botoを始め、プログラミングのために、各種言語用ライブラリもいいですが、コマンドラインが一番簡単に機能を試せます。 また、新機能が出るたびに頻繁にバー…