続 カッコの付け方

AWSを始めとしたクラウドコンピューティング全般と、唯一神emacsにおける()の付け方についてだらだら書きます

Python

visidataでそこそこでかい生データをCLIでさくっと見る

もうこれ系の仕事について18年になる。よその業界の人から見ると「なんかパソコン使ってやる人」にひとくくりにされそうだが、職場によって結構やってることは違った。 そんな中でも振り返ってみるとそこそこでかい単ファイル(csv)を見る機会は結構あって、…

Healthchecksで定期実行ジョブの着火もれを検出する

日次でも月次でも、まず殆どのシステムで何かしらのバッチジョブというものを動かしていると思いますが、 そのバッチが確かに実行された ことを保証・監視することは結構難しいです。ジョブが起動しましたのタイミングでログを書き、終わってもログを書くと…

jsonの戻り値とか、複雑なオブジェクトからスマートにデータを抽出[JMESPath 最強説]

「パイセン、JSONで帰ってくる複雑な構造のオブジェクトをいい感じにするやつしらないっすか?」 「ああ、複雑な構造ね。しらん、専用の関数用意するとか?」 「やっぱ、そっすよねー」 全国津々浦々でこんな会話が繰り広げられてると思います。私も2回ぐら…

JSON中にDot(.)が含まれたキー名を変換する

最近なんでもかんでもJSONですが、MongoDB/ElasticsearchにJSONを突っ込もうとして問題にぶつかりました。具体的には表題の通りで、 キーにDot(.)を含むものが上手く動かない という点です。現状は キーにDotを使うな、もしもデータファイルに入っていたらコ…

Amazon Kinesis ライブラリ Python版を使ってみる

前回ご紹介したKCL for Python ですが、ちゃんと使ってみました。 と言いましても、ブログにある通り、サンプルを動かすだけなのですが、PyPiでインストールすると、勝手が違うので色々ハマりました、が何とか動作確認が出来ました。 では、順を追って説明し…

Amazon Kinesis ライブラリ Python版が利用可能に

Amazon Kinesisは秒間数千件単位のストリームデータを処理するのに適したソリューションです。Kinesisに対してのデータ送信は簡単ですが、問題はKinesisに集まってくるデータを処理する方法です。これに対し、Kinesis Client Libraryというライブラリが提供…

そろそろ OS X Mervericsにアップデートする

もう次のバージョンが出そうというところですが、今更 Marvericsksにアップデートしました。やっぱり色々ハマりました。 1ハマり iTerm2が動かない ターミナルが動かないと仕事が出来ないじゃないか!と冷や汗が出ましたが、brewのシンボリックリンクが切れ…

perl/python/rubyなど、スクリプト実行中の標準出力を、リアルタイムでリダイレクトできないとき

突然ですが、このコードを走らせている途中で in.txtを tail -f とかしたらどうなるでしょう? $ cat loop.pl #!/usr/bin/perl use strict; my $i = 0; while(1) { $i++; print STDOUT "hello".$i."\n"; print STDERR "hello-error".$i."\n"; sleep(1); } $ …

awscliを使おう

日々新しい機能が追加されるAWSですが、コマンドラインツールは是非入れておいたほうが良いです。botoを始め、プログラミングのために、各種言語用ライブラリもいいですが、コマンドラインが一番簡単に機能を試せます。 また、新機能が出るたびに頻繁にバー…