続 カッコの付け方

AWSを始めとしたクラウドコンピューティング全般と、唯一神emacsにおける()の付け方についてだらだら書きます

AWS

CloudWatchLogs データを入れてからのおたのしみ(概要編)

リリースから随分日が経っていますが、改めてCloudWatchLogsの良さを書きます。今回はLogs Agentや取り込みの話しは触れません。Logsに取り込んだは良いけど、どうしよう にフォーカスします。 その前にCWLogsの概要 長いのでCWLogsと略記。 CWLogsは文字通…

AWS EBS SSD (gp2 general purpose) バーストクレジット計算式

「EBS (gp2) のクレジットの回復レートってどんなの?」の質問に即答できなかったので、書いておきます。 結論、数式としては クレジット 0 -> Fullまでの時間 = 5,400,000(IO) ÷ ベースラインIOPS となります。 概要と用語 簡潔に EBSは 3000 IOPSまでのバ…

AmazonLinux や CentOS6 で upstart root以外で実行

もうオワコンである upstart で結構苦戦しました。やりたい事は単純に root以外のユーザーで実行したいということだけ upstart ? sysVと systemd の間にあったデーモン管理Tool(というか機構?)です。こいつは sysV とは違って systemdと共存出来ないので、オ…

jsonの戻り値とか、複雑なオブジェクトからスマートにデータを抽出[JMESPath 最強説]

「パイセン、JSONで帰ってくる複雑な構造のオブジェクトをいい感じにするやつしらないっすか?」 「ああ、複雑な構造ね。しらん、専用の関数用意するとか?」 「やっぱ、そっすよねー」 全国津々浦々でこんな会話が繰り広げられてると思います。私も2回ぐら…

GCEのSubNetwork対応による、変更点とAWSとの違い

昨年の12月頃らしいですが、GCEでもSubnetがサポートされました。最初、これを知った時 なんて無駄な機能をつけたんだ!Googleのパワーをこんなしょうもないことに使うな と思いましたが、調べてみるとGoogle流の考慮は入っていました。 ひとまず、このエン…

CloudFront ワイルドカードキャッシュクリアの不具合(修正済)

CloudFront(以下CFと略)を始め、CDNを利用するにあたり、まず注意することは、キャッシュを削除する手段を確立することです。CFはinvalidationをURL毎に発行することにより、このキャッシュクリアを実現していましたが、昨年、ワイルドカード (e.g /image/*)…

Crate.IO クラウドネイティブな新しいデータベースエンジン

Crate.IOという新しいDBエンジンが 2014 TCのアワードをとっていたらしい。それからもう1年近く立っていますが、正直なところ、流行っているのか定かではないです。が、誰もやらないことのほうが面白いのでやります。 Crate.IOとは? Crate でググると、木の…

unicast対応でよみがえる keepalived on VPC-EC2

AWSを始め、ほとんどのパブリッククラウドはmulticastが出来なくて不便。と言われてきましたが、だったらunicastでやってしまえば良い!という考え方が 2013年頃すでにありました。なぜmulticastをやりたいの?と言うと そうだね!、LVS + keepalived だね!…

VPC Flowlogが見づらいので、htmlでViewer作ってみた

VPC flowlogという機能が最近リリースされました。SGを通過した・蹴られたのログが取れるというものです。これ自体はとてもありがたいのですが、ログの閲覧はCloudWathLogsからとなり、コレがイケてない。だから何とかしたという話 どんなふうにイケてないの…

ipv6とAWS 繋がるから、運用まで

世の中の全てのデバイスがipv6グローバルIPアドレスを持つ時代が来る。そんな時代が来ると考えていた頃が私にもありました。 2015年になった今も、残念ながらipv4が主流のままです。また、足らないグローバルIPやら、本当はグローバルIP同士でやるべき通信を…

AWS ELB + SSL Termination下でEC-CUBEを正しく動かす

EC-CUBEをAWS上で運用するとき、良くある構成 今回の構成は SSL Termination を行い、ELB -> EC2(Webサーバ)間ではHTTPS(443)通信を行いません。この場合、EC2側は常にHTTP(80)で通信を受けるので、ユーザーのELBに対するアクセスがHTTPなのかHTTPSなのか普…

GoDaddyからRoute53によるDNS管理に変える方法

日本でDNSといえばお名前.comが有名ですが、GoDaddyは海外の老舗という感じで、かなり古くから存在し、今もドメインレジストラとして健在です。今回はGoDaddyからDNS管理をRoute53に変更します。レジストラとしてはGoDaddyのままで、Transferは行いません、T…

ELBを使うときの注意、/28のサブネットは狭すぎる!

AWSのVPC & Subnetのビットマスクは /16 - /28 です。この数字を聞いて 「狭い方はもう少し出来てもいいんじゃないか?」と私も思っていましたが、/28でも狭すぎます!特にELBを使う場合は、すぐにIPが尽きてしまいます。 なぜ狭いビットマスクを指定するの…

AWSの新しいVM Import ImportImage で複数ディスクを一気にAMIへ!

仮想環境(VMWareとか)からAWS EC2へコンバート&インポートする機能は、以前から存在しましたが、新しく Import Imageという方法がサポートされました。 今までと何処が違うのかと、実際にやってみたので紹介します。 http://aws.typepad.com/aws_japan/2015/…

S3のIAM設定のハマりどころ

以前書いた記事のS3のIAM設定ですが、最近のマネジメントコンソールだと怒られるので、修正版とその他ハマりどころを書きます。 S3で他人のディレクトリの中身が一切見れない、IAMの作り方 - 続 カッコの付け方iga-ninja.hatenablog.com StringEquals で ""…

RDSをSSD(General Purpose)で運用するときに注意すべきこと

EBSにSSDタイプが追加されてしばらく経ちましたが、 「でも、お高いんでしょ?」 「値段調べたけど、そんなに高く無いし、SSDだったら絶対に早いよね!HDDよりは」 という先入観があると思いますが、ちゃんと調べてみました。 素晴らしいドキュメント それは…

RDSのディスクを後から変更するときに、リブートはどうなる?

今回は、RDSのディスク変更に伴うリブートの確認を行いました。前回のエントリで、mysqlの死活を秒間で確認するスクリプトを用意しているので、そいつを裏で回しておきます。 RDSでParameter Groups変更時のDBリブートについて調査してみた - 続 カッコの付…

RDSでParameter Groups変更時のDBリブートについて調査してみた

RDSはインスタンスのスペックに応じて、自動でDBパラメータを調整してくれるのが売りでもありますが、どうしても変更したいパラメータがあったりします。有名なところでは max_allowed_packet character_set_xxx 系 この辺りのパラメータや、もっと重いパラ…

AppStreamでGoogleEarthをグリグリ動かす

AppStreamはレンダリングなどの重い処理をサーバー上で行い、絵だけを高速に様々なクライアントデバイス(スマホ、タブレット含む)に投げつけるサービスです。 AppStreamの存在意義 その手法の筋がいいか悪いかは別として、AppStreamの目指す分野はクラウド化…

CloudFrontで日本語URLをInvalidation(キャッシュクリア)するには

マネジメントコンソールでも URLエンコードせよ! 以上 こんな感じで怒られます。 URLエンコードも含めて、Chromeで確認するのが良いです。 こいつをInvalidationにぶち込んでやればOKです。

aws-cli で使える --query = jmespath をガッツリ使い込む

すでに結構色んな所で取り上げられている aws-cli の --queryですが、使ってみました。 とりあえずこれ試してみよう! JMESPath Tutorial — JMESPath これを紹介だけで、このエントリの90%の価値が含まれております。騙されたと思ってやってみて。ぜひ 能書…

aws-cli で CloudFrontを操る (invalidation以外)

現時点では aws cli による CloudFront操作はプレビュー版です。ですが、一応動作は確認できた。 長くなったので、短縮版 aws cloudfront get-distributionで現状をjson でファイル出力 作ったファイルを修正 null => "" , Id: つける, ETag => IfMatch aws …

Route53のヘルスチェックにCloudFrontの動作確認をさせる

Route53のヘルスチェックは文句なしに良いサービスです。これを使ってCloudFrontのようなCDNサービスが正常に動いているか、ゆるくチェックしてもらいます。 概要 CloudFrontはCDNです。1つのオリジンをいろんなエッジロケーションから配信するのですが、す…

Route53のAliasレコードを正しく理解する

AWSのほとんどのサービスの冗長化はほとんどDNSに依存しています。それ故に、かなり早い段階からRoute53というDNSサービスをリリースしています。その中でも特に積極的にRoute53を使う理由は、このAlias機能にあります。 Aliasとは ほとんどの人にとっては、…

S3で他人のディレクトリの中身が一切見れない、IAMの作り方

S3はIAMと組み合わせることにより、ファイルサーバ(Windowsの共有的な)のような構成を組むことも可能です。先にいうと、バケット単位での設定は結構簡単ですが、バケットは同じ、ディレクトリで分離という方法をなんとかします。 やりたいこと 目指すはコモ…

S3 Policy Generatorがどっかに行った?

小ネタです。 マネジメントコンソールの表示変更は日常茶飯事ですが、今日Policy Generatorを使おうとしたらいつもの場所に無い!何処へいった? ここにあった! 下記のIAM左メニューの Policiesから Policy Generator を Select あとはいつもの見慣れた画面…

ElasticBeanstalk -> ELB 2台化

備忘録。ebの設定でさすがにELB2台はできない。ゲスな手順で挿げ替えを行う。 一旦ebを作る AutoScalingの設定を覚えておく ebのAutoScalingGroupを一旦消す 2代目のELBを作る。設定はebのELBと同じ AutoScalingを再作成、だが、4.で作ったELBとebのELBを両…

ELB色々調べた

ELBついて色々調べた ELBとAutoScalingについて Web系システムではほぼセットで使うので、ごっちゃになりやすいが、本来ELBとAutoScalingは べつものなので、はっきりさせておく。 ELBのお仕事 ELBは、LB配下のノードのヘルスチェックを行い、死んでいるノー…

AWS CLI あるある 「ファイルの中身を引数にしたい」

AWS CLIを使っていてよくあるのが $ aws iam upload-server-certificate --server-certificate-name --certificate-body <ファイルじゃだめよ> というパターンです。 とくに結構長いJSONファイルを渡す必要がちょくちょくあり(特にEMRとか)こんな長いJSONコ…

あえてインスタンス・ストアのEC2を立ち上げてみる

小ネタです。 昔のAWSでよく言われていたのが、「うっかりStopするとデータがきえるよ!」です。この形式のAMIをインスタンスストアバックエンド等と言ったりします。今はEBSというブロックストレージが永続データを保管するので、Stopしてもデータは消えな…

AWS CloudSearch値下げ

ElasticSearchとよく間違えられる、AWSのサービスであるCloudSearchですが、値下げが発表されました。 https://aws.amazon.com/jp/blogs/aws/cloudsearch-price-reduction-plus-features/ 元の値段がいくらか忘れてしまったので、Billing履歴から確認してみ…

re:Invent まとめ  その2

引き続きre:Inventで発表されたことのうち、残りのアップデートについてまとめてみます。どちらかと言うと、AWSバンバン使っている人向けのように感じましたが、どこがすごいかを説明したいと思います。 1. EBSが更にスペックUP AWS上の永続ディスクかつブロ…

re:invent 2014 まとめ

re:Inventで発表されたことを、私なりにまとめてみます。今回はこれからAWSという人にも、もうバリバリAWSです、という人にも内容の濃い発表だったと思います。世間の熱気と、自分の感じたところからも、ランキング形式で振り返ります。まずは、世間の注目に…

AWS CodeDeploy を使ってみる (その1(予定))

AWS CodeDeployがロンチされました。名前の通り、Deployを支援するサービスで、これ自体に料金はかかりません。ざっと触ってみた印象では、ElasticBeanstalkに似ているなという感じです。ネットワーク&サーバー構築部分はCloudFormationで、そこから後のソー…

AWS Key Management Service (KMS)

続々発表されているre:Inventですが、少しマニアックな Key Management Serviceというものが始まりました。文字通りですが、暗号化ならびに復号化のために使うキーを、AWS上でマネージするというものです。s3はSSEといって、サーバー側で暗号化した状態で保…

Amazon Auroraとはなんぞや?

新しいRDSのエンジンとして Amazon Auroraが発表されました。リミテッドプレビューということなので、申し込みはしたもののまだ使えないので、まとめ記事を書いてみます。未ださわれていないので、なんとも言えないところが多いのですが、印象としてはFusion…

CentOS6.5 のrootパーティションEBS拡張する方法 (RightScale)

EC2の便利な点として、EBSのスナップショットが簡単に取れること、ディスク追加がオンラインで簡単にできることが有ります。しかも、殆どのLinuxにおいては、EBSの拡張に準じてファイルシステムも自動拡張(cloud-initが頑張っているらしい)しますが、ものに…

CloudTrail + CloudWatch Logs の理想的な連携

re:Invent の週ですが、CloudTrailとCloudWatchLogsのナイスな連携が実現されました。 https://aws.amazon.com/blogs/aws/cloudtrail-cloudwatch-integration-partners-too/ 「僕の出番がなくなるじゃないか!」 と言わんばかりに、楽させてくれます。CloudT…

Workspaces ValueバンドルとOffice2013追加 (Standardもパワーアップ)

先週もゴールデンイメージのサポートなど、続々新機能が更新されているWorkspacesですが、さらに新しいバンドルが追加されました。Valueバンドルです。 さらに、今まではOffice2010のみバンドルが選択できましたが。Office2013も選択可能になりました。ただ…

ELB & Route53 Aliasレコード (ipv6も!)

トップレベルドメインに対してCNAME相当を使うときに、Route53 の Aliasを使います。ELBはIPアドレスが可変であるため、Aレコードは実質使えないためです。Aliasとは、CNAMEっぽいAレコードです。 Private DNSが対応の検証前に、ちょっとマネジメントコンソ…

DynamoDB Chromeで使いづらいのを何とかする

DynamoDB JSON型サポートということで、早速使ってみたところ、マネジメントコンソールからのデータ追記がやりづらかったので、調べました。この問題は、Chromeが悪く、AWSマネジメントコンソールは悪く無いです。現にFirefoxでは問題なく動きます。 Chrome …

Amazon Kinesis ライブラリ Python版を使ってみる

前回ご紹介したKCL for Python ですが、ちゃんと使ってみました。 と言いましても、ブログにある通り、サンプルを動かすだけなのですが、PyPiでインストールすると、勝手が違うので色々ハマりました、が何とか動作確認が出来ました。 では、順を追って説明し…

AWS新リージョン フランクフルトへのネットワーク観測

新リージョンフランクフルトを中心に、各AWSリージョンからのPingとNetperfを比較してみました。東京からの距離は遠いので、EUを中心にしても測定しました。pingパケットサイズはデフォ、netperfはTCPです。インスタンスはすべてt2.microです。 東京 -> フラ…

AWSドイツ フランクフルト リージョン

最近 re:Invent前だというのに、大きな発表が続々出ているAWSですが、新リージョンが発表されました。 https://aws.amazon.com/blogs/aws/aws-region-germany/ EUはアイルランドのみだったので、新たな選択肢になります。 現時点でのサービスインは VPC系 EC…

CloudWatch Logs on Windows 2012 Server

以前に紹介したCloudWatch Logs ですが、Windows Server向けにもLog送信サービスが開始されました。 実は結構前からサポートしていたようで、いろんなブログで紹介されておりますが、みんなが一番やりたいであろうアプリケーションログ(カスタムログ)を投げ…

Amazon Kinesis ライブラリ Python版が利用可能に

Amazon Kinesisは秒間数千件単位のストリームデータを処理するのに適したソリューションです。Kinesisに対してのデータ送信は簡単ですが、問題はKinesisに集まってくるデータを処理する方法です。これに対し、Kinesis Client Libraryというライブラリが提供…

Amazon WorkSpaces ゼロクライアント対応

つい最近東京リージョンでサービス開始したWorkspacesですが、新たにゼロクライアントの対応がされました。 https://aws.amazon.com/jp/blogs/aws/workspaces-zero-client/ で、ゼロクライアントって何?ということですが、私も知りませんでした。このゼロク…

AWS CloudTrail Amazon SNSも対象に

CloudTrailとは、AWS上のAPIコールをログに保存するサービスです。ほぼほぼ現時点においてもシステムそのものは完璧だと思いますが、ベータとなっています。その理由は、全てのAWS全てのサービスには未だ対応していないという現実のせいだと予測しますが、晴…

EC2にタグ付け

タグがもてはやされてはや5年(ぐらい?)タグの良い所は、ブックマークと異なり、1つのものに対し、複数のタグが付けられることです。私の大嫌いなことに、カテゴリ分けがあります。カテゴリもブックマークと同じようなもので、原則どこか1つに属することにな…

AmazonLinux で python2.7 + apache + djangoを構築する

AmazonLinuxは特にLL用のrpmをどっさり用意してくれています。pythonの場合は、ベースが2.6ですが、2.7のrpmが用意されています。2.7でmod_wsgiをやる方法について、書いておきます。 方針ですが 1. なるべくrpmだけで解決したい。ソースコンパイルはやらな…