続 カッコの付け方

AWSを始めとしたクラウドコンピューティング全般と、唯一神emacsにおける()の付け方についてだらだら書きます

AWS

バケットポリシーとCloudTrail Logの組み合わせ

今回書くことは、もうすでに手垢がついているので、なるべくさらっと書きます。 2022/02/01今更ですが更新 ACLやめればすべて解決! 【アップデート】S3でACLを無効化できるようになりました #reinvent | DevelopersIO テーマはバケットポリシーとクロスアカ…

localstack有料版をちゃんと使ってみる

数ヶ月前にカッとなって課金だけしてたlocalstack Pro版を触ってみたのでその記録 localstackのPro(有償)版とは? localstackはaws-apiをローカル環境で再現するものです。それの有償版がPro。できること・できないことは https://localstack.cloud/ を見て…

EC2 roleや ECS task role の知識をUpdateする (IMDSv2とかも)

まず最初に、本当にやりたかったことと、調べているうちにだいぶ脱線して得た知識を書いてます。少々規模がでかいです。 最初にやりたかったのは、 EC2 role (Instance Profile) を使っているときに awscliとかで Unable to locate credentials が稀に出ると…

ec2 launch templateを参照しようとして you are not authorized to use the launch template

答え ec2:RunInstances の権限を付与せよ Launch Template Support - Amazon EC2 Auto Scaling やろうとしたこと terraform で ASGを launch templateでやろうとして発生。 resource "aws_launch_template" "lt" { name = "test" instance_type = "t3.large"…

Google Data Studio から AWS athena につなぐ

最近流行りのワンイシューってやつに見せかけてちょっと寄り道します。タイトルの通りですが、Data Studio の知名度や、GASについて色々気づいた点も触れます。実は応用の効く内容です。 Google Data Studio ってなによ? Googleが提供しているBIツールです…

EC2 DNS名前解決制限をECSでも回避する方法

非常にググりにくい事柄なんですが、なるべく浮世離れしないタイトルとして書きます。 EC2(正確にはENI)からの名前解決、つまりリゾルバとしてのOutboundには、全て制限がかかっています。1024パケット/秒です。 VPC での DNS の使用 - Amazon Virtual Priva…

AWSでGCEぽく、Lambdaでインスタンス起動時にDNS自動登録する

GCEでインスタンスを起動するときに、先にホスト名を決める必要があります。AutoScaling等の場合は、勝手にプリフィックスがついて名前被りを避けます。これによりAWSのようなIPアドレスベースの使いにくいFQDN(Internal)ではなく、直感的な名前で名前解決が…

運用ベースのecs-cli利用手引き

ecsへのアプリケーションデプロイはecs-cliが最も優れていると思いつつも、結構わかりにくいツールであるのは間違いないです。その解説をするのですが、この投稿ははっきり言って上級者向けで docker-compose かなり使いこなせる AWS ECS の基礎がわかってい…

SSM Agentとか無視して Windowsで CloudWatch Agentを使う

もう4年前の話ですが、CloudWatch Logsへのログ送信をWindowsで行う場合の記事を書きました。 CloudWatch Logs on Windows 2012 Server - 続 カッコの付け方 もうこの内容は古くなって久しいですが、なるべく昔ながらのやり方で ファイルを書いてサービス起…

わかったつもりのCloudWatch

CloudWatchのプリセット(ビルトイン)メトリックスに関する記事です。カスタムメトリックスには殆ど触れません。 世の中には2つのタイプの製品があると思います。 説明書を読まなくても使える 説明書を読まないとハナから使えない AWS CloudWatchは 明らかに…

AWS NLB 初心者向け説明 (特にHealthCheck)

続々とELBに機能が追加されていますが、今更ですがNLBについて書きます。 今更NLBの記事を書くことに意味があるのか?と自問しましたが、一応 (初心者向け) と (HealthCheck) という切り口で、なるべく優しく書こうと思います。 NLBについて 先に言っておき…

CloudWatchLogs データを入れてからのおたのしみ(概要編)

リリースから随分日が経っていますが、改めてCloudWatchLogsの良さを書きます。今回はLogs Agentや取り込みの話しは触れません。Logsに取り込んだは良いけど、どうしよう にフォーカスします。 その前にCWLogsの概要 長いのでCWLogsと略記。 CWLogsは文字通…

AWS EBS SSD (gp2 general purpose) バーストクレジット計算式

「EBS (gp2) のクレジットの回復レートってどんなの?」の質問に即答できなかったので、書いておきます。 結論、数式としては クレジット 0 -> Fullまでの時間 = 5,400,000(IO) ÷ ベースラインIOPS となります。 概要と用語 簡潔に EBSは 3000 IOPSまでのバ…

AmazonLinux や CentOS6 で upstart root以外で実行

もうオワコンである upstart で結構苦戦しました。やりたい事は単純に root以外のユーザーで実行したいということだけ upstart ? sysVと systemd の間にあったデーモン管理Tool(というか機構?)です。こいつは sysV とは違って systemdと共存出来ないので、オ…

jsonの戻り値とか、複雑なオブジェクトからスマートにデータを抽出[JMESPath 最強説]

「パイセン、JSONで帰ってくる複雑な構造のオブジェクトをいい感じにするやつしらないっすか?」 「ああ、複雑な構造ね。しらん、専用の関数用意するとか?」 「やっぱ、そっすよねー」 全国津々浦々でこんな会話が繰り広げられてると思います。私も2回ぐら…

GCEのSubNetwork対応による、変更点とAWSとの違い

昨年の12月頃らしいですが、GCEでもSubnetがサポートされました。最初、これを知った時 なんて無駄な機能をつけたんだ!Googleのパワーをこんなしょうもないことに使うな と思いましたが、調べてみるとGoogle流の考慮は入っていました。 ひとまず、このエン…

CloudFront ワイルドカードキャッシュクリアの不具合(修正済)

CloudFront(以下CFと略)を始め、CDNを利用するにあたり、まず注意することは、キャッシュを削除する手段を確立することです。CFはinvalidationをURL毎に発行することにより、このキャッシュクリアを実現していましたが、昨年、ワイルドカード (e.g /image/*)…

Crate.IO クラウドネイティブな新しいデータベースエンジン

Crate.IOという新しいDBエンジンが 2014 TCのアワードをとっていたらしい。それからもう1年近く立っていますが、正直なところ、流行っているのか定かではないです。が、誰もやらないことのほうが面白いのでやります。 Crate.IOとは? Crate でググると、木の…

unicast対応でよみがえる keepalived on VPC-EC2

AWSを始め、ほとんどのパブリッククラウドはmulticastが出来なくて不便。と言われてきましたが、だったらunicastでやってしまえば良い!という考え方が 2013年頃すでにありました。なぜmulticastをやりたいの?と言うと そうだね!、LVS + keepalived だね!…

VPC Flowlogが見づらいので、htmlでViewer作ってみた

VPC flowlogという機能が最近リリースされました。SGを通過した・蹴られたのログが取れるというものです。これ自体はとてもありがたいのですが、ログの閲覧はCloudWathLogsからとなり、コレがイケてない。だから何とかしたという話 どんなふうにイケてないの…

ipv6とAWS 繋がるから、運用まで

世の中の全てのデバイスがipv6グローバルIPアドレスを持つ時代が来る。そんな時代が来ると考えていた頃が私にもありました。 2015年になった今も、残念ながらipv4が主流のままです。また、足らないグローバルIPやら、本当はグローバルIP同士でやるべき通信を…

AWS ELB + SSL Termination下でEC-CUBEを正しく動かす

EC-CUBEをAWS上で運用するとき、良くある構成 今回の構成は SSL Termination を行い、ELB -> EC2(Webサーバ)間ではHTTPS(443)通信を行いません。この場合、EC2側は常にHTTP(80)で通信を受けるので、ユーザーのELBに対するアクセスがHTTPなのかHTTPSなのか普…

GoDaddyからRoute53によるDNS管理に変える方法

日本でDNSといえばお名前.comが有名ですが、GoDaddyは海外の老舗という感じで、かなり古くから存在し、今もドメインレジストラとして健在です。今回はGoDaddyからDNS管理をRoute53に変更します。レジストラとしてはGoDaddyのままで、Transferは行いません、T…

ELBを使うときの注意、/28のサブネットは狭すぎる!

AWSのVPC & Subnetのビットマスクは /16 - /28 です。この数字を聞いて 「狭い方はもう少し出来てもいいんじゃないか?」と私も思っていましたが、/28でも狭すぎます!特にELBを使う場合は、すぐにIPが尽きてしまいます。 なぜ狭いビットマスクを指定するの…

AWSの新しいVM Import ImportImage で複数ディスクを一気にAMIへ!

仮想環境(VMWareとか)からAWS EC2へコンバート&インポートする機能は、以前から存在しましたが、新しく Import Imageという方法がサポートされました。 今までと何処が違うのかと、実際にやってみたので紹介します。 http://aws.typepad.com/aws_japan/2015/…

S3のIAM設定のハマりどころ

以前書いた記事のS3のIAM設定ですが、最近のマネジメントコンソールだと怒られるので、修正版とその他ハマりどころを書きます。 S3で他人のディレクトリの中身が一切見れない、IAMの作り方 - 続 カッコの付け方iga-ninja.hatenablog.com StringEquals で ""…

RDSをSSD(General Purpose)で運用するときに注意すべきこと

EBSにSSDタイプが追加されてしばらく経ちましたが、 「でも、お高いんでしょ?」 「値段調べたけど、そんなに高く無いし、SSDだったら絶対に早いよね!HDDよりは」 という先入観があると思いますが、ちゃんと調べてみました。 素晴らしいドキュメント それは…

RDSのディスクを後から変更するときに、リブートはどうなる?

今回は、RDSのディスク変更に伴うリブートの確認を行いました。前回のエントリで、mysqlの死活を秒間で確認するスクリプトを用意しているので、そいつを裏で回しておきます。 RDSでParameter Groups変更時のDBリブートについて調査してみた - 続 カッコの付…

RDSでParameter Groups変更時のDBリブートについて調査してみた

RDSはインスタンスのスペックに応じて、自動でDBパラメータを調整してくれるのが売りでもありますが、どうしても変更したいパラメータがあったりします。有名なところでは max_allowed_packet character_set_xxx 系 この辺りのパラメータや、もっと重いパラ…

AppStreamでGoogleEarthをグリグリ動かす

AppStreamはレンダリングなどの重い処理をサーバー上で行い、絵だけを高速に様々なクライアントデバイス(スマホ、タブレット含む)に投げつけるサービスです。 AppStreamの存在意義 その手法の筋がいいか悪いかは別として、AppStreamの目指す分野はクラウド化…