BigQuery(BQ)のスケジュールドクエリは、普通に設定すると設定したユーザー、つまり人の権限で実行されます。 これを読んでる人は何が問題かわかっているはずで、退職時にそのユーザーアカウントが消滅すると動かなくなる、だけでは済まずに設定自体が消滅し…

AWS Lambdaで久々にハマったので、理解を深めて残しておこうと思う。 もうGAからずいぶん経っているが、自分が初期のLambdaをよくわかってない、ということがわかった。 全部すっ飛ばして結論 Lambdaを同期実行 + AWS SDK/CLI などで単体実行するときは、Cli…

Linuxをクライアントとして使い始めて2年ぐらいたった。ubuntu 22.04 LTSが出る前だが、日記的に書いとく。 結局どやねん？ ubuntu 20.04 LTS @ ThinkPad X1 6gen を使っているが、生活はできる。 できるが、いろいろ面倒なのは違いない。 じゃあ、Macなら面…

Google Cloud Logging が異常な請求額になったため、その原因と対策を説明する。請求レポートの Log Volume (Cloud Logging) がなんか高いなーと調べてる人は正解！ここです。 Loggingは結構使われる重要なコンポーネントにもかかわらず、優れたエントリが非…

選挙直前だが、なんとなく書きたくなったので書く。俺が選挙に行く理由、それは 祭りに参加したいから！ 俺の今まで 俺と選挙 俺はいわゆるロスジェネ世代。俺が若者のときももちろん、「最近の若者の投票率ガー」と言われてたが、そんなの構わず、1回を除い…

今回書くことは、もうすでに手垢がついているので、なるべくさらっと書きます。 2022/02/01今更ですが更新 ACLやめればすべて解決！ 【アップデート】S3でACLを無効化できるようになりました #reinvent | DevelopersIO テーマはバケットポリシーとクロスアカ…

terraform で gcpのIAMを管理してみたときのメモ terraform with gcp GCP/AWS 用語対応表 AWSからterraformを触った人が多数派と思うので、用語の意味違いが結構な落とし穴です。なので整理しときます。 AWS GCP memo User Google アカウント GCPより広い世…

数ヶ月前にカッとなって課金だけしてたlocalstack Pro版を触ってみたのでその記録 localstackのPro(有償)版とは？ localstackはaws-apiをローカル環境で再現するものです。それの有償版がPro。できること・できないことは https://localstack.cloud/ を見て…

まず最初に、本当にやりたかったことと、調べているうちにだいぶ脱線して得た知識を書いてます。少々規模がでかいです。 最初にやりたかったのは、 EC2 role (Instance Profile) を使っているときに awscliとかで Unable to locate credentials が稀に出ると…

答え ec2:RunInstances の権限を付与せよ Launch Template Support - Amazon EC2 Auto Scaling やろうとしたこと terraform で ASGを launch templateでやろうとして発生。 resource "aws_launch_template" "lt" { name = "test" instance_type = "t3.large"…

もうこれ系の仕事について18年になる。よその業界の人から見ると「なんかパソコン使ってやる人」にひとくくりにされそうだが、職場によって結構やってることは違った。 そんな中でも振り返ってみるとそこそこでかい単ファイル(csv)を見る機会は結構あって、…

みなさんリモートワークしてますか？ 家では仕事しない主義だったため、お家のPC環境は超プアでしたが、ガンガン散財して絶賛強化中です。 そんな中でも 4Kモニタで リフレッシュレート60Hzで出力するまでの道のりを書いときます。 書き忘れてましたが、ノー…

インフラ屋を辞めたので、それなりにコードを書いて走らせる機会が増えました。ローカル上のコードをぱっとサーバ上で動かしたい場合の解決方法を書きます。 tl;dr ssh のポートフォワーディング(ローカルフォワード)には、フォワード先のポートを動的(不定)…

最近流行りのワンイシューってやつに見せかけてちょっと寄り道します。タイトルの通りですが、Data Studio の知名度や、GASについて色々気づいた点も触れます。実は応用の効く内容です。 Google Data Studio ってなによ？ Googleが提供しているBIツールです…

全部httpsじゃないとだめな時代になりました。http通信の中身を見るだけならproxyで抜けばよかったですが、httpsの場合はそうも行きません。mitm(man-in-the-middle)をやって、httpsの暗号をproxyでほどかないといけません。 この手の情報がほしい人は限られ…

非常にググりにくい事柄なんですが、なるべく浮世離れしないタイトルとして書きます。 EC2(正確にはENI)からの名前解決、つまりリゾルバとしてのOutboundには、全て制限がかかっています。1024パケット/秒です。 VPC での DNS の使用 - Amazon Virtual Priva…

日次でも月次でも、まず殆どのシステムで何かしらのバッチジョブというものを動かしていると思いますが、 そのバッチが確かに実行された ことを保証・監視することは結構難しいです。ジョブが起動しましたのタイミングでログを書き、終わってもログを書くと…

GCPで Google Cloud Storage (GCS) & 独自ドメインで httpサーバを立てるというのを以前やりました。もはや2015年の古いエントリですが今も結構な閲覧数があるので、2019年版のリファインとして、もっといいやり方を紹介します。 iga-ninja.hatenablog.com …

以前に書いたエントリ、結構な更新が入っているので新規エントリとしました。 iga-ninja.hatenablog.com 導入時期は不明ですが、2つ更新項目を書きます Bucket policy として Legacy な権限を指定可能 前回のエントリで、Default ACLを使わないと危険と書き…

GCEでインスタンスを起動するときに、先にホスト名を決める必要があります。AutoScaling等の場合は、勝手にプリフィックスがついて名前被りを避けます。これによりAWSのようなIPアドレスベースの使いにくいFQDN(Internal)ではなく、直感的な名前で名前解決が…

ecsへのアプリケーションデプロイはecs-cliが最も優れていると思いつつも、結構わかりにくいツールであるのは間違いないです。その解説をするのですが、この投稿ははっきり言って上級者向けで docker-compose かなり使いこなせる AWS ECS の基礎がわかってい…

もう4年前の話ですが、CloudWatch Logsへのログ送信をWindowsで行う場合の記事を書きました。 CloudWatch Logs on Windows 2012 Server - 続 カッコの付け方 もうこの内容は古くなって久しいですが、なるべく昔ながらのやり方で ファイルを書いてサービス起…

2017年にもうコンテナの未来・一つのカタチはもう確定したと言え、今更感があるものの、改めてDockerとコンテナについて。 今更こんなことを書くのは、情報が溢れてくる今こそ、正しく理解し、正しい順序で学習することが重要だと切に思うから。 内容につい…

CloudWatchのプリセット(ビルトイン)メトリックスに関する記事です。カスタムメトリックスには殆ど触れません。 世の中には2つのタイプの製品があると思います。 説明書を読まなくても使える 説明書を読まないとハナから使えない AWS CloudWatchは 明らかに…

Google版 S3である Google Cloud Storage (gcs) ですが、もう随分前になるもののIAM対応となり、アクセス・ユーザー管理が非常に楽になりました。 ここでのIAMは勿論 GCPのIAMです。名前は同じですが、AWS の IAMとは、全く異なるものです。 今のところgcsの…

続々とELBに機能が追加されていますが、今更ですがNLBについて書きます。 今更NLBの記事を書くことに意味があるのか？と自問しましたが、一応 (初心者向け) と (HealthCheck) という切り口で、なるべく優しく書こうと思います。 NLBについて 先に言っておき…

リリースから随分日が経っていますが、改めてCloudWatchLogsの良さを書きます。今回はLogs Agentや取り込みの話しは触れません。Logsに取り込んだは良いけど、どうしよう にフォーカスします。 その前にCWLogsの概要 長いのでCWLogsと略記。 CWLogsは文字通…

「EBS (gp2) のクレジットの回復レートってどんなの？」の質問に即答できなかったので、書いておきます。 結論、数式としては クレジット 0 -> Fullまでの時間 = 5,400,000(IO) ÷ ベースラインIOPS となります。 概要と用語 簡潔に EBSは 3000 IOPSまでのバ…

もうオワコンである upstart で結構苦戦しました。やりたい事は単純に root以外のユーザーで実行したいということだけ upstart ? sysVと systemd の間にあったデーモン管理Tool(というか機構?)です。こいつは sysV とは違って systemdと共存出来ないので、オ…

今まで、Cloud Monitoring のカスタムメトリックスを打つために、サンプルを改造する程度の理解しか無かったのですが、ある程度自分の頭で整理出来たので残します。GCP(Google)におけるAPIクライアントライブラリについて、入門からAWSとの違いについて。 Go…