TAG python

【OSSワークフローシステム】Airflowについてまとめる

Airflowの概要 OSSのワークフローシステムの一つ。スケジューリングやモニタリングのプラットフォームとして、データ基盤のETL処理で使われることが多い。 他のOSSワークフローシステムと比べてカスタム性が高く、情報…

dockerでデータのバッチ処理をしてみる

dockerについて dockerについては、ここでは詳しく解説しません。 あまりご存知ない方は、以下の記事を参照してください。 【docker】基本的なコマンドと使い方 対象者 dockerとはなにか知っている方 do…

キャプチャ自動ツールを作成【Python】

最近知ったのですが、割とサイトを見に行ってキャプチャとってローカルに保存するという作業を何時間もかけて、手動で行っている人って結構いるらしく、それに月300分もかけてるというんですよ。。。すごいですよね。。。はい、ツール…

Google広告の数値を自動抽出してみた【Python】

前回投稿したyahoo広告自動抽出の記事に続いて、Googleも記録として残しておこうと思います。 Yahoo 広告の数値を自動取得してみた(GAS) 前回はGASで実装したので、今回はお得意のPythonで実装してみた…