TAG Google Cloud Shell

2021.07.08 データ基盤 matako

GCSからBigQueryへCSVデータが入ったタイミングで自動で転送する(Cloud Functions)

目的 Cloud StorageにCSVデータが入ったら、データ処理して、自動でBigQueryにデータが流れるようにしたい使用するツールと構図 Cloud Functionsを使います。Cloud Functions…

続きを読む

2021.07.03 開発 matako

Cloud SchedulerとCloud Functionsを使って自動スクレイピングさせて、スプレッドシートに書き出してみた(Python)

ゴール(作成するプロダクト) 「データ領域の求人数がこれからどれくらい上がってくるのかみたい」実際に可視化してみましょう。ダッシュボードはDataPortalを使いましたが、今回の話では割愛。今回は月1で求人まとめサ…

続きを読む