これはなに？ Athenaを利用して別AWSアカウントにあるGlueデータカタログの参照を実施してみます。 通常別AWSアカウントのデータカタログはAthenaで利用できないのですが、2019年にリリースされたAthenaでの外部メタストアの参照機能を利用することで実現で…

AthenaでクロスアカウントのGlue データカタログを参照する

Athenaを利用して、S3のCSVファイルを読み込むときにヘッター行をスキップするTips

AWS AthenaでS3上のCSVファイルより、テーブルを作成するときにヘッダー行をスキップする方法

最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…

AWS Glueを使って、データ分析基盤を構築する(CSV → Parquet)