Amazon Glue Databrewの紹介

Amazon Glue Databrewとは

【エンジニア募集中】フルリモート可◎、売上/従業員数9年連続UP、平均残業8時間、有給取得率90％、年休124日以上 etc.　　詳細はこちらから＞

『AWS Glue DataBrew はビジュアルデータ準備ツールであり、データアナリストやデータサイエンティストがデータをより簡単にクリーンアップおよび正規化し、分析や機械学習 (ML) の準備をできるようにします。250 を超える事前構築された変換から選択して、コードを記述することなくデータ準備タスクを自動化できます。異常のフィルタリング、標準形式へのデータの変換、無効な値の修正などのタスクを自動化できます。』※公式より抜粋

機能の紹介

1. プロファイル
   データパターンを把握し、異常を検出することで、データの品質を評価できる。
2. クリーンアップと正規化
   250を超える多くの変換パターンから、必要なものを選択し、データを視覚化、クリーニング、および正規化できる。
3. データ系統のマッピング
   データ系統を視覚的にマッピングすることで、データソースと実行された変換パターンを理解できる。
4. 自動化
   保存した変換を、新たなデータにも適用することで、データのクリーニングや正規化を自動化できる。

    

費用の概要

Amazon Glue Databrewでは、前払いの必要はなく、サービスを使用した分だけ費用がかかります。各変換等に対して、時間当たりの料金が秒単位で課金されます。データカタログを使用する場合は、無料枠もあるため、どのように利用したいかを検討し、公式サイトにて確認してみてください。

まとめ

Amazon Glue Databrewでは様々なデータ変換や、その自動化に使用できる仕組みとなります。必要に応じて、どのように使用するのかを検討し、うまく活用してみてください。

参考サイト

ビジュアルデータ準備 – AWS Glue DataBrew – AWS
料金 – AWS Glue | AWS

【エンジニア募集中】フルリモートも◎(リモート率85.7％)、平均残業8時間、年休124日以上、有給取得率90％ etc.　詳細はこちらから＞