Census（センサス）は、Mesh Datasetsという画期的な機能を導入した。この革新的なクエリーエンジンにより、複数のデータソースにまたがるSQLを記述できるようになり、データチームはSnowflake、BigQuery、Census Storeといった異なるソースからのデータを一元管理するという課題に悩まされることがなくなる。代わりに、これら全てのソースから同時にデータにアクセスできるSQLを記述できるようになり、データの重複や複雑なパイプラインが不要になる。
Mesh Datasetsの優れた点は、そのシンプルさと汎用性にある。ユーザーは、異なる種類のデータウェアハウスであっても、複数のデータウェアハウスにまたがるSQLを記述できる。例えば、Snowflakeの顧客データとBigQueryの製品イベントを結合したい場合、クエリーでdatasets.all_usersとdatasets.product_eventsを参照するだけで済む。その後、Censusがバックグラウンドで分散実行を処理する。使用される構文は標準的なPostgres SQLであるため、新しいクエリー言語を学習する必要はない。これにより、ユーザーは既存のSQL知識をウェアハウスに依存しない。
マーケティング部門はBigQueryを、財務部門はSnowflakeを標準化し、機械学習チームはDatabricksを選択するなど、企業が複数のクラウドデータプラットフォームを利用するケースが増えている。Mesh Datasetsは、統合を強制したり、脆弱なパイプラインを構築したりする代わりに、こうした現実を積極的に受け入れる。ユーザーは、あらゆる場所からデータを取得し、あらゆる場所で活用できるゴールデンデータセットを構築できるようになる。例えば、Snowflakeのdbtモデルは、Databricksの機械学習スコアを含むセグメントを強化できるようになった。BigQueryの製品メトリクスは、SQLだけでSnowflakeの顧客プロファイルを拡充できる。
Mesh Datasetsは、単なるデータ仮想化やフェデレーションクエリーソリューションではない。シームレスなクロスウェアハウスSQL向けに設計されており、データスタック全体のパフォーマンスと互換性を確保する。これにより、ユーザーは従来のアプローチの複雑さやトレードオフに煩わされることなく、どこからでもクエリーを実行できる柔軟性が得られる。使い始めるには、複数のSQLソースをCensusに接続し、新しいデータセットを作成し、Mesh Datasetを選択するだけで、ウェアハウスの壁を打破するSQLを記述できる。AIアシスタントはデータカタログ全体を理解し、簡単な説明でクロスソースクエリーを生成する。つまり、企業は今日からどこからでもデータを活用できるということだ。
出典：Census
この製品の詳細については、Census製品ページをご覧ください。
