アナリティクス対応のデータパイプラインの自動化
データレイク向け Qlik Compose は、アナリティクス対応データセットを作成するためのデータパイプラインを自動化します。データの取り込み、スキーマの作成、継続的な更新を自動化することで、データレイクへの既存の投資から価値を生み出す時間を短縮できます。
Gartner® Magic Quadrant™ 2023 pour les outils d'intégration de données
Qlik と Talend がGartner データ統合ツールの Magic Quadrant のリーダーの1社である理由をご確認ください。
データの構成と変換が容易
直観的なガイド付きユーザーインターフェイスは、データレイクパイプラインの構築、モデル化、実行に役立ちます。
- オペレーショナルデータストア (ODS) および履歴データストア (HDS) 用のスキーマと Hive Catalog 構造を自動的に生成します。その際、手動コーディングは不要です。
継続的な更新
信頼できる ODS と HDS。両方ともソースシステムを正確に表しています。
- 変更データキャプチャ (CDC) を使用し、管理および処理のオーバーヘッドを減らしてリアルタイムアナリティクスを実現。
- 並列スレッドにより初期ロードを効率的に処理。
- 指定された時間内に完了したトランザクションのみが確実に処理されるように、トランザクションの整合性を保ちながら時間ベースでパーティション分割を実施。
最新テクノロジーの活用
次のような Hive SQL および Apache Spark の進歩を活用できます。
- 最新 Hive SQL の進歩により、データの整合性を確保しながらデータの挿入、更新、削除を効率的に処理する ACID MERGE 操作が可能。
- Hadoop または Spark エンジンに対するプッシュダウン処理。データがパイプラインを流れるときに処理されるように、自動生成された変換ロジックが Hadoop または Spark にプッシュダウンされます。
履歴データストア
完全な履歴データストア (HDS) からアナリティクス固有のデータセットが得られます。
- ソースシステムからデータ更新を受け取ると、新しい列が自動的に HDS に追加されます。
- 新しい HDS レコードにはタイムスタンプが自動的に付与されるため、トレンド分析やその他の時系列アナリティクスデータマートを作成できます。
- Type-2 (緩やかに変化するディメンション) を含むデータモデルをサポートします。
アナリティクス対応 DataOps（データオプス）
有益かつアナリティクスに最適化されたデータを、Qlik や Tableau、Power BI など、あらゆるアナリティクス環境でリアルタイムに提供する最新のデータ統合
-
リアルタイムのデータ ストリーミング（CDC）
企業のデータをライブ配信で拡張し、シンプルかつあらゆる状況に応じたリアルタイムのソリューションで、最新の分析やマイクロサービスを実現します。 -
高速なデータウェアハウスの自動化
目的に応じたクラウドデータウェアハウスを迅速に設計、構築、展開、管理します。手動のコーディングは必要ありません。 -
管理されたデータレイクの作成
複雑な取り込みプロセスと変換プロセスを自動化して継続的に更新。分析に適したデータレイクを提供します。
VIDEO
Qlik Compose for Data Lakes Demonstration
EBOOK