Qlik Compose™ for Data Lakes
Qlik (Attunity) im Gartner Magic Quadrant for Data Integration Tools 2019 aufgeführt. Report sichern
Analysebereite Datenpipelines automatisieren
Qlik Compose for Data Lakes (ehemals Attunity Compose) automatisiert Ihre Datenpipelines und sorgt für analysebereite Datensets. Durch die Automatisierung von Datenerfassung, Schemaerstellung und Updates machen sich Ihre bestehenden Data Lakes noch schneller bezahlt und können zur Wertschöpfung beitragen.
Universelle Datenerfassung
Ob On Premises, in der Cloud oder in einer Hybrid-Umgebung, Qlik Compose for Data Lakes übernimmt Daten aus einer breiten Palette von Datenquellen in Ihren Data Lake. Zu den unterstützenden Quellen gehören unter anderem:
- RDBMS: DB2, MySQL, Oracle, PostgreSQL, SQL Server, Sybase
- Data Warehouses: Exadata, IBM Netezza, Pivotal, Teradata, Vertica
- Hadoop: Apache Hadoop, Cloudera, Hortonworks, MapR
- Cloud: Amazon Web Services, Microsoft Azure, Google Cloud
- Messaging-Systeme: Apache Kafka
- Enterprise-Anwendungen: SAP
- Legacy-Systeme: DB2 z/OS, IMS/DB, RMS, VSAM
Daten einfach strukturieren und transformieren
Eine intuitive, geführte Benutzeroberfläche unterstützt Sie bei Aufbau, Modellierung und Ausführung von Data-Lake-Pipelines.
- Schemata und Hive-Katalogstrukturen für Operational Data Stores (ODS) und Historical Data Stores (HDS) lassen sich ohne manuellen Programmieraufwand automatisch erzeugen.
Stets auf dem neuesten Stand
Sie können sicher sein, dass Ihre ODS und HDS Ihre Quellsysteme jederzeit korrekt abbilden.
- Mit Change Data Capture (CDC) werden Echtzeitanalysen mit geringerem Administrations- und Verarbeitungsaufwand möglich.
- Beim ersten Laden sorgt Multi-Threading für höchste Effizienz.
- Nutzen Sie zeitbasierte Partitionierung mit transaktionaler Konsistenz, um ausschließlich Transaktionen zu verarbeiten, die innerhalb eines bestimmten Zeitraums abgeschlossen wurden.
Die Vorteile modernster Technologie nutzen
Profitieren Sie von Weiterentwicklungen bei Hive SQL und Apache Spark, unter anderem von:
- den aktuellen Neuerungen bei Hive SQL, beispielsweise der ACID-MERGE-Funktion, mit der sich Insert-, Update- und Delete-Vorgänge unter Einhaltung der Datenintegrität effizient verarbeiten lassen;
- Pushdown-Verarbeitung auf Hadoop- oder Spark-Engines. Während Daten durch die Pipeline fließen, wird automatisch generierte Transformationslogik per Pushdown zur Verarbeitung an Hadoop oder Spark weitergeleitet.
Historical Data Store (HDS)
Gewinnen Sie analysespezifische Datensets aus einem vollständigen Historical Data Store (HDS).
- Datenaktualisierungen aus Quellsystemen werden dem HDS automatisch als neue Datensätze hinzugefügt.
- Diese neuen Datensätze erhalten automatisch einen Zeitstempel. Dadurch wird das Erstellen von Trendanalysen und anderen zeitorientierten Analyse-Data-Marts möglich.
- Datenmodelle mit Slowly Changing Dimensions (SCD) vom Typ 2 werden ebenfalls unterstützt.
