Data Operations: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

#dataops: Folgen Sie der Diskussion auf Twitter
#dataops: Folgen Sie der Diskussion auf Twitter

Sind Sie mit der Geschwindigkeit Ihrer Datenanlyse unzufrieden? Oder haben Ihre Dashboards lange Ladezeiten? Dann können Sie bzw. Ihr Datenbank-Administrator folgenden Hinweisen nachgehen, die sich je nach Datenquelle unterscheiden können.

Allgemeine Empfehlungen zur Performance-Optimierung

Möchten Sie die Geschwindigkeit der Analyse verbessern? Dann beachten Sie folgende Punkte:

  • Benutzen Sie mehrere »kleinere« Datenquellen fĂŒr individuelle Fragestellungen anstatt einer einzigen Datenquelle, die alle Fragestellungen abdecken soll.
  • Verzichten Sie auf nicht notwendige VerknĂŒpfungen.
  • Aktivieren Sie in Tableau die Option »Referentielle IntegritĂ€t voraussetzen« im »Daten«-MenĂŒ (siehe Abbildung 2.20). Wenn Sie diese Option verwenden, schließt Tableau die verknĂŒpften Tabellen nur dann in die Datenabfrage ein, wenn sie explizit in der Ansicht verwendet wird*. Wenn Ihre Daten nicht ĂŒber referentielle IntegritĂ€t verfĂŒgen, sind die Abfrageergebnisse möglicherweise ungenau.
Aktivierte Option „Referentielle IntegritĂ€t voraussetzen“ im „Daten“-MenĂŒ
Abbildung 2.20: Aktivierte Option »Referentielle IntegritĂ€t voraussetzen« im »Daten«-MenĂŒ

* So wird beispielsweise der Umsatz anstatt mit der SQL-Abfrage SELECT SUM([Sales Amount]) FROM [Sales] S INNER JOIN [Product Catalog] P ON S.ProductID = P.ProductID lediglich mit der SQL-Abfrage SELECT SUM([Sales Amount]) FROM [Sales] ermittelt.

Empfehlungen fĂŒr Performance-Optimierung bei Dateien und Cloud-Diensten

Achten Sie insbesondere beim Arbeiten mit Dateiformaten, wie Excel-, PDF- oder Textdateien, oder Daten aus Cloud-Diensten wie Google Tabellen zusÀtzlich auf folgende Punkte:

  • Verzichten Sie auf Vereinigungen ĂŒber viele Dateien hinweg, da deren Verarbeitung sehr zeitintensiv ist.
  • Nutzen Sie einen Datenextrakt anstatt einer Live-Verbindung, falls Sie nicht mit einem schnellen Datenbanksystem arbeiten (siehe Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden).
  • Stellen Sie sicher, dass Sie beim Erstellen des Extrakts die Option »Einzelne Tabelle« wĂ€hlen, anstatt der Option »Mehrere Tabellen« (siehe Abbildung 2.21). Dadurch wird das erzeugte Extrakt zwar grĂ¶ĂŸer und das Erstellen des Extrakts dauert lĂ€nger, das Abfragen hingegen wird um ein Vielfaches beschleunigt.
AusgewĂ€hlte Option „Einzelne Tabelle“ im „Daten extrahieren“-Dialog
Abbildung 2.21: AusgewÀhlte Option »Einzelne Tabelle« im »Daten extrahieren«-Dialog

Empfehlungen fĂŒr Performance-Optimierung bei Datenbank-Servern

Arbeiten Sie mit Daten auf einem Datenbank-Server, wie Oracle, PostgreSQL oder Microsoft SQL Server, und möchten die Zugriffszeiten verbessern? Dann achten Sie bzw. der dafĂŒr zustĂ€ndige Datenbankadministrator zusĂ€tzlich auf folgende Punkte:

  • Definieren Sie fĂŒr Ihre Datenbank-Tabellen sinnvolle Index-Spalten.
  • Legen Sie fĂŒr Ihre Datenbank-Tabellen Partitionen an.

Dieser Beitrag ist der dritte Teil der Data-Operations-Serie:

Teil 1: Daten fĂŒr die Analyse optimal vorbereiten
Teil 2: Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden
Teil 3: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

Außerdem basiert dieser Blog-Post auf einem Unterkapitel des Buches “Datenvisualisierung mit Tableau“:

Datenvisualisierung mit Tableau
  • Alexander Loth
  • Publisher: mitp
  • Edition no. 2018 (31.07.2018)
  • Broschiert: 224 pages

#TC18 Wrap-up: Azure SQL Data Warehouse speeds up your Analysis

Benchmark: Microsoft Azure SQL Data Warehouse outperforms Amazon Redshift in TCP-H 30TB
Benchmark: Microsoft Azure SQL Data Warehouse outperforms Amazon Redshift in TCP-H 30TB

Slowly the dust settles after the impressive TC18. During my wrap-up, I remembered the data warehouse benchmarks of the Azure & Tableau session by James Rowland-Jones. Especially because my customers ask me about such performance metrics over and over again.

The first benchmark (graph above) shows how Microsoft Azure SQL Data Warehouse (aka. SQL DW) outperforms Amazon Redshift – in terms of performance and price. While the second benchmark shows further performance tests for Amazon Redshift, Snowflake, Azure, Presto, and Google Big Query:

Benchmark: Microsoft Azure SQL Data Warehouse Gen 2 vs. Amazon Redshift, Snowflake, Presto, Google Big Query
Benchmark: Microsoft Azure SQL Data Warehouse Gen 2 vs. Amazon Redshift, Snowflake, Presto, Google Big Query

Since James’ session is already available on Tableau’s Youtube channel, feel free to watch the entire Azure & Tableau session:

#TC18 Visual Diary: One Big-Easy Data Fest

Iron Viz contest at Tableau Conference TC18 in New Orleans
Iron Viz contest at Tableau Conference TC18 in New Orleans

Let me share some (personal) Tableau Conference #TC18 experiences with you!

Oct 22

Registration

Viz for Social Good

Welcome Reception

Oct 23

Opening Keynote

My 1st Session | Rock your Social Media Data with Tableau

Data Village | Diversity and Inclusion

Community Appreciation Reception

Oct 24

Keynote | Devs On Stage

My 2nd Session | Rock your Social Media Data with Tableau

Tableau User Group | Tip Battle

Iron Viz

Data Night Out

Oct 25

Keynote | Adam Grant

Data Village

Fanalytics

Goodbye

What are your #TC18 highlights?

Share your favorite moments in the blog post comments or reply to this tweet:

Data Operations: Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden

#dataops: Folgen Sie der Diskussion auf Twitter
#dataops: Folgen Sie der Diskussion auf Twitter

Nachdem Sie Ihre Daten fĂŒr die Analyse optimal vorbereitet haben, stellt sich die Frage auf welche Weise Sie Ihre Daten bereithalten wollen, damit Sie schnell erste Erkenntnisse erhalten.

Tableau bietet Ihnen fĂŒr die meisten Datenquellen die Möglichkeit, zwischen einer Live-Verbindung, also einer direkten Verbindung zur Datenbank, und einem Datenextrakt, also einem Abzug der Daten zu wĂ€hlen. Wie Abbildung 1.1 zeigt, können Sie einfach zwischen beiden Verbindungstypen wechseln.

Auswahlknöpfe, um zwischen Live-Verbindung und Datenextrakt zu wechseln
Abbildung 1.1: Auswahlknöpfe, um zwischen Live-Verbindung und Datenextrakt zu wechseln

Live-Verbindungen ermöglichen Ihnen die Arbeit mit den Daten, wie sie zum momentanen Zeitpunkt auf der Datenbank oder der Datei vorliegen. Wenn Sie Daten extrahieren, importieren Sie einige oder alle Daten in die Data Engine von Tableau. Dies gilt sowohl fĂŒr Tableau Desktop als auch fĂŒr Tableau Server. Welche Verbindungsmethode Sie bevorzugen sollten, hĂ€ngt von Ihrer Situation und dem Anwendungsfall, Ihren Anforderungen sowie von der VerfĂŒgbarkeit der Datenbank und der Netzwerkbeschaffenheit ab.

Immer aktuell mit der Live-Verbindung

Durch die direkte Verbindung mit Ihrer Datenquelle visualisieren Sie immer die aktuellsten Daten, die Ihnen die Datenbank zur VerfĂŒgung stellt. Wenn Ihre Datenbank in Echtzeit aktualisiert wird, mĂŒssen Sie die Tableau-Visualisierung nur ĂŒber die Funktionstaste F5 aktualisieren oder indem Sie mit der rechten Maustaste auf die Datenquelle klicken und die Option Aktualisieren auswĂ€hlen.

Wenn Sie eine Verbindung zu großen Datenmengen herstellen, die Visualisierung sehr viele Details enthĂ€lt oder Ihre Daten in einer leistungsstarken Datenbank mit entsprechend ausgestatteter Hardware gespeichert sind, können Sie mit einer direkten Verbindung eine schnellere Antwortzeit erzielen.

Die Auswahl einer direkten Verbindung schließt nicht die Möglichkeit aus, die Daten spĂ€ter zu extrahieren. Andersherum können Sie auch wieder von einem Extrakt zu einer Live-Verbindung wechseln, indem Sie mit der rechten Maustaste auf die Datenquelle klicken und die Option Extrakt verwenden deaktivieren.

UnabhÀngig mit einem Datenextrakt

Datenextrakte haben naturgemĂ€ĂŸ nicht den Vorteil, dass sie in Echtzeit aktualisiert werden, wie es bei einer Live-Verbindung der Fall ist. Die Verwendung der Data Engine von Tableau bietet jedoch eine Reihe von Vorteilen:

Leistungsverbesserung bei langsamen Datenquellen:

Vielleicht ist Ihre Datenbank stark mit Anfragen belastet oder bereits mit transaktionalen Operationen beschĂ€ftigt. Mithilfe der Data Engine können Sie Ihre Datenbank entlasten und die Datenhaltung von Tableau ĂŒbernehmen lassen. Extrakte können Sie am besten außerhalb der Stoßzeiten aktualisieren. Tableau Server kann Extrakte auch zu festgelegten Zeitpunkten aktualisieren, zum Beispiel nachts um 3 Uhr.

Inkrementelles Extrahieren:

Durch das inkrementelle Extrahieren wird auch die Aktualisierungszeit beschleunigt, da Tableau nicht die gesamte Extraktdatei aktualisiert. Es fĂŒgt nur neue DatensĂ€tze hinzu. Um inkrementelle Extrakte auszufĂŒhren, mĂŒssen Sie ein Feld angeben, das als Index verwendet werden soll. Tableau aktualisiert die Zeile nur, wenn sich der Index geĂ€ndert hat. Daher mĂŒssen Sie beachten, dass Änderungen an einer Datenzeile, die das Indexfeld nicht Ă€ndert, von der Aktualisierung nicht berĂŒcksichtigt werden.

Datenmenge mit Filtern einschrÀnken:

Eine andere Möglichkeit, Extrakte zu beschleunigen, besteht darin, beim Extrahieren der Daten Filter anzuwenden. Wenn fĂŒr die Analyse nicht die gesamte Datenmenge benötigt wird, können Sie den Extrakt so filtern, dass er nur die erforderlichen DatensĂ€tze enthĂ€lt. Wenn Sie eine sehr große Datenmenge haben, mĂŒssen Sie nur selten den gesamten Inhalt der Datenbank extrahieren. Zum Beispiel kann Ihre Datenbank Daten fĂŒr viele Regionen enthalten, aber Sie benötigen möglicherweise nur die Daten zur Region »SĂŒd«.

Um einen Extrakt entsprechend anzulegen, wĂ€hlen Sie als Verbindung Extrakt aus und klicken dann auf das nebenstehende Bearbeiten. Es öffnet sich das Fenster Daten extrahieren. Mit einem weiteren Klick auf HinzufĂŒgen können Sie nun einen Filter erstellen, der fĂŒr Ihren Extrakt angewandt wird (siehe Abbildung 1.2).

Der Datenextrakt kann mit Filtern eingeschrÀnkt werden
Abbildung 1.2: Der Datenextrakt kann mit Filtern eingeschrÀnkt werden

Weitere Funktionen fĂŒr bestimmte Datenquellen:

Wenn Ihre Daten aus einer bestimmten Datenquelle stammen, so sind unter anderem Aggregationsfunktion wie Median (beispielsweise bei Access-Datenbanken ) bei einer Live-Verbindung nicht verfĂŒgbar. Arbeiten Sie mit einem Extrakt, können Sie diese Funktionen nutzen, auch wenn sie von der ursprĂŒnglichen Datenquelle nicht unterstĂŒtzt werden.

DatenĂŒbertragbarkeit:

Sie können Extrakte lokal speichern und auch dann verwenden, wenn die Verbindung zu Ihrer Datenquelle nicht verfĂŒgbar ist. Eine Live-Verbindung funktioniert nicht, wenn Sie nicht ĂŒber ein lokales Netzwerk oder das Internet auf Ihre Datenquelle zugreifen können. Extrakte werden außerdem komprimiert und sind normalerweise wesentlich kleiner als die ursprĂŒnglichen Datenbanktabellen, was dem Weitertransport der Daten zugutekommt.

Achten Sie auf Datenschutz und Data Governance

In Unternehmen spielen Datenschutz und Data Governance und damit verbunden IntegritĂ€t und Sicherheit der Daten eine wichtige Rolle. Wenn Sie Extrakte an Mitarbeiter oder GeschĂ€ftspartner verteilen, sollten Sie die etwaige Vertraulichkeit Ihrer Daten berĂŒcksichtigen. Ziehen Sie in Betracht, den Inhalt des Extrakts ĂŒber Filter einzuschrĂ€nken und zu sichtbaren Dimensionen zu aggregieren.

Sind Sie sich unsicher, arbeiten Sie im Zweifelsfall besser mit einer Live-Verbindung, da in diesem Fall Ihre Datenbank das Rechte-Management steuert und so Ihre Daten nicht von Personen ohne ausreichende Berechtigungen gesehen werden können.

Dieser Beitrag ist der dritte Teil der Data-Operations-Serie:

Teil 1: Daten fĂŒr die Analyse optimal vorbereiten
Teil 2: Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden
Teil 3: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

Außerdem ist dieser Blog-Post ein Auszug aus dem Buch “Datenvisualisierung mit Tableau“, das am 31. Juli 2018 erschienen ist:

Datenvisualisierung mit Tableau
  • Alexander Loth
  • Publisher: mitp
  • Edition no. 2018 (31.07.2018)
  • Broschiert: 224 pages

Das Tableau-Buch ist ab sofort im Handel erhÀltlich

Das erste deutschsprachige Tableau-Buch ist auch bei Amazon erhÀltlich
Das erste deutschsprachige Tableau-Buch ist auch bei Amazon erhÀltlich

Das Buch “Datenvisualisierung mit Tableau” ist ab sofort im Handel erhĂ€ltlich:

Vorschau:

Mehr erfahren:

Erfahren Sie mehr zu “Datenvisualisierung mit Tableau” auf der Webseite zum Tableau-Buch!

[Update 11 Aug 2018]: In den InformatikbĂŒcher-Top-20 bei Amazon!
[Update 17 Aug 2018]: In den InformatikbĂŒcher-Top-10 bei Amazon!