Kategorie: Blog

Data Operations: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

#dataops: Folgen Sie der Diskussion auf Twitter
#dataops: Folgen Sie der Diskussion auf Twitter

Sind Sie mit der Geschwindigkeit Ihrer Datenanlyse unzufrieden? Oder haben Ihre Dashboards lange Ladezeiten? Dann können Sie bzw. Ihr Datenbank-Administrator folgenden Hinweisen nachgehen, die sich je nach Datenquelle unterscheiden können.

Allgemeine Empfehlungen zur Performance-Optimierung

Möchten Sie die Geschwindigkeit der Analyse verbessern? Dann beachten Sie folgende Punkte:

  • Benutzen Sie mehrere »kleinere« Datenquellen für individuelle Fragestellungen anstatt einer einzigen Datenquelle, die alle Fragestellungen abdecken soll.
  • Verzichten Sie auf nicht notwendige Verknüpfungen.
  • Aktivieren Sie in Tableau die Option »Referentielle Integrität voraussetzen« im »Daten«-Menü (siehe Abbildung 2.20). Wenn Sie diese Option verwenden, schließt Tableau die verknüpften Tabellen nur dann in die Datenabfrage ein, wenn sie explizit in der Ansicht verwendet wird*. Wenn Ihre Daten nicht über referentielle Integrität verfügen, sind die Abfrageergebnisse möglicherweise ungenau.
Aktivierte Option „Referentielle Integrität voraussetzen“ im „Daten“-Menü
Abbildung 2.20: Aktivierte Option »Referentielle Integrität voraussetzen« im »Daten«-Menü

* So wird beispielsweise der Umsatz anstatt mit der SQL-Abfrage SELECT SUM([Sales Amount]) FROM [Sales] S INNER JOIN [Product Catalog] P ON S.ProductID = P.ProductID lediglich mit der SQL-Abfrage SELECT SUM([Sales Amount]) FROM [Sales] ermittelt.

Empfehlungen für Performance-Optimierung bei Dateien und Cloud-Diensten

Achten Sie insbesondere beim Arbeiten mit Dateiformaten, wie Excel-, PDF- oder Textdateien, oder Daten aus Cloud-Diensten wie Google Tabellen zusätzlich auf folgende Punkte:

  • Verzichten Sie auf Vereinigungen über viele Dateien hinweg, da deren Verarbeitung sehr zeitintensiv ist.
  • Nutzen Sie einen Datenextrakt anstatt einer Live-Verbindung, falls Sie nicht mit einem schnellen Datenbanksystem arbeiten (siehe Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden).
  • Stellen Sie sicher, dass Sie beim Erstellen des Extrakts die Option »Einzelne Tabelle« wählen, anstatt der Option »Mehrere Tabellen« (siehe Abbildung 2.21). Dadurch wird das erzeugte Extrakt zwar größer und das Erstellen des Extrakts dauert länger, das Abfragen hingegen wird um ein Vielfaches beschleunigt.
Ausgewählte Option „Einzelne Tabelle“ im „Daten extrahieren“-Dialog
Abbildung 2.21: Ausgewählte Option »Einzelne Tabelle« im »Daten extrahieren«-Dialog

Empfehlungen für Performance-Optimierung bei Datenbank-Servern

Arbeiten Sie mit Daten auf einem Datenbank-Server, wie Oracle, PostgreSQL oder Microsoft SQL Server, und möchten die Zugriffszeiten verbessern? Dann achten Sie bzw. der dafür zuständige Datenbankadministrator zusätzlich auf folgende Punkte:

  • Definieren Sie für Ihre Datenbank-Tabellen sinnvolle Index-Spalten.
  • Legen Sie für Ihre Datenbank-Tabellen Partitionen an.

Dieser Beitrag ist der dritte Teil der Data-Operations-Serie:

Teil 1: Daten für die Analyse optimal vorbereiten
Teil 2: Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden
Teil 3: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

Außerdem basiert dieser Blog-Post auf einem Unterkapitel des Buches „Datenvisualisierung mit Tableau„:

Datenvisualisierung mit Tableau
$30.79
View on Amazon

How to Research LinkedIn Profiles in Tableau with Python and Azure Cognitive Services in Tableau

Azure Cognitive Services in Tableau: using Python to access the Web Services API provided by Microsoft Azure Cognitive Services
Azure Cognitive Services in Tableau: using Python to access the Web Services API provided by Microsoft Azure Cognitive Services

A few weeks after the fantastic Tableau Conference in New Orleans, I received an email from a data scientist who attended my TC18 social media session, and who is using Azure+Tableau. She had quite an interesting question:

How can a Tableau dashboard that displays contacts (name & company) automatically look up LinkedIn profile URLs?

Of course, researching LinkedIn profiles for a huge list of people is a very repetitive task. So let’s find a solution to improve this workflow…

Step by Step: Integrating Azure Cognitive Services in Tableau

1. Python and TabPy

We use Python to build API requests, communicate with Azure Cognitive Services and to verify the returned search results. In order to use Python within Tableau, we need to setup TabPy. If you haven’t done this yet: checkout my TabPy tutorial.

2. Microsoft Azure Cognitive Services

One of many APIs provided by Azure Cognitive Services is the Web Search API. We use this API to search for name + company + „linkedin“. The first three results are then validated by our Python script. One of the results should contain the corresponding LinkedIn profile.

3. Calculated Field in Tableau

Let’s wrap our Python script together and create a Calculated Field in Tableau:

SCRIPT_STR("
import http.client, urllib, base64, json
YOUR_API_KEY = 'xxx'
name = _arg1[0]
company = _arg2[0]
try:
headers = {'Ocp-Apim-Subscription-Key': YOUR_API_KEY }
params = urllib.urlencode({'q': name + ' ' + company + ' linkedin','count': '3'})
connection = http.client.HTTPSConnection('api.cognitive.microsoft.com')
connection.request('GET', '/bing/v7.0/search?%s' % params, '{body}', headers)
json_response = json.loads(connection.getresponse().read().decode('utf-8'))
connection.close()
for result in json_response['webPages']['value']:
if name.lower() in result['name'].lower():
if 'linkedin.com/in/' in result['displayUrl']:
return result['displayUrl']
break
except Exception as e:
return ''
return ''
", ATTR([Name]), ATTR([Company]))
view raw Tableau LinkedIn lookup with Python and Azure Cognitive Services.txt hosted with ❤ by GitHub

4. Tableau dashboard with URL action

Adding a URL action with our new Calculated Field will do the trick. Now you can click on the LinkedIn icon and a new browser tab (or the LinkedIn app if installed) opens.

LinkedIn demo on Tableau Public

Is this useful for you? Feel free to download the Tableau workbook – don’t forget to add your API key!

Get More Insights

This tutorial is just the tip of the iceberg. If you want to dive deeper into the world of data visualization and analytics, don’t forget to order your copy of my new book, Visual Analytics with Tableau (Amazon).  This comprehensive guide offers an in-depth exploration of data visualization techniques and best practices.

I’d love to hear your thoughts. Feel free to leave a comment, share this tweet, and follow me on Twitter and LinkedIn for more tips, tricks, and tutorials on Azure Cognitive Services in Tableau and other data analytics topics.

Also, feel free to comment and share my Azure Cognitive Services in Tableau tweet:

#ENDALZ: Birthday Fundraiser for Alzheimer’s Association

For my birthday this year, I’m asking for donations to Alzheimer’s Association. I’ve chosen this nonprofit because their mission means a lot to me, and I hope you’ll consider contributing as a way to celebrate with me. Every little bit will help me reach my goal.

To eliminate Alzheimer’s disease through the advancement of research; to provide and enhance care and support for all affected; and to reduce the risk of dementia through the promotion of brain health.

Donate

Künstliche Intelligenz und Automation: Was macht das intelligente Unternehmen von morgen aus? Automation KI im Fokus

Automation KI: Transformieren Sie Ihr Unternehmen
Automation KI: Transformieren Sie Ihr Unternehmen

In der heutigen, schnelllebigen Geschäftswelt spielen Künstliche Intelligenz (KI) und Automation eine immer wichtigere Rolle. Die Integration von Automation und KI kann zu zusätzlichem Absatz, effizienteren Arbeitsabläufen und einer Verbesserung der Customer Experience führen. Aber wie genau kann ein Unternehmen diese Technologien effektiv nutzen?

Bei der Expertenrunde beim Roundtable zu Künstliche Intelligenz und Automation bei Computerwoche habe ich hierzu gesprochen. Wie ich betonte:

„Tableau hilft beim Überführen von KI in praktisch umsetzbare Erkenntnisse und das Voranbringen des gesamten Unternehmens.“

Alexander Loth

Hier sind drei relevante Fragen, die sich stellen, wenn Sie mit Künsliche Inelligenz und Automation Geschäftsprozesse standardisieren und automatisieren möchten:

1. Wie sehen geeignete Einstiegszenarien und Use Cases in die KI- und Automation-Welt aus?

Der Einstieg in die Künstliche Inelligenz und Automation sollte strategisch geplant werden. Geeignete Einstiegszenarien könnten in Bereichen liegen, in denen wiederholbare, regelbasierte Aufgaben ausgeführt werden. Zum Beispiel kann ein Chatbot die Kundenservice-Abteilung unterstützen, während Robotic Process Automation (RPA) Rechnungen und Bestellungen verarbeiten kann. Use Cases erstrecken sich auf unterschiedliche Branchen wie Finanzen, Gesundheitswesen und Einzelhandel, wobei die genaue Anwendung von den spezifischen Geschäftsbedürfnissen abhängt.

2. Welche organisatorischen Anforderungen stellt die Implementierung von KI- und Automation-Lösungen an die Unternehmens-IT?

Die Implementierung von KI und Automation erfordert eine klare Datenstrategie, die die Geschäftsziele mit den technologischen Fähigkeiten abstimmt. Darüber hinaus sind eine starke Zusammenarbeit zwischen IT und Geschäftsbereichen, die Einhaltung von Datenschutzbestimmungen, ausreichende Schulung und Unterstützung der Mitarbeiter und eine robuste Infrastruktur unerlässlich, um die neuen Technologien zu unterstützen.

3. Welche Technologien stellen IT-Abteilungen vor die größten Herausforderungen? Und welche bieten den höchsten Mehrwert?

Die Integration von Künstlicher Intelligenz und Automation in bestehende Systeme kann eine Herausforderung darstellen, besonders wenn ältere Technologien nicht kompatibel sind. Cloud-Computing, maschinelles Lernen, IoT und Big Data sind Technologien, die sowohl eine Herausforderung als auch einen hohen Mehrwert bieten. Die Wahl der richtigen Tools, Plattformen und Technologien hängt von den spezifischen Geschäftsanforderungen und Zielen ab, aber eine erfolgreiche Implementierung kann zu erheblichen Effizienzsteigerungen und Wettbewerbsvorteilen führen.

Mehr zu Automation und KI im Buch Decisively Digital

Automation und KI transformieren die Art und Weise, wie Unternehmen arbeiten, und eröffnen spannende neue Möglichkeiten für Innovation und Wachstum. Die Themen, die wir hier angeschnitten haben, sind jedoch nur die Spitze des Eisbergs.

Für diejenigen, die daran interessiert sind, tiefer in die Welt der Künstlichen Intelligenz, Automatisierung und Robotic Process Automation (RPA) einzutauchen, freue ich mich, mein bald erscheinendes Buch Decisively Digital: From Creating a Culture to Designing Strategy (Amazon) anzukündigen. Dieses Werk bietet eine umfassende Analyse dieser Schlüsseltechnologien und liefert praxisorientierte Einblicke und Strategien für Unternehmen jeder Größe.

Decisively Digital wird sowohl den Anfänger als auch den Experten in die Welt von KI und Automation führen, die Themen aber noch tiefer im Detail behandeln. Bleiben Sie dran für weitere Informationen zur Veröffentlichung und wie Sie Ihr Exemplar reservieren können!

Wie immer stehe ich zur Verfügung, um Ihre Gedanken und Fragen zu Automation und KI zu diskutieren, besonders da ich meine Erfahrungen bei der Expertenrunde beim Roundtable zu Künstliche Intelligenz und Automation bei Computerwoche geteilt habe.

The Empathy Machine: Are Digital Technologies the Best Bet in Telling about your Cause?

The panel discussion „The empathy machine: are digital technologies the best bet in telling about your cause?“ took place on the opening day of the 2018 Fundamental Rights Forum (FRA). This forum was organized by the European Union Agency for Fundamental Rights, and took place at the METAStadt Vienna 25-27 September 2018.

In this panel discussion Kadri Kõusaar (a Oscar nominated film director), Fanny Hidvegi (European Policy Manager) and me discussed if digital technologies really are the “empathy machine” and how innovative applications can help human rights defenders to achieve some challenging goals such as a change in public attitudes or meeting tough fund-raising targets. The panel discussion was moderated by the virtual reality artist Dr. Frederick Baker.

In this blog post I want to share some of the panel’s questions, which I answered:

1. How do algorithms interfere with human rights?

When algorithms make certain decisions, these algorithms  tent to mirror what they are shown with training sets. This is especially apparent for issues such as bias and machine discrimination. Both might be the result of the content of the training data, which reflects existing inequalities.

2. So, it’s about the data? What else makes data so important today?

The effective use of data is vital for our understanding of fundamental issues, such as human rights violations and political instability, for informing our policy-making, and for enhancing our ability to predict the next crisis. Furthermore, the scope, complexity and life-changing importance of the work being done on topics like these across the European Union has made it more important than ever for everyone participating in the public conversation and in demographic decision-making to have access to and to be able to derive insights from key data sources.

3. Where is data coming from and how can people benefit?

Every time we google something, send a tweet, or just browse a website, we create data. With the rise of visual analytics we can benefit from this vast amount of information. Visual analytics is a hands-on approach to interacting with data that does not require any programming skills. Furthermore, communicating with data, is seen as one of the most relevant skills in today’s information age.

Global Refugee Crisis visualization on Tableau Public

4. What is the easiest way to find interesting data?

I would check out the Google’s new search engine for datasets that was just released recently! Tableau Public is a good source for existings visualizations. Many of these are based on public data.

5. What is required to enable organizations to use data for good?

Data can be used for the good of society, but private- and public-sector firms, nonprofits and NGOs still lack analytics resources and expertise. Data and analytics leaders must cross traditional boundaries to use data for good, to better compete for limited talent, and to foster an ethical culture. VizForSocialGood and Tableau Foundation are good examples.

6. How can the private sector contribute for good?

Some private sector organizations are making data open and available to researchers, nonprofits and NGOs. Examples include:

  • Mastercard anonymizing credit card data to be analyzed in smart city initiatives.
  • Google making search data available to hospitals to predict infection disease outbreaks such as flu and dengue fever.
  • Insurance companies providing anonymized healthcare data to improve patient outcomes and prevention strategies.
  • Yelp providing ratings data to cities to prioritize food safety inspectors.

The panel discussion was followed by workshops in the afternoon: