Price and Sentiment Analysis: Why is Bitcoin Going Down?

Bitcoin Price and Sentiment Analysis with variable Moving Average: click to open interactive Tableau dashboard with annotations
Bitcoin Price and Sentiment Analysis with variable Moving Average: click to open interactive Tableau dashboard with annotations

Bitcoin has become one of the trendy investment assets in the recent years. Whenever bitcoin prices approach historical highs, every investor should watch the currency closely. Bitcoin rallied by more than 20% in the first days of 2017, crossing the $1000 mark for the first time since November 2013.

As many experienced bitcoin traders will remember, the first $1000 peak was a case of obvious over exuberance. Bitcoin was hot, plenty of money was pouring into it. Bitcoin investors got too excited, causing a price surge. Prices then rebounded and suffered a long-term collapse shortly after.

Moving Average Convergence/Divergence Indicator

Many traders rely on a Moving Average Convergence/Divergence (MACD) indicator. The MACD is a measure of the convergence and divergence between two EMAs (usually 12 and 26 days) and is calculated by subtracting the two of them. The signal line is constructed by creating an EMA (usually 10 days) of the signal line.

The signal line crossing the MACD from above is a buy signal. The signal line crossing the MACD from below is a sell signal. Relying only on momentum-based indicators (such as the MACD) and optimization-based models, however, will most certainly fail to indicate heavy price drops, as the drop in late 2016.

Predicting Fear with Sentiment Analysis

In late 2016 a lot of people began to pour money into bitcoin again. This time because they were worried that stock markets and other assets were due for a drop. For investors, it is essential to figure out whether or not these fears are actually founded. However, such “safe assets” are prone to suffering from bubbles. People get scared, get invested into gold, or bitcoin, then realize that their fears were unfounded. As a result bitcoin prices could plummet.

So how to catch emotions such as fear in advance? Twitter is a valuable source of information and emotion. It certainly influences the stock market and can help to predict the market. Sentiment analysis can lead price movements by up to two days. Negative sentiment, however, is reflected in the market much more than positive sentiment. This is probably because most people tweet positive things about bitcoins most of the time. Even more positive news occurred after breaking the $1000 barrier.

 
This content is part of the session “Price and Sentiment Analysis: Why is Bitcoin Going Down?” that I deliver at the Frankfurt Bitcoin Colloquium. Have a look on my upcoming sessions!

Feel free to share the Bitcoin Price and Sentiment Analysis dashboard, which is also featured as Viz of the Day on Tableau Public:

TabPy Tutorial: Integrating Python with Tableau for Advanced Analytics

TabPy allows Tableau to execute Python code on the fly
TabPy allows Tableau to execute Python code on the fly

In 2013 Tableau introduced the R Integration, the ability to call R scripts in calculated fields. This opened up possibilities such as K-means clustering, Random Forest models and sentiment analysis. With the release of Tableau 10.1, we can enjoy a new, fancy addition to this feature: the Python Integration through TabPy, the Tableau Python Server.

Python is a widely used general-purpose programming language, popular among academia and industry alike. It provides a wide variety of statistical and machine learning techniques, and is highly extensible. Together, Python and Tableau is the data science dream team to cover any organization’s data analysis needs.

In this tutorial I’m going to walk you through the installation and connecting Tableau with TabPy. I will also give you an example of calling a Python function from Tableau to calculate correlation coefficients for a trellis chart.

1. Install and start Python and TabPy

Download TabPy from Tableau’s GitHub repository:

> git clone git://github.com/tableau/TabPy

TabPy download via GitHub

Within the TabPy directory, execute setup.sh (or setup.bat if you are on Windows). This script downloads and installs Python, TabPy and all necessary dependencies. After completion, TabPy is starting up and listens on port 9004.

2. Connecting Tableau to TabPy

In Tableau 10.1, a connection to TabPy can be added in Help > Settings and Performance > Manage External Service Connection:

Tableau Help menu

Set port to 9004:

TabPy port 9004

3. Adding Python code to a Calculated Field

You can invoke Calculated Field functions called SCRIPT_STR, SCRIPT_REAL, SCRIPT_BOOL, and SCRIPT_INT to embed your Python script in Tableau:

Python script within Tableau

4. Use Calculated Field in Tableau

Now you can use your Python calculation as Calculated Field in your Tableau worksheet:

Tableau Worksheet

Feel free to download the Tableau Packaged Workbook (twbx) here.

Translated to Japanese by Tomohiro Iwahashi: Tableau + Python 連携 (Tabpy) を使ってみよう!

Predictive Maintenance hilft Ihnen Wartungsmaßnahmen effizient zu gestalten

Screenshot
Predictive Maintenance zeigt verbleibende Nutzungsdauer von Aufzügen der Deutschen Bahn: klicken, um interaktives Dashboard zu öffnen

Nicht nur die Fertigungskosten lassen sich mit Predictive Maintenance senken. Auch im Dienstleistungsbereich entsteht durch Vorhersagen enormes Optimierungspotential. Im wesentlichen lassen sich die Fragestellungen, die im Rahmen von Predictive Maintenance gestellt werden, in drei Klassen einteilen:

  • Wie hoch ist die Wahrscheinlichkeit, dass ein Gerät in naher Zukunft ausfällt?
  • Was sind die Ursachen von Ausfällen und welche Instandhaltungsmaßnahmen sollten durchgeführt werden, um diese Probleme zu beheben?
  • Wie lang ist die Nutzungsdauer eines Gerätes?

Ein Beispiel, das die Frage der Nutzungsdauer in den Mittelpunkt rückt, zeigt das Dashboard Predictive Maintenance Deutsche Bahn Elevators. Dieses Dashboard sagt voraus, wie lange Aufzüge noch ohne Wartung auskommen (“Rest of Useful Life”). Mit dem Parameter “Material Wear Off” lässt sich zudem der Grad der Abnutzung beeinflussen.

Die visualisierten Sensordaten erlauben darüber hinaus die Möglichkeit Anomalien zu entdecken. Hier lassen sich mit den Parametern “Primary Sensor” und “Secondary Sensor” verschiedene Kombinationen analysieren. In der “Setting Matrix” werden die verschiedene Einstellungen, die beim Betreiben der Aufzüge angewandt werden zusammengefasst.

Details zu den Aufzügen werden im Tooltip angezeigt. In diesen Tooltips lassen sich darüber hinaus Wartungsaufträge via Twitter triggern:

 

Anstatt auf eine Störung zu reagieren, können Servicetechniker somit auf Vorhersagen zurückgreifen. Damit agieren sie bereits vor einem Ausfall des Aufzugs entsprechend. Techniker sind somit in der Lage einen Aufzug aus der Ferne in den Diagnosemodus zu versetzen und ihn auf einer bestimmten Etage zu parken. All dies führt zu weniger Anfahrtszeiten, gesteigerter Effizienz und geringeren Kosten.

Dieses und weitere Beispiele zeige ich auf meinem Vortrag “Industry 4.0: Self Service BI and Predictive Maintenance“ im Rahmen des IBI Symposium am 17. November 2016 in Stuttgart.

7 Fragen, die Unternehmen helfen ihr Ergebnis mit Social Media zu steigern

Twitter Sentiment Analysis: klicken, um interaktives Dashboard zu öffnen
Twitter Sentiment Analysis: klicken, um interaktives Dashboard zu öffnen

Ist der Einsatz sozialer Netze in Ihrem Unternehmen auf Marketing beschränkt, und lässt dadurch Chancen ungenutzt?

Noch immer schöpfen viele Unternehmen in Deutschland die Möglichkeiten von Social Media nur unzureichend aus. Die meisten Firmen nutzen Social Media lediglich als Marketinginstrument, senden zum Beispiel in Intervallen die gleichen Inhalte. Wesentlich weniger Unternehmen setzen Social Media dagegen in der externen Kommunikation, in Forschung und Entwicklung, zu Vertriebszwecken, oder im Kundenservice ein.

Nachfolgend betrachten wir die Twitter-Kommunikation von vier Social-Media-affinen Unternehmen etwas näher, und zeigen anhand sieben Fragestellungen was sie anders machen und wo die übrigen Nachholbedarf haben.

1. Wann und wie werden Tweets gesendet?

Ein Blick auf das Histogram lässt auf reichlich Interaktion schließen (Tweets und Replies), während das Weiterverbreiten von Tweets (Retweets) eher sporadisch auftritt:

 

2. Wie umfangreich sind die Tweets?

Wie es scheint, reitzen die meisten Tweets die von Twitter vorgesehenen 140 Zeichen aus – oder sind zumindest nahe dran:

 

3. An welchen Wochentagen wird getweetet?

Am Wochenende lässt die Kommunikation via Twitter nach. Die Verteilung der Emotionen bleibt dabei gleich, unterscheidet sich aber von Unternehmen zu Unternehmen:

 

4. Zu welcher Tageszeit wird getweetet?

Auch nachts werden weniger Tweets verfasst. Bei Lufthansa kommt es dabei recht früh zu einem Anstieg durch Pendler-Tweets, etwas später tritt dieser Effekt bei der Deutschen Bahn ein: 

 

5. Welche Art der Kommunikation herrscht vor?

Der hohe Anteil an Replies bei Telekom, Deutsche Bahn und Lufthansa impliziert, dass diese Unternehmen Twitter stark zum Dialog nutzen. Unter den Tweets der Deutsche Bank ist hingegen der Anteil an Retweets – insbesondere bei jenen mit Hashtag – deutlich höher, was auf einen höheren Nachrichtengehalt schließen lässt:

 

6. Welche User sind besonders aktiv?

Nun betrachten wir die Twitter-User, welche die entsprechend Twitter-Handles der Unternehmen besonders intensiv nutzen:

 

7. Welche Tweets erzeugen Aufmerksamkeit?

Diese Frage lässt sich am besten interaktiv im Dashboard (siehe auch Screenshot oben) untersuchen. Entscheidend ist bei dieser Betrachtung die Ermittlung der Emotion durch eine Sentiment-Analyse.

Je nach Emotion und Kontext ist es vor allem für das adressierte Unternehmen von Interesse rechtzeitig und angemessen zu reagieren. So lässt sich eine negative Stimmung frühzeitig relativieren, und so Schaden an der Marke abwenden. Positive Nachrichten können hingegen durch Weiterreichen als Multiplikator dienen.

Digitale Banken: Die Zukunft des Privatkundengeschäfts und der Vermögensverwaltung

Interaktive Portfolio-Übersicht mit Tableau
Interaktive Zusammenstellung eines Portfolios mit automatischer Gewichtung auf Grundlage der Sharpe-Ratio

Vor gut einem Jahr habe ich mit dem Blog-Post “Digitale Banken: Welche Anforderungen bringt die Digitalisierung?” einige Ideen aufgezeigt, wie sich Banken die Digitalisierung zu Nutze machen können. Die Motivation ist meist die Steigerung des Umsatzes, Kostenersparnis und die Erschließung neuer Märkte. Die Herausforderungen sind nach wie vor schwindenden Zinserträge, härtere regulatorische Vorschriften, erhöhter Wettbewerb und anspruchsvolle Kunden.

Seither war ich an vielen weiteren Projekten im Finanzwesen beteiligt und sehe, dass besonders das Privatkundengeschäfts und die Vermögensverwaltung von der Digitalisierung profitieren. Dabei habe ich drei Kernbereiche ausgemacht, die ich nachfolgend etwas mehr in den Fokus rücken möchte.

1. Payment und Zahlungsverkehr

Vielen Menschen fällt es schwer sich die sperrige IBAN zu merken. Die Email-Adressen, die Handynummer und den Fingerabdruck haben die meisten allerdings immer parat. Neue technische Möglichkeiten treffen so auf veränderte Verbraucherbedürfnisse. Zahlungen werden immer häufiger mit dem Smartphone abgewickelt – ohne Eingabe einer IBAN. Zahlungen werden schneller – kein ganzer Tag vergeht zwischen Kontobelastung und Gutschrift, sondern nur wenige Sekunden.

Außerdem werden Zahlungen dezentral. Dazu befasst sich der Finanzsektor zunehmend mit der Blockchain-Technologie (wie hier die Deutsche Bank), mit welcher nicht nur Überweisungen sondern auch Wertpapierhandel möglich sind. Insbesondere große Institute tun sich mit der Blockchain-Technologie allerdings schwer, da die zentrale Kontrolle des Zahlungsverkehrs auch als Instrument zur Kundenbindung verstanden wird.

2. Finanzierung und Kreditvergabe

Bei der Finanzierung und Kreditvergabe stehen neue/bessere Algorithmen im Mittelpunkt. Mit diesen möchte man stets folgende Fragen beantworten: Wie lässt sich der Credit Score optimal ermitteln? Wie empfehlen wir unseren Kunden proaktiv das richtige Finanzprodukt?

Die Konstruktion von Entscheidungsbäumen, eine Form des Maschinellen Lernens, ist für solche Algorithmen eine tragende Säule. Hierbei ist es ratsam die Ergebnisse immer wieder zu kontrollieren und gegebenfalls über Parameter die Gewichtung bestimmter Variablen zu korrigieren. Sonst kann es womöglich passieren, dass einem Gutverdiener der Dispo gestrichen wird, weil sein Gehaltseingang nicht als solcher erkannt wird; oder einem Rentner ein Bausparvertrag angepriesen wird, weil sein Social-Media-Profil einen solchen Bedarf vermuten lässt.

3. Beratungsplattformen für die Vermögensanlage

Zu Zeiten der Null-Zins-Politik ist bei der Vermögensanlage zunehmend Kreativität gefragt. Diese lässt sich schwer in starren Systemen aus dem Zeitalter der Mainframes abbilden. Stattdessen lassen sich Anlagestrategien aus unterschiedlichen Blickwinkeln mit Analytics-Anwendungen, wie Tableau (“Datenanalyse für Banken“), beleuchten und sich ggf. um quantitative Funktionalität aus R anreichern.

Beispielsweise lässt sich mit Hilfe der Sharpe-Ratio interaktiv eine optimale Portfolio-Gewichtung berechnen, und die Williams-Percent-Range als Indikator für Chart-Trends nutzen. Ein solcher Self-Service-Gedanke passt zur Unternehmenskultur der Datendemokratisierung und lässt auch die Mitarbeiter aus Vertrieb und Beratung an der Digitalisierung teilhaben.

 

Alle hier gezeigten Beispiele sind echten Szenarien nachempfunden. Die Portfolio-Optimierung kann als Tableau Packaged Workbook (twbx) hier heruntergelanden werden, und benötigt Tableau mit R-Integration. Auch hierzu freue ich mich wieder über Feedback, Fragen und Anregungen…