Data Operations: Daten für die Analyse optimal vorbereiten

#dataops: Folgen Sie der Diskussion auf Twitter
#dataops: Folgen Sie der Diskussion auf Twitter

Kürzlich habe ich einige Blog-Posts zum Thema Datenstrategie veröffentlicht. Für viele Unternehmen geht die Entwicklung und Einführung einer Datenstrategie nicht tief genug. Häufig habe ich ähnliches gehört: „So weit ist unser Unternehmen noch gar nicht. Wir haben noch viel operativ vorzubereiten, bevor wir eine Datenstrategie voll umfänglich etablieren können.“

Ich habe in diesen Gesprächen nachgehakt, wo diese grundlegenden Lücken in den Unternehmen bestehen, und entschlossen eine neue Blog-Post-Serie aufzusetzen, um zum Thema Data Operations (#dataops) konkrete und einfach umsetzbare Vorschläge zu geben.

Daten für die Analyse vorbereiten

Eine der wesentlichen Fragen, die sich Datenanalysten immer wieder stellen, lautet: „Gibt es eine Möglichkeit meine Daten für die Verwendung mit Analysewerkzeugen, wie Tableau, optimal vorzubereiten?“

Daten können auf unterschiedliche Arten strukturiert sein. Die meisten neuen Tableau-Anwender erliegen der Versuchung, Tableau mit einem bereits formatierten und voraggregierten Excel-Bericht (siehe Abbildung 1.1) zu verbinden und diesen in Tableau zu visualisieren. Heißt es nicht mit Tableau können Daten jeder Art einfach und intuitiv verwenden werden? Sehr schnell stellt man fest, dass ein solches Vorgehen nicht funktioniert, wie erwartet und sich so auch keine Visualisierungen erstellen lassen.

Abbildung 1.1: Bereits formatierter und voraggregierter Excel-Bericht
Abbildung 1.1: Bereits formatierter und voraggregierter Excel-Bericht

Dieses Szenario, dem viele Einsteiger begegnen, ist nicht ungewöhnlich und tatsächlich ein häufiger Stolperstein bei der Einarbeitung in Tableau, der die Analyse Ihrer Daten erschweren kann.

Die folgenden Punkte zeigen Ihnen Vorschläge zur sauberen Vorbereitung Ihrer Daten anhand des Beispielberichts:

  • Verzichten Sie auf den einleitenden Text („Temperaturmessung zum Monatsbeginn“).
  • Überführen Sie hierarchische Überschriften („Frankfurt“, „Berlin“) auf eine Spalteninformation (neue Spalte „Ort“).
  • Pivotisieren Sie Daten von einer „weiten“ Kreuztabelle mit Variablen in Spalten („Früh“, „Mittag“, „Abend“) in eine „lange“ Tabelle, die die Variablen stets in den Zeilen trägt (in diesem Beispiel die Uhrzeit).
  • Nutzen Sie vollständige Datums- und ggf. Zeitformate („01.04.2018 06:00“) anstatt z.B. nur den Monatsnamen („April“).
  • Überprüfen Sie, dass Zahlen im Zahlenformat und nicht im Textformat gespeichert sind.
  • Verzichten Sie voraggregierte Daten („Durchschnitt“, „Gesamtdurchschnitt“).
  • Entfernen Sie leere Zeilen.
  • Achten Sie darauf, dass jede Spate eine aussagekräftige Spaltenüberschrift trägt.

Haben Sie diese Vorschläge befolgt, ist aus Ihrer „weiten“ Kreuztabelle nun eine „lange“ Zeilen-basierte Tabelle geworden, und damit die perfekte Basis zur umfangreichen Datenanalyse (siehe Abbildung 1.2).

Abbildung 1.2: Zur Datenanalyse geeignete „lange Tabelle“ ohne Aggregationen
Abbildung 1.2: Zur Datenanalyse geeignete „lange Tabelle“ ohne Aggregationen

Dieser Beitrag ist der dritte Teil der Data-Operations-Serie:

Teil 1: Daten für die Analyse optimal vorbereiten
Teil 2: Wann sollten Sie Datenextrakte und wann Live-Verbindungen verwenden
Teil 3: Wie Sie die Performance Ihrer Datenanalyse und Dashboards steigern

Außerdem ist dieser Blog-Post ein Auszug aus dem Buch „Datenvisualisierung mit Tableau„, das am 31. Juli 2018 erscheinen wird:

Hyper Kickoff Event: 5th Frankfurt Analytics + Tableau User Group Meetup

Tableau Hyperfest: Hyper Kickoff Event at Tableau's Frankfurt office
Tableau Hyperfest: Hyper Kickoff Event at Tableau’s Frankfurt office

We’d like to invite you to the 5th Frankfurt Analytics + Tableau User Group Meetup.

Join us for the global launch of Tableau’s super fast data engine, Hyper! Hyper brings faster data refreshes and query performance to Tableau extracts, plus increased scalability in a platform-wide update.

This is your opportunity to get to know the Hyper dev team, hear from Tableau beta customers about their hands-on Hyper experience, and participate in live Q&A. Best of all, learn more about Hyper’s patent-pending technology as well as some of the other features headed your way in 10.5. (Viz in Tooltip, anyone?)

Tableau is hosting the Hyperfest meetup – come and celebrate with the community and the world on the upcoming release of Hyper. In addition to the Hyper presentation, we will also have food, drinks and Tableau swag, so don’t miss it!

-> Sign Up <-

Tableau Hyperfest meetup event page
Sign up for free at the Hyperfest meetup event page

Agenda

9:00pm: Doors Open

9:30pm: Presentations:

10:30pm: Drinks & Networking

11:00pm: Live Hyperfest Viewing Party

Midnight: Event Concludes

Livestream: Follow us on Twitter @FraAnalytics and check for the livestream and additional content!

Feedback and ideas: Let us know if you’d like to discuss a particular topic or if you want to become one of our future speakers – email or twitter.

Bitfinex Invitation Code: Binance als Alternative für IOTA

Bitfinex Mobile App Screenshot
Bitfinex ist nun eine geschlossene Platfform, Anmeldung nur noch mit Einladungscode

Seit einigen Wochen ist die Plattform Bitfinex besonders beliebt, da sich dort Ether in IOTA tauschen lässt. Auch die Konvertierung von Euro ist seit einiger Zeit direkt auf der Handelsplattformen möglich. Jedoch ist, auf Grund des Ansturms, Bitfinex seit gestern eine geschlossene Plattform („members only“). Die Registrierung bei Bitfinex ist nur noch mit einem Einladungscode möglich.

Bitfinex-Einladungscodes bald limitiert verfügbar

Sobald Bitfinex neue Kontingente an Einladungscodes freischaltet, werde ich diese nach dem Prinzip first-come-first-served per Email versenden. Sollten Sie Interesse an einem sogenannten Bitfinex Invitation Code haben, können Sie sich hier eintragen:

[contact-form-7 id=“1870″ title=“Bitfinex“]

Binance als Bitfinex-Alternative für IOTA-Handel

Sie möchten mit dem Handel von IOTA nicht auf Bitfinex warten?

Bitfinex ist nicht die einzige Plattform, die derzeit den Handel mit IOTA ermöglicht. Auch Binan​ce​ bietet IOTA an, die Website gibt es mittlerweile sogar mit deutscher Oberfläche. Dort steht als Handelspaar momentan BTC-IOTA zur Verfügung.

Sie müssen also zuerst Bitcoin kaufen und an Binance senden, wenn Sie auf Binance IOTA kaufen möchten. Falls Sie noch keine Bitcoins besitzen, können Sie welche bei Coinbase (Kreditkarte oder Überweisung) oder bei bitcoin.de (Marktplatz) kaufen.

IOTA attraktiv für Beimischung im Kryptoportfolio

Viele Anleger sehen IOTA zunehmend als interessante Beimischung zur Diversifizierung in einem Kryptoportfolio, wie jenes, das ich kürzlich vorgestellt habe. Einer Twitter-Umfrage zufolge, wird IOTA neben Ripple als zukunftsträchtige Komponente gewertet:

How to Diversify a Long-term Crypto Portfolio

Close-up of a golden Bitcoin, representing digital currency and its role in building a diversified crypto portfolio for long-term investments.
Bitcoin coin symbolizing cryptocurrency investments and crypto portfolio strategies.

Last Friday, it was my pleasure to give an Executive Talk at the Frankfurt School of Finance & Management. While the focus of my presentation was Digital Transformation, plenty of the questions raised by the audience were about cryptocurrencies and how to build a diversified crypto portfolio.

Frankfurt School (@FrankfurtSchool) highlighted the session on Twitter, noting: „Our #FSEMBA students are especially interested in the use cases of today’s Executive Talk.

After receiving follow-up emails from participants seeking guidance, I decided to expand on the topic in this blog post. For additional insights into blockchain and artificial intelligence trends, I recommend reading my related post: Digital Banking: The Opportunities of Blockchain, AI, and Machine Learning.

Why Invest in Cryptocurrencies?

The cryptocurrency market has shown explosive growth, with returns exceeding 1200% since early 2017. Finding this kind of return on investment (ROI) elsewhere is challenging. For example, a $500 investment in January 2017 could have grown to $6000 within a year!

This guide provides a framework for building a long-term cryptocurrency portfolio based on diversification and risk management principles.

Crypto Portfolio Allocation Strategy

I recommend balancing your portfolio with up to five coins in the Top 10 market cap, making up 70-85% of your investment, and complementing it with smaller altcoins in promising projects for the remaining 15-30%. This mirrors Timothy Chong’s analysis of Markowitz-style crypto optimization.

Top Cryptocurrencies for Long-term Investment

Bitcoin (40%)

Bitcoin (BTC) remains the foundation of most crypto portfolios, often referred to as „digital gold.“ It is considered a safer long-term investment due to its market dominance and steady growth.

  • Price (as of time of writing): $16,708
  • Gain Over Past Year: 2,170%
  • Market Cap: $278 B (#1)
  • Circulating Supply: 16,734,237 BTC

Ethereum (30%)

Ethereum (ETH) is the leading platform for decentralized applications (dApps) and smart contracts, driving significant innovation in decentralized finance (DeFi).

  • Price (as of time of writing): $470
  • Gain Over Past Year: 5740%
  • Market Cap: $45 B (#2)
  • Circulating Supply: 96,272,074 ETH

Litecoin (10%)

Litecoin (LTC) is often referred to as the „silver“ to Bitcoin’s „gold.“ Its faster block generation time (2.5 minutes) and lower transaction fees make it ideal for payments.

  • Price (as of time of writing): $170
  • Gain Over Past Year: 4690%
  • Market Cap: $10 B (#5)
  • Circulating Supply: 54,255,483 LTC

Ripple (10%)

Ripple (XRP) focuses on enabling fast and low-cost international money transfers. It has gained traction among financial institutions for cross-border payments.

  • Price (as of time of writing): $0.25
  • Gain Over Past Year: 3500%
  • Market Cap: $9.6 B (#4)
  • Circulating Supply: 38,739,144,847 XRP

Monero (10%)

Monero (XMR) is a privacy-focused cryptocurrency that uses advanced cryptography to ensure transaction anonymity. It has become a go-to option for users seeking privacy.

  • Price (as of time of writing): $264
  • Gain Over Past Year: 3370%
  • Market Cap: $4 B (#9)
  • Circulating Supply: 15,449,232 XMR

Outlook

As cryptocurrencies continue to evolve, they are likely to become the backbone of decentralized economies. Technologies like smart contracts and blockchain interoperability will pave the way for a seamless global financial ecosystem. In the next decade, we may see tokenized assets replacing traditional stocks and bonds, making financial services more accessible worldwide.

Additionally, privacy-focused coins like Monero will grow in importance as regulators impose stricter oversight, driving demand for anonymous transactions.

Quantum-resistant blockchains could also emerge as a critical innovation, securing cryptocurrencies against future quantum computing threats. The integration of artificial intelligence in blockchain governance may further revolutionize decision-making processes in decentralized networks.

FAQs About Crypto Portfolios

Q: Isn’t it too late to start buying cryptocurrencies now?
A: No. With growing adoption, Bitcoin could still reach 100,000 EUR/BTC and beyond in the coming years.

Q: Where can I buy Bitcoin, Ethereum, and other coins?
A: Coinbase and Binance are popular exchanges for buying and selling cryptocurrencies. Sign up on Coinbase now and receive $10 in BTC!

Q: How can I securely store my cryptocurrencies?
A: Use hardware wallets like the Ledger Nano S or create paper wallets for offline storage.

Final Thoughts on Building a Crypto Portfolio

Building a diversified cryptocurrency portfolio requires careful planning and research. The examples shared in this guide highlight promising projects and balanced strategies to help manage risks.

I welcome your thoughts and questions in the comments or on Twitter:



Disclaimer: This blog post is for informational purposes only and does not constitute investment advice.

5 Takeaways from Tableau’s Hybrid Transactional/Analytical Processing

What makes Hyper so fast?
The Future of Enterprise Analytics: Hyper can handle both OLTP and OLAP simultaneously. In the future it will address NoSQL and graph workloads.

1. What is Hyper’s key benefit?

Hyper is a Hybrid transactional/analytical processing (HTAP) database system and replaces Tableau Data Extracts (TDE). The change will be mostly transparent for end users, other than everything being faster. Hyper significantly improves extract refresh times, query times and overall performance.

2. What is Hybrid transactional/analytical processing?

As defined by Gartner:

Hybrid transaction/analytical processing (HTAP) is an emerging application architecture that „breaks the wall“ between transaction processing and analytics. It enables more informed and „in business real time“ decision making.

The two areas of online transaction processing (OLTP) and online analytical processing (OLAP) present different challenges for database architectures. Currently, customers with high rates of mission-critical transactions have split their data into two separate systems, one database for OLTP and one so-called data warehouse for OLAP. While allowing for decent transaction rates, this separation has many disadvantages including data freshness issues due to the delay caused by only periodically initiating the Extract Transform Load (ETL) data staging and excessive resource consumption due to maintaining two separate information systems.

3. Does Hyper satisfy the ACID properties?

Hyper, initially developed at the Technical University of Munich and acquired by Tableau in 2016, can handle both OLTP and OLAP simultaneously. Hyper possesses the rare quality of being able to handle data updates and insertions at the same time as queries by using hardware-assisted replication mechanisms to maintain consistent snapshots of the transactional data. Hyper is an in-memory database that guarantees the ACID properties (Atomicity, Consistency, Isolation, Durability) of OLTP transactions and executes OLAP query sessions (multiple queries) on the same, arbitrarily current and consistent snapshot.

4. What makes Hyper so fast?

The utilization of the processor-inherent support for virtual memory management (address translation, caching, copy on update) yields both at the same time: unprecedentedly high transaction rates as high as 100,000 per second and very fast OLAP query response times on a single system executing both workloads in parallel. This would support real-time streaming of data in future releases of Tableau. These performance increases come from the nature of the Hyper data structures, but also from smart use of contemporary hardware technology, and particularly nvRam memory. Additional cores provide a linear increment in performance.

5. What does this mean for Tableau?

With Hyper now powering the Tableau platform, your organization will see faster extract creation and better query performance for large data sets. Since Hyper is designed to handle exceptionally large data sets, you can choose to extract your data based on what you need, not data volume limitations. Hyper improves performance for common computationally-intensive queries, like count distinct, calculated fields, and text field manipulations. This performance boost will improve your entire Enterprise Analytics workflow.

Join our „The Future of Enterprise Analytics“ events and get a sneak peak at upcoming features and the Tableau Roadmap: 14th of November in Düsseldorf and 6th of December in Frankfurt.

[Update 20 Dec 2017] Hyper Kickoff Event: Join us for the Hyper Kickoff Event at the 18th of January 2018 in Tableau’s Frankfurt Office.