into business intelligence

Het nieuwe gratis e-book "What Matters Now" van Seth Godin en 70 meer of minder bekende vrienden bevat evenveel kort uitgewerkte ideeen steeds rond een woord. 
Een mooi alternatief voor de bekende kerst- en nieuwjaars wensen.
 

Het betoog hierin van Chip en Dan Heath, de schrijvers van "Made to stick" rond het woord "Change" bleef bij mij plakken:
Het is het verhaal van Bobby een moeilijke leerling die naar de leerlingenbegeleider wordt gestuurd. Bobby is al zo vaak in problemen geweest dat de school op het punt staat om hem over te plaatsen naar een school voor moeilijk opvoedbare tieners.
De meeste begeleiders zouden met Bobby zijn problemen besproken hebben. Zijn begeleider Murphy doet dat niet  maar vraagt: In welke klassen gaat het wel goed? Het antwoord en de uitleg waarom het zo goed gaat in de klas van juf Smith is de basis voor Murphy advies aan de leerkrachten. Die dit advies vervolgens opvolgen  waarna Bobby' zich inderdaad beter gaat gedragen.
 
Deze focus op "Wat gaat goed?", "Hoe komt dat?" en "Hoe  kunnen we dat succes herhalen?" deed me denken aan  de pitchline die we gebruikten om uit te leggen wat we nou precieus doen met Business Intelligence: "Wat gaat goed en wat kan beter?" Met Business Intelligence kan je vaak goed antwoord geven op die twee vragen. Met rode en groene indicatoren brengen we ze extra onder de aandacht in onze rapporten en dashboards.

In het vervolg traject hierop zijn het echter vaak de gebruikers van het BI systeem die hun aandacht richten op "Wat kan beter" Waar gaat het niet goed? Waar moeten we bijsturen... mensen aanspreken, hun bonus korten, ontslaan.

Op zich niet verkeerd natuurlijk maar het echte goud krijg je pas als je je aandacht richt op de vraag "Wat gaat goed?" en "Hoe kunnen we dat succes herhalen?". Het antwoord op deze vragen leidt ongetwijfeld tot succesvollere producten, projecten en meer winstgevende klanten.
 

Toen ik een jaar geleden ofzo voor het eerst in aanraking kwam met het Data Vault concept voor het bouwen van een datawarehouse was ik niet onder de indruk. Het grote aantal relatief kleine tabellen leek me niet handig. Daarnaast had ik de indruk dat voor deze methode eerst  een volledige ontwerp van het datawarehouse gemaakt moest worden.
En dat laatste ging wel erg tegen het principe  "Think Big, Start Small" in. Een principe waar ik veel waarde aan hecht.

Na de diverse discussies in het Nederlandse BI wereldje en verdere verdieping in de materie kwam ik er achter dat ik behoorlijk fout zat met die eerste indruk.  Die kleine tabellen zorgen juist voor een grotere flexibiliteit waardoor het datawarehouse beter schaalbaar wordt maar vooral ook eenvoudiger aan te passen. Aanpasbaar aan nieuwe wensen, veranderende inzichten en gewijzigde bronsystemen.

Had ik dat eerder geweten dan hadden mijn klanten fors bespaart op de onderhoudskosten van hun business intelligence oplossing.
Daarom heb ik de cursus van Daniel Linstedt gevolgd, het examen gedaan en ben ik nu een "Certified Data Vault  Modeler"

"Blinde trots breekt ABN AMRO" is de subtitel van het boek de Prooi van Jeroen Smit.

Het is een reconstructie van bijna 20 jaar ABN AMRO geschiedenis en beschrijft de teloorgang van DE BANK. Het boek leest als een spannende whodunnit .. maar aan het einde weet je het nog niet echt.
Wie is nu de schuldige?

• De commissarissen, die half slapend genoten van de status van hun bijbaantje?
• De besluitloosheid vanwege de ABN AMRO cultuur verschillen... Laten we vooral niet op elkaars tenen stappen… of wat vestigingen/functies  bij elkaar trekken.
• De tomeloze -blinde- ambitie van een aantal kernfunctionarissen die duidelijk kwaliteiten bezaten maar onvoldoende om de toko te leiden.
• Of toch die blinde trots die vaak leidde tot idiote voorwaarden bij fusie-/overnamegesprekken.

Blind lijkt een sleutel woord.

In het boek staan veel verwijzingen naar gebrekkige managementinformatie. Zo was het niet duidelijk waar het meeste geld verdiend werd en werden hierdoor verkeerde strategische keuzes gemaakt. Zoals de belangrijke, misschien wel cruciale beslissing in 2000 om fors in te zetten op de dienstverlening aan de grootzakelijke klanten. De klanten waarvan uit later onderzoek bleek dat er het minst op verdiend werd.
Blind door gebrekkige managementinformatie dus.

Laten we er daarom met onze Business Intelligence projecten ervoor zorgen dat onze klanten iets minder blind worden. Laten we ze inzicht geven in succesvolle klanten, producten, projecten en medewerkers en ook datgene en diegene die niet succesvol zijn. 
 

Microsoft heeft vorige week bekend gemaakt dat ze de broncode van Performance Point planning (gratis - maar met voorwaarden) beschikbaar stellen onder een nieuwe naam: Financial Planning Accelerator.

MSDN BI Blog:
Microsoft will make available the source code and project files derived from the PerformancePoint Server 2007 Planning module. This packaged source code will be called the Financial Planning Accelerator (FPA). The source code will be made available on a no-cost, individual license agreement and can be used to support or change PerformancePoint Server Planning functionality.
Pasted from <http://blogs.msdn.com/bi/archive/2009/06/18/financial-planning-accelerator-announced.aspx>

Dit is goed nieuwe voor klanten en partners die al geïnvesteerd hebben in Performance Point Planning en in januari volledig verrast werden door Microsoft aankondiging te stoppen met de planningsmodule van Performance Point.

Hopelijk en zeer waarschijnlijk zal deze Financial Planning Accelerator een goede basis vormen voor nieuw te ontwikkelen planningsystemen.

Zo aan het begin van de zomer worden we overstroomd met nieuwe technische vindingen:

• Filmen met je iPhone, 
• Comeback van Palm met de Pre 
• Microsoft's alternatief voor de mislukte Yahoo overname: Bing
• En natuurlijk Google's Wave.

Deze laatste is vanuit meerdere perspectieven waaronder business intelligence het meest interessant.

Wat is het precies?
Het is google's antwoord op de vraag "Hoe zou e-mail eruit zien als we het nu zouden uitvinden?"
Een combinatie van e-mail, IM, twitteren, bloggen en discussie forum's en ziet er veelbelovend uit.

Uit bovenstaand filmpje blijkt dat wave meer is dan een product. Het is ook een platform en een protocol en ... open source. Hierdoor is het door derden eenvoudig uit te breiden.

Het business intelligence systeem van een willekeurige autoleverancier zou dan de volgende wave kunnen starten. Vervolgens de juiste personen binnen het bedrijf hier aan kunnen koppelen. Zodat ze volgens onderstaande manier hun bijdrage aan de wave kunnen leveren:

____________________________________________________________________
Sterke stijging verkoop van oranje auto's in EMEA Regio

Periode: 01-05-2009 tm 31-05-2009
Signaal: stijging verkoop (+26%)
Product: Oranje auto's
Regio: EMEA

Report Robot
____________________________________________________________________
Ik wist het … het heeft even geduurd maar oranje wordt het helemaal deze zomer.
Ik zal snel oranje verf bij bestellen en het produktieplan aanpassen.

O'Carr - Product manager
____________________________________________________________________
Ho ho … niet zo snel!!
Deze stijging is een direct gevolg van een prijsactie van onze dealers.
Zij zijn bang om met die "lelijke" auto's te blijven zitten.

Mees - Sales manager EMEA Regio
____________________________________________________________________
 

Zo'n discussie is natuurlijk nu al mogelijk op een apart discussie platform. (maar worden die voldoende bezocht?) Het voordeel van deze wave technologie is dat het de diverse communicatie kanalen combineert en dat de gebruiker nog maar één tool voor zijn communicatie met de rest van de wereld nodig heeft.

Zal deze wave technology daarmee ooit e-mail vervangen?
Is het een tsunami of een rimpel in de e-mail vijver?
Ik weet het niet. 
Maar als er een bedrijf is die dat voor elkaar kan krijgen dan is het Google.

<<aangevuld met opmerkingen en plaatjes van Henk op 7 mei>>

Hardware heeft niet echt mijn interesse maar de solid state technologie als vervanging voor hard disks is veelbelovend: snellere prestaties, stiller en minder energieverbruik.

Helaas zijn ze nog erg duur. De 2 TB storage van dsi die Henk van der Valk (Unisys Nederland) gebruikte in zijn presentatie op SQL PASS Europe conferentie in Dusseldorf vorige week zal toch snel 100.000 dollar kosten. Deze presentatie van Henk samen met Thomas Kejser (SQLCAT) vormde één van de hoogtepunten van de conferentie: zeer snelle performance door gebruik van de DATAllegro techniek in de nieuwe Kilimanjaro release op een 96 core machine van Unisys: de ES7000  en de solid state storage.

Dit alles leidde in eerste instantie tot een throughput van ongeveer 4 miljoen rijen per seconde van een tamelijk complexe dataset. Vergelijkbaar dus met het eerdere wereldrecord van vorig jaar. En na een aantal aanpassingen met het effect dat alle 96 cores gedurende korte tijd continue op 100% cpu draaiden werd het nieuwe record gezet op 14,5 miljoen rijen per seconde. (Ruim  1600  MB/sec  schrijven  en  1900MB/sec lezen van SSD met 96 parallele bulk Insert opdrachten )

Heb je de presentatie gemist dan is er op 13 mei nog een herkansing in een door PASS Nederland georganiseerde avond sessie. Op sqlpass.nl vindt je hierover meer details.

Veel nieuws was er verder niet op de PASS conferentie:

• Er was uiteraard weer aandacht voor Gemini maar door het op het laatste moment afhaken van Donald Farmer als key-note spreker viel dit een beetje tegen.
• Master Data Management (Stratature acquisitie) zal ook onderdeel worden van Kilimanjaro release (2010) Met TechEd in mei zal hierover meer informatie verspreid worden.
• De ‘self learning’ data quality techniek van de Zoomix acquisitie zal eerst in de volgende release van SQL Server geïmplementeerd worden (2011)

Gerelateerde links:

• The Data Loading Performance Guide http://msdn.microsoft.com/en-us/library/dd425070.aspx
• ETL World record http://msdn.microsoft.com/en-us/library/dd537533.aspx
• Dynamic Solutions  SSD Storage Solutions
  DDR:     http://www.dynamicsolutions.com/main-menu/dsi3400
  FLASH:  http://www.dynamicsolutions.com/main-menu/dsi3500
• De server die gebruikt is in de demo: een Unisys ES7000 Server, Model 7600R, met 16 x Intel Hexcore CPU’s  = 96 cores!  / 512 GB RAM
  Unisys ES7000 Enterprise Servers: 
  http://www.unisys.com/products/enterprise__servers/high_d_end__servers/models/index.htm   

Onze jagende voorvaders hadden een voordeel bij het zien van slechts twee kleuren in plaats van de gebruikelijke drie kleuren: zij konden diepte en afstand beter inschatten.
Tenminste ... dat zou een verklaring kunnen zijn voor het feit dat 8% van de mannen en slechts 0,4% van de vrouwen lijden aan kleurenblindheid.

De meest voorkomende variant hiervan is de rood-groen kleurenblindheid. Het is daarom maar goed dat het rood bij een stoplicht altijd boven zit. Stel je de chaos voor als dat niet overal zo zou zijn.
Het is ook de reden dat visualisatie expert Stephen Few adviseert om in dashboards zoveel mogelijk gebruik te maken van één kleur en de intensiteit te variëren: donker voor slechtere prestaties en lichter voor goede prestaties.
Wil je toch gebruik maken van twee kleuren overweeg dan rood en blauw of kies een variatie van bijvoorbeeld een donkere rode kleur en een lichtere groene kleur.

De afgelopen weken heb ik een idee waar ik al langer mee rondloop uitgewerkt. Vandaag introduceer ik versie 1. Het is een dashboard (of liever scoreboard) oplossing voor mobile users: www.ourscoreboard.com/mobile  en bestaat uit een (mobile) website en een data-upload service.

Dit is naar mijn mening een goede en eenvoudige manier om de belangrijkste kpi's met je team te delen.   Binnenkort meer informatie. Ondertussen … heb je ideeën of  opmerkingen: Ik hoor ze graag.
 

In het algemeen is het mijn ervaring dat het samenvoegen van 2 afdelingen of bedrijven slecht werkt.  De in het vooruitzicht behaalde synergievoordelen blijken toch niet te realiseren, mensen raken gedemotiveerd en uiteindelijk blijft er een slechter functionerende afdeling/bedrijf over.
Voorzichtig dus hiermee.

Dat geldt ook voor het nieuwe SQL 2008 statement: MERGE.
Deze biedt de mogelijkheid om een INSERT, UPDATE en DELETE in een statement uit te voeren en lijkt daarmee een ideale kandidaat in het ETL proces voor Slowly Changing Dimensions. De Kimball group heeft hierover design tip  #107 geschreven. Deze geeft een goed beeld hoe je MERGE kan gebruiken bij Slowly Changing Dimensions.

Toch lijkt het me verstandiger om juist bij Slowly Changing Dimensions gebruik te maken van de SCD task  in SSIS of deze snellere variant. Dit in verband met exception, error en log handling. De nieuwe MERGE statement is wel uitstekend geschikt voor het vullen van datamarts met (geaggregeerde) informatie. Bijvoorbeeld het vullen van tabel met omzetcijfers per klant voor het gehele jaar waarvoor ik hieronder een simpel voorbeeld heb geschreven.

Dagelijks wordt de tabel JaarVerkopen aangepast met de dagomzetten van gisteren uit de tabel DagVerkopen. Indien het een nieuwe klant betreft dan (NOT MATCHED) volgt een INSERT bij een bestaande klant (MATCHED) wordt het omzetbedrag verhoogd met de omzetten van gisteren.

MERGE JaarVerkopen AS JV
 USING (
 SELECT
             KlantID,
             Omzet = SUM(Omzet),
       FROM DagVerkopen
       WHERE Datum>GETDATE()-1
       GROUP BY KlantID
 ) AS DV
 ON JV.KlantID =DV.KlantID
 
 WHEN NOT MATCHED THEN
       INSERT (KlantID, Omzet)
       VALUES( KlantID, Omzet)
 
WHEN MATCHED THEN
       UPDATE
        SET JV.Omzet = JV.Omzet + DV.OMZET;
 

In het artikel "How to Create a Professional Chart using Excel 2007" beschrijft Robin Wakefield, een programma manager voor Microsoft Excel, de stappen die nodig zijn om een standaard Excel grafiek aan te passen naar een professionele grafiek.

De principes van Edward Tufte zijn hierbij zijn uitgangspunt:  verminderen van non-data-ink (chart junk) in een grafiek. Dit is het resultaat van  zijn werk:

En zo ziet de oorspronkelijke standaard Excel 2007 grafiek eruit:

Goed om te zien dat ze bij Microsoft bezig zijn met de principes van Tufte. De diverse grafiek mogelijkheden in SQL Server  Reporting Services, de ASP.NET Chart Controls en ook Excel blinken uit in onnodige bling-bling. Ze resulteren in onduidelijke grafieken of veel aanpassingen om de standaard chart junk te verwijderen.

Hopelijk zal het in de volgende versie van Office eenvoudiger zijn om professionele grafieken te maken tot die tijd is het handig om de 9 stappen van John Peltier te gebruiken om grafieken van onnodige opsmuk te bevrijden.