into business intelligence

Microsoft heeft vorige week bekend gemaakt dat ze de broncode van Performance Point planning (gratis - maar met voorwaarden) beschikbaar stellen onder een nieuwe naam: Financial Planning Accelerator.

MSDN BI Blog:
Microsoft will make available the source code and project files derived from the PerformancePoint Server 2007 Planning module. This packaged source code will be called the Financial Planning Accelerator (FPA). The source code will be made available on a no-cost, individual license agreement and can be used to support or change PerformancePoint Server Planning functionality.
Pasted from <http://blogs.msdn.com/bi/archive/2009/06/18/financial-planning-accelerator-announced.aspx>

Dit is goed nieuwe voor klanten en partners die al geïnvesteerd hebben in Performance Point Planning en in januari volledig verrast werden door Microsoft aankondiging te stoppen met de planningsmodule van Performance Point.

Hopelijk en zeer waarschijnlijk zal deze Financial Planning Accelerator een goede basis vormen voor nieuw te ontwikkelen planningsystemen.

<<aangevuld met opmerkingen en plaatjes van Henk op 7 mei>>

Hardware heeft niet echt mijn interesse maar de solid state technologie als vervanging voor hard disks is veelbelovend: snellere prestaties, stiller en minder energieverbruik.

Helaas zijn ze nog erg duur. De 2 TB storage van dsi die Henk van der Valk (Unisys Nederland) gebruikte in zijn presentatie op SQL PASS Europe conferentie in Dusseldorf vorige week zal toch snel 100.000 dollar kosten. Deze presentatie van Henk samen met Thomas Kejser (SQLCAT) vormde één van de hoogtepunten van de conferentie: zeer snelle performance door gebruik van de DATAllegro techniek in de nieuwe Kilimanjaro release op een 96 core machine van Unisys: de ES7000  en de solid state storage.

Dit alles leidde in eerste instantie tot een throughput van ongeveer 4 miljoen rijen per seconde van een tamelijk complexe dataset. Vergelijkbaar dus met het eerdere wereldrecord van vorig jaar. En na een aantal aanpassingen met het effect dat alle 96 cores gedurende korte tijd continue op 100% cpu draaiden werd het nieuwe record gezet op 14,5 miljoen rijen per seconde. (Ruim  1600  MB/sec  schrijven  en  1900MB/sec lezen van SSD met 96 parallele bulk Insert opdrachten )

Heb je de presentatie gemist dan is er op 13 mei nog een herkansing in een door PASS Nederland georganiseerde avond sessie. Op sqlpass.nl vindt je hierover meer details.

Veel nieuws was er verder niet op de PASS conferentie:

• Er was uiteraard weer aandacht voor Gemini maar door het op het laatste moment afhaken van Donald Farmer als key-note spreker viel dit een beetje tegen.
• Master Data Management (Stratature acquisitie) zal ook onderdeel worden van Kilimanjaro release (2010) Met TechEd in mei zal hierover meer informatie verspreid worden.
• De ‘self learning’ data quality techniek van de Zoomix acquisitie zal eerst in de volgende release van SQL Server geïmplementeerd worden (2011)

Gerelateerde links:

• The Data Loading Performance Guide http://msdn.microsoft.com/en-us/library/dd425070.aspx
• ETL World record http://msdn.microsoft.com/en-us/library/dd537533.aspx
• Dynamic Solutions  SSD Storage Solutions
  DDR:     http://www.dynamicsolutions.com/main-menu/dsi3400
  FLASH:  http://www.dynamicsolutions.com/main-menu/dsi3500
• De server die gebruikt is in de demo: een Unisys ES7000 Server, Model 7600R, met 16 x Intel Hexcore CPU’s  = 96 cores!  / 512 GB RAM
  Unisys ES7000 Enterprise Servers: 
  http://www.unisys.com/products/enterprise__servers/high_d_end__servers/models/index.htm   

In het algemeen is het mijn ervaring dat het samenvoegen van 2 afdelingen of bedrijven slecht werkt.  De in het vooruitzicht behaalde synergievoordelen blijken toch niet te realiseren, mensen raken gedemotiveerd en uiteindelijk blijft er een slechter functionerende afdeling/bedrijf over.
Voorzichtig dus hiermee.

Dat geldt ook voor het nieuwe SQL 2008 statement: MERGE.
Deze biedt de mogelijkheid om een INSERT, UPDATE en DELETE in een statement uit te voeren en lijkt daarmee een ideale kandidaat in het ETL proces voor Slowly Changing Dimensions. De Kimball group heeft hierover design tip  #107 geschreven. Deze geeft een goed beeld hoe je MERGE kan gebruiken bij Slowly Changing Dimensions.

Toch lijkt het me verstandiger om juist bij Slowly Changing Dimensions gebruik te maken van de SCD task  in SSIS of deze snellere variant. Dit in verband met exception, error en log handling. De nieuwe MERGE statement is wel uitstekend geschikt voor het vullen van datamarts met (geaggregeerde) informatie. Bijvoorbeeld het vullen van tabel met omzetcijfers per klant voor het gehele jaar waarvoor ik hieronder een simpel voorbeeld heb geschreven.

Dagelijks wordt de tabel JaarVerkopen aangepast met de dagomzetten van gisteren uit de tabel DagVerkopen. Indien het een nieuwe klant betreft dan (NOT MATCHED) volgt een INSERT bij een bestaande klant (MATCHED) wordt het omzetbedrag verhoogd met de omzetten van gisteren.

MERGE JaarVerkopen AS JV
 USING (
 SELECT
             KlantID,
             Omzet = SUM(Omzet),
       FROM DagVerkopen
       WHERE Datum>GETDATE()-1
       GROUP BY KlantID
 ) AS DV
 ON JV.KlantID =DV.KlantID
 
 WHEN NOT MATCHED THEN
       INSERT (KlantID, Omzet)
       VALUES( KlantID, Omzet)
 
WHEN MATCHED THEN
       UPDATE
        SET JV.Omzet = JV.Omzet + DV.OMZET;
 

Microsoft heeft vandaag aangekondigd dat ze:
- Stoppen met Performance Point Planning
- Performance Point Monitoring en Analytics een onderdeel wordt van Sharepoint Portal Server.

Dit lijkt een logische stap gebaseerd op feedback van klanten zoals hier beschreven.
De vandaag aangekondigde 5000 ontslagen spelen ongetwijfeld ook een rol.

Voor de meeste klanten van Microsoft is dit een voordeel. Veel hebben al geïnvesteerd in de Sharepoint technologie en krijgen nu de dashboard, scorecarding en analytische tools van PPS er gratis bij.
Voor een beperkt aantal klanten met investeringen in PPS Planning is het uiteraard een minder gelukkig besluit.

PPS Planning was een eenvoudig concept met een relatief complexe architectuur en veel (versie 1) schoonheidsfoutjes. Persoonlijk ben ik er dan ook niet rauwig om.
 

 Het grote nieuws van de Microsoft Business Intelligence Conferentie van vorige week was ongetwijfeld de aankondiging van project Gemini. Diverse bloggers waaronder Johan van der Kooij en ikzelf hebben hierover al het een en ander geschreven. De key-note met demo is nu beschikbaar op http://wm.istreamplanet.com/customers/ms/300_ms_biconf_081006.asx Ga naar 1 uur en 16 minuten voor het verhaal van Gemini en de presentatie van Donald Farmer

Een mooi stukje techniek en visie die het business Intelligence landschap danig zal veranderen:

• Nieuwe Analysis Services OLAP Mode gebaseerd op In Memory en Kolom georiënteerd technieken;
• Krachtige data cleaning mogelijkheden binnen de Excel Add-In;
• Hele grote datasets (100 miljoen rijen) bewerken en analyseren op de desktop;
• Verbeterde draaitabellen met intelligente actieve slicers;
• Publicatie naar Sharepoint zorgt automatisch voor centrale opslag van OLAP data, waardoor beheer door IT mogelijk wordt.

Maar moeten we hier echt blij mee zijn? Jarenlang hebben we tenslotte allemaal gepleit voor het 1 versie van the truth principe en dan bedenkt Microsoft zich: Power back to the People. Geef power users deze krachtige tool om hun analyse- en rapportage problemen op te lossen. Door publicatie naar Sharepoint en met behulp van een aantal management tools kunnen ze hun rapporten en analyses delen en kan IT controle houden.

Microsoft BI guru “Chriss Web is tamelijk negatief: de strategie om Gemini in Excel op de desktop te plaatsen is een uitnodiging om geen gebruik te maken van het data warehouse en creëert een spreadmart hell wat Microsoft ook zegt over het op Sharepoint gebaseerde management van Gemini modellen” Nigel Pendse van OLAP Report is een stuk positiever: “ Microsoft’s Brilliant OLAP Trojan Horse

Persoonlijk zie ik de bezwaren van Chris ook wel maar ik zie als BI consultant toch vooral veel mogelijkheden omdat iedereen tenslotte rijke, gevalideerde data nodig heeft voor kwalitatieve rapportages en - analyses. Voor de ontsluiting van deze informatie zullen ze bij ons aan blijven kloppen. Wel zullen we dan vaker “later” ingeschakeld worden in dat proces. Verder is het natuurlijk ideaal voor initiële modellering en het ontwikkelen van proof of concepts.

Kortom voor sommigen "Heaven" voor anderen "Hell" maar uiteindelijk niet tegen te houden. We hebben nog even om ons hierop voor te bereiden. De planning is 1eHJ 2009 CTP en 1eHJ 2010 release.

Toen ik enige jaren geleden na een presentatie van de nieuwe features van SQL Server 2005 naar huis reed was ik behoorlijk enthousiast en opgewonden. De vele veranderingen (UDM, SSIS, SSRS) ten opzichte van de 2000 versie boden zoveel meer nieuwe mogelijkheden. Dat kwam natuurlijk met een prijs: meer mogelijkheden dus complexer en dus … goed nieuws voor een BI-consultant.

De veranderingen van 2005 naar de recent uitgebrachte 2008 versie van SQL server zijn daarmee vergeleken nogal mager. Ja, er is in de nieuwe versie heel veel gedaan aan performance verbeteringen en er is ook veel aandacht geweest voor de gebruikerservaring maar echt nieuwe features, ze zijn er wel maar het zijn er niet veel en vooral ze hebben niet veel impact. (Misschien iets voor een volgend blog artikel)

Mijn ‘teleurstelling’ hierover werd gisteren door Microsoft op de BI Conferentie in Seattle ruim goed gemaakt door de aankondigingen en presentaties over de nieuwe versie van SQL Server: Kilimanjaro. Kilimanjaro is een soort tussen versie die in het eerste halfjaar van 2010 uitkomt. Het is niet de officiële volgende release van SQL server maar een soort tussen oplevering en bestaat in ieder geval uit de volgende 2 projecten: Madison en Gemini.

Madison Madison is de integratie van het recent door Microsoft overgenomen DATAllegro in SQL Server. In de presentatie gisteren werd een Reporting Services query afgevuurd op een 150 Terabyte datawarehouse met een triljoen rijen verdeeld over 24 servers die in enkele seconden het resultaat toonde. Kortom gigantische scale-out mogelijkheden.

Gemini Gemini vind ik persoonlijk nog interessanter en gaat vooral over ‘empowering’ business users om meer direct zelf met bi te doen en toch controle bij IT te houden. (BI Self Services) In de presentatie van Donald Farmer werd een Excel Add-Inn getoond waarmee gebruikers naast direct toegang hebben tot informatie in het door IT beschikbaar gestelde datawarehouse van 20 miljoen rijen die ze kunnen scrollen en analyseren met een uitgebreidere pivot table functionaliteit ook de mogelijkheid hebben de informatie in het datawarehouse zelf te verrijken. Op de achtergrond wordt gebruik gemaakt van kolom georiënteerd processen van data en in- memory opslag van de data. Zie hiervoor het artikel van Mosha Pashumansky

Kortom: een antwoord op de ontwikkelingen in de appliance markt en de in-memory techniek van bijvoorbeeld Qlikview.