into business intelligence

<<aangevuld met opmerkingen en plaatjes van Henk op 7 mei>>

Hardware heeft niet echt mijn interesse maar de solid state technologie als vervanging voor hard disks is veelbelovend: snellere prestaties, stiller en minder energieverbruik.

Helaas zijn ze nog erg duur. De 2 TB storage van dsi die Henk van der Valk (Unisys Nederland) gebruikte in zijn presentatie op SQL PASS Europe conferentie in Dusseldorf vorige week zal toch snel 100.000 dollar kosten. Deze presentatie van Henk samen met Thomas Kejser (SQLCAT) vormde één van de hoogtepunten van de conferentie: zeer snelle performance door gebruik van de DATAllegro techniek in de nieuwe Kilimanjaro release op een 96 core machine van Unisys: de ES7000  en de solid state storage.

Dit alles leidde in eerste instantie tot een throughput van ongeveer 4 miljoen rijen per seconde van een tamelijk complexe dataset. Vergelijkbaar dus met het eerdere wereldrecord van vorig jaar. En na een aantal aanpassingen met het effect dat alle 96 cores gedurende korte tijd continue op 100% cpu draaiden werd het nieuwe record gezet op 14,5 miljoen rijen per seconde. (Ruim  1600  MB/sec  schrijven  en  1900MB/sec lezen van SSD met 96 parallele bulk Insert opdrachten )

Heb je de presentatie gemist dan is er op 13 mei nog een herkansing in een door PASS Nederland georganiseerde avond sessie. Op sqlpass.nl vindt je hierover meer details.

Veel nieuws was er verder niet op de PASS conferentie:

• Er was uiteraard weer aandacht voor Gemini maar door het op het laatste moment afhaken van Donald Farmer als key-note spreker viel dit een beetje tegen.
• Master Data Management (Stratature acquisitie) zal ook onderdeel worden van Kilimanjaro release (2010) Met TechEd in mei zal hierover meer informatie verspreid worden.
• De ‘self learning’ data quality techniek van de Zoomix acquisitie zal eerst in de volgende release van SQL Server geïmplementeerd worden (2011)

Gerelateerde links:

• The Data Loading Performance Guide http://msdn.microsoft.com/en-us/library/dd425070.aspx
• ETL World record http://msdn.microsoft.com/en-us/library/dd537533.aspx
• Dynamic Solutions  SSD Storage Solutions
  DDR:     http://www.dynamicsolutions.com/main-menu/dsi3400
  FLASH:  http://www.dynamicsolutions.com/main-menu/dsi3500
• De server die gebruikt is in de demo: een Unisys ES7000 Server, Model 7600R, met 16 x Intel Hexcore CPU’s  = 96 cores!  / 512 GB RAM
  Unisys ES7000 Enterprise Servers: 
  http://www.unisys.com/products/enterprise__servers/high_d_end__servers/models/index.htm