High-performance computing (HPC) speelt al jaren een belangrijke rol in big data-analyse. De enorme hoeveelheid data die tegenwoordig wordt gegenereerd, vereist nieuwe vormen van high-performance computing om deze te ontsluiten. Big data-analyse en high-performance computing komen samen in High-Performance Data Analytics.
Het doel van hoogwaardige data-analyse is om binnen korte tijd inzichten te verkrijgen uit extreem grote datasets. Krachtige analysesoftware wordt uitgevoerd met behulp van de parallelle verwerking van high-performance computing.
De vraag naar hoogwaardige data-analyse-infrastructuur groeit snel, zowel bij overheidsinstellingen als bij particuliere bedrijven die behoefte hebben aan een combinatie van krachtige computerkracht en data-intensieve analyses.
Krachtige computerberekeningen, essentieel voor complexe modellering en simulatie, zijn niet beschikbaar voor big data-analysemethoden zoals Hadoop en Spark. Dankzij krachtige data-analyse worden voorheen incompatibele systemen samengebracht. Deze convergentie leidt tot betere beslissingen door een versnelde verkrijging van inzichten.
Bovendien zorgt hoogwaardige data-analyse voor supersnelle communicatie tussen verwerkingselementen, waardoor knelpunten in de invoer en uitvoer worden voorkomen. Naast foutdetectie, grafiekmodellering, grafiekvisualisatie, streaminganalyse , verkennende data-analyse en architectuuranalyse biedt hoogwaardige data-analyse nog andere voordelen.
Een krachtig data-analyseframework biedt een middel om de productiviteit en prestaties van data-analisten te verbeteren.
Het gebruik van krachtige computersystemen om framework-as-an-application te benutten, wordt framework-as-an-application genoemd.
De volgende technieken kunnen worden gebruikt om gegevens op krachtige computersystemen te analyseren:
- Het modelleren en visualiseren van grafieken wordt in grafiekanalyse gebruikt om grote, complexe netwerken te begrijpen.
- Het analyseren van rekenintensieve problemen met behulp van innovatieve technieken.
- Analyseert streaminggegevens in realtime met nieuwe algoritmen voor hoge bandbreedte en hoge doorvoer.
- Analyseert enorme hoeveelheden streaminggegevens in het kader van verkennende data-analyse.