Vat dit blogbericht samen met:
De afgelopen decennia is SQL de standaard geweest voor het werken met en beheren van data. Het bedrijfsleven wordt grotendeels gedomineerd door SQL. Van operationele taken tot rapportage en analyses, SQL is overal te vinden. Deze brede acceptatie van SQL kan worden benut voor het opvragen van big data via SQL op Hadoop.
Met behulp van belangrijke initiatieven is Hadoop geëvolueerd van een batchgeoriënteerde technologie naar een technologie met interactieve mogelijkheden, waardoor het betere prestaties levert in SQL-engines en gedistribueerde in-memory engines.
Voordat we de details induiken, laten we eerst eens kijken wat SQL, Hadoop en SQL op Hadoop precies zijn.
SQL staat voor Structured Query Language. Het wordt gebruikt voor het beheren van gegevens, voornamelijk in relationele databases (RDBMS). Simpel gezegd is het een databasetaal om gegevens te manipuleren, zoals het aanmaken van databases, het toevoegen of verwijderen van rijen, enzovoort.
Hadoop is een framework waarmee grote hoeveelheden data (voornamelijk Big Data) worden opgeslagen en verwerkt. Hadoop maakt hoofdzakelijk gebruik van HDFS (Hadoop Distributed File System) om de data op te slaan en te verwerken met behulp van MapReduce, Hive, Pig en enkele andere faciliteiten.
SQL-on-Hadoop is een krachtige technologie die de traditionele SQL-querymethode combineert met de nieuwere elementen van het Hadoop-dataframework. Door gebruik te maken van de bekendheid en veelzijdigheid van SQL, maakt SQL-on-Hadoop het voor een breder scala aan bedrijfsontwikkelaars en businessanalisten gemakkelijker om met Hadoop te werken op standaard computerclusters. Met SQL-on-Hadoop kunnen bedrijven grote hoeveelheden data snel en efficiënt verwerken, inzichten verkrijgen en weloverwogen beslissingen nemen op basis van data-gedreven analyses.
Voor veel organisaties is de ondersteuning voor query's een cruciale factor die de implementatie van een Hadoop-cluster tot een haalbare optie maakt. Zonder een SQL-laag bovenop Hadoop zouden veel organisaties niet voor een Hadoop-implementatie kiezen.
AANBEVOLEN LEESSTUK: BIG DATA MANAGEMENT: HADOOP OF SNOWFLAKE
Rijke en conforme SQL-dialect: Dit maakt de SQL-applicatie krachtig én draagbaar. Hierdoor kan de applicatie succesvol gebruikmaken van een enorm ecosysteem aan SQL-gebaseerde tools voor data-analyse en datavisualisatie.
Naleving van de TPC-DS-specificatie: Naleving van de TPC-DS-specificatie zorgt ervoor dat de verschillende soorten SQL-query's correct worden verwerkt. Dit maakt een breed scala aan gebruiksscenario's mogelijk en helpt bedrijven om de bedrijfsbrede implementatie soepel en elegant te laten verlopen.
Flexibele en efficiënte koppelingen: De workloads voor het Off-load enterprise datawarehouse hebben aanzienlijk lage eigendomskosten.
De mogelijkheden van deep learning en machine learning zijn geïntegreerd: dit maakt toepassingen in SQL mogelijk waar statistische, wiskundige en machine learning-algoritmen nodig zijn.
Mogelijkheden voor datafederatie: De mogelijkheden voor datafederatie zullen bedrijven helpen de kosten voor dataherstructurering te verlagen bij de implementatie van end-to-end analyse-usecases, door gebruik te maken van de diverse bedrijfs- en externe databronnen.
Fouttolerantie en hoge beschikbaarheid: Het garandeert bedrijfscontinuïteit en zorgt ervoor dat meer bedrijfskritische analyses worden overgeheveld van het enterprise data warehouse (EDW).
Op zoek naar de juiste strategie voor gegevensbeheer?
Twijfelt u tussen een Data Lake en een Data Warehouse, of welk type Big Data-managementtool het beste bij uw organisatie past?
Ondersteuning voor native Hadoop-bestandsformaten: Deze functie stelt organisaties in staat de inspanning voor ETL en dataverplaatsing te verminderen. Dit zal direct leiden tot lagere eigendoms- en beheerkosten van de analyseoplossing.
Native Hadoop-beheer met Apache Ambari: Dit stelt organisaties in staat de totale kosten voor het beheer van de complete Hadoop-stack te verlagen. Het elimineert tevens problemen met vendor lock-in door middel van eigen beheerinterfaces.
Hadoop was aanvankelijk gekoppeld aan MapReduce-programmering. Maar dat is nu verleden tijd. Volgens Gartner-analist Merv Adrian zal SQL, de programmeertaal die gebruikt wordt voor de gangbare databases, de belangrijkste analysetool worden in Hadoop-datastore.
Deze combinatie zal het voor talloze SQL-ontwikkelaars, maar ook voor andere gebruikers die bedreven zijn in SQL, mogelijk maken om op een voor hen vertrouwde manier query's voor Hadoop te schrijven.
Voor SQL on Hadoop-implementaties kunt u contact met ons opnemen . Wij vinden dan de meest optimale en gepersonaliseerde oplossing voor uw organisatie.