Hadoop suorituskyky-testaus
Situation:
The cloud infrastructure provider turned to Altoros to do independent performance tests on their virtual machines and provide recommendations on how to make the system more efficient. The results of our assessment revealed that the system’s performance was in fact 20-30% higher than the results provided by the customer. Our engineers also drew up a list of recommendations on how to improve the system’s efficiency and gain competitive advantage.Challenge:
The customer reported that the in-house tests of the cluster demonstrated that the system can process 1TB of data in 16 minutes and 30 seconds. A standard Hadoop distribution was deployed on 100 Red Hat Linux virtual machines. Each had a double core CPU, 10GB of RAM, and 6 TB of disk space. Altoros’s engineers had to replicate tests and check the results.
Solution:
Altoros tested both Linux and custom OS clusters in the customer’s public cloud according to such parameters as:
- block size
- gzip and LZO compression
- the number of mappers and reducers
- block size
- gzip and LZO compression
- the number of mappers and reducers
Linux clusters demonstrated similar results with enabled and disabled gzip and LZO compression. However, when LZO compression was enabled on the custom OS cluster, its performance improved by 20%. Changing the number and ratios of Map and Reduce tasks (from three to six) during query processing had little effect on the Linux cluster while the custom OS cluster demonstrated better performance with six map tasks.
We also analyzed how much time was spent on completing each task of Map and Reduce jobs for Linux cluster. We performed profiling with Starfish which showed that most time was spent in a shuffle phase when I/O increased. The test was carried out using 100 GB of TeraSort data.
Outcome:
According to Altoros’s tests, a virtual machine with Ubuntu Linux installed processed 1 TB of TeraSort test data in 13.65 minutes, which is 1.2 times faster than in the customer’s test results. Featuring enhanced CPU bursting and improved disk input/output speed, virtual machines with custom OS installed were able to complete the same task in 6 minutes, which is 2.75 times faster than the results demonstrated during the initial benchmarking.
The tests revealed that non-optimized Linux machines become unstable, if a cluster exceeds a certain size. The reports, instructions, and scripts provided by Altoros can be later used by the customer’s team to replicate the test results or to improve the system’s stability.
The tests revealed that non-optimized Linux machines become unstable, if a cluster exceeds a certain size. The reports, instructions, and scripts provided by Altoros can be later used by the customer’s team to replicate the test results or to improve the system’s stability.
For further info:
Lisätietoja
Tagit
Liiketoimintaprosessi
Tietohallinto | |
Tuotanto |
Erikoisosaaminen
Arkkitehtuuri | |
It-infra loppukäyttäjäpalvelut | |
It-infrapalvelut | |
Palvelin- ja kapasiteettipalvelut |
Toimialakokemus
IT |
Teknologia
Linux | |
Open source |
Tarjonnan tyyppi
Konsultointi | |
Toteutustyö |
Omat tagit
Ruby
Altoros
Hadoop
Ubuntu
Altoros Finland - Asiantuntijat ja yhteyshenkilöt
Ari Mutanen
Sales, Business Development, Country Manager
I have been in business almost for three decades - first 10 years in technical development and consultancy tasks, then next 10 years in operational and leadership positions and .. | |
ari.mutanen@altoros.com +358505680532 |
|
Altoros Finland - Muita referenssejä
Altoros Finland - Muita bloggauksia
It- ja ohjelmistoalan työpaikat
- Laura - Senior Developer (Retail Devices & Solutions)
- Frends iPaaS - Finance Manager
- Laura - Talotekniikan asiantuntija
- Laura - Development Manager, Partner Platforms
- Laura - Software Engineer (C++/Qt)
- Laura - IT asiantuntija
- Laura - Software Engineer
Premium-asiakkaiden viimeisimmät referenssit
- SD Worx - Uusi HR-järjestelmä tehostaa henkilöstöhallintoa ja vahvistaa Inlookin yhtenäistä tapaa toimia
- SD Worx - Suomalainen Arla Oy uudistaa palkkahallinnon prosessinsa SD Worxin palkkapalvelun avulla
- SD Worx - Joustava yhteistyö ja erittäin sujuva mukauttaminen tuovat helpotusta Telian palkkahallintoon
- Staria Oyj - Digital Workforce harmonisoi talouden kumppani- ja järjestelmäympäristön
- Valve - Bolt.worksin uusi modulaarinen WordPress-sivusto
- Valve - Nallikari – Lomakylän brändi- ja verkkopalvelukehitys
- Valve - NYAB Groupin identiteetin päivittäminen ja verkkopalvelun uudistus
Tapahtumat & webinaarit
- 07.05.2024 - Koulutus: Tekoäly markkinoijan työkaluna
- 07.05.2024 - Ilmainen CRM-webinaari: Microsoft Dynamics Sales | Sisäänrakennetun BI-moduulin käyttö toimintojen suunnitteluun ja tulosraportointiin
- 07.05.2024 - Aamiaisseminaari: Kehitä ohjelmistoja tehokkaammin tekoälyllä
- 14.05.2024 - Rakettiwebinaari: Koodista kassavirtaan
- 14.05.2024 - Ilmainen ERP-webinaari: NAV:stä Business Centraliin | Mitä versionvaihdosta tulisi tietää?
- 15.05.2024 - Ilmainen ERP-webinaari: Mitä tulee ottaa huomioon ERP:n ja CRM:n projektien käyttöönotossa, eli onnistuneen projektin A ja O.
- 16.05.2024 - Five Years Out Helsinki
Premium-asiakkaiden viimeisimmät bloggaukset
- SprintIT Oy - SprintIT säilyttää arvostetun Odoo Gold Partner -statuksen
- Efima Oyj - Älykäs ohjelmistorobotti – tekoäly palauttaa aiemmin kannattamattomaksi kuopatut RPA-automaatioideat takaisin kehityslistalle
- Nordea - Nordean työ taloustaitojen edistämiseksi palkittiin vuoden yhteiskunnallisena sponsorointitekona
- M-Files Oy - M-Files: A Global Leader in Information Management
- M-Files Oy - Unlocking the value of Knowledge Work Automation
- Timeless Technology - ControlByWeb ohjelmoitavat I/O kontrollerit ja ohjaimet prosessien ohjaamiseen sekä monitorointiin.
- Rakettitiede Oy - Kaksi yrityskulttuuria, yksi konsultti
Digitalisaatio & innovaatiot blogimediaBlogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä |