Hadoop suorituskyky-testaus

Bloggaus

Situation:

The cloud infrastructure provider turned to Altoros to do independent performance tests on their virtual machines and provide recommendations on how to make the system more efficient. The results of our assessment revealed that the system’s performance was in fact 20-30% higher than the results provided by the customer. Our engineers also drew up a list of recommendations on how to improve the system’s efficiency and gain competitive advantage.

Challenge:

The customer reported that the in-house tests of the cluster demonstrated that the system can process 1TB of data in 16 minutes and 30 seconds. A standard Hadoop distribution was deployed on 100 Red Hat Linux virtual machines. Each had a double core CPU, 10GB of RAM, and 6 TB of disk space. Altoros’s engineers had to replicate tests and check the results.

Solution:

Altoros tested both Linux and custom OS clusters in the customer’s public cloud according to such parameters as:

- block size
- gzip and LZO compression
- the number of mappers and reducers

Linux clusters demonstrated similar results with enabled and disabled gzip and LZO compression. However, when LZO compression was enabled on the custom OS cluster, its performance improved by 20%. Changing the number and ratios of Map and Reduce tasks (from three to six) during query processing had little effect on the Linux cluster while the custom OS cluster demonstrated better performance with six map tasks.

We also analyzed how much time was spent on completing each task of Map and Reduce jobs for Linux cluster. We performed profiling with Starfish which showed that most time was spent in a shuffle phase when I/O increased. The test was carried out using 100 GB of TeraSort data.

Outcome:

According to Altoros’s tests, a virtual machine with Ubuntu Linux installed processed 1 TB of TeraSort test data in 13.65 minutes, which is 1.2 times faster than in the customer’s test results. Featuring enhanced CPU bursting and improved disk input/output speed, virtual machines with custom OS installed were able to complete the same task in 6 minutes, which is 2.75 times faster than the results demonstrated during the initial benchmarking.

The tests revealed that non-optimized Linux machines become unstable, if a cluster exceeds a certain size. The reports, instructions, and scripts provided by Altoros can be later used by the customer’s team to replicate the test results or to improve the system’s stability.

For further info:

http://www.altoroslabs.com/portfolio/independent-infrastructure-performance-benchmarking/

Lisätietoja

Yritysprofiili Altoros Finland kotisivut

Tagit

Jos tarjontatagi on sininen, pääset klikkaamalla sen kuvaukseen

Siirry yrityksen profiiliin Altoros Finland kotisivut Yrityshaku Referenssihaku Julkaisuhaku

Altoros Finland - Asiantuntijat ja yhteyshenkilöt

Ari Mutanen

Sales, Business Development, Country Manager


	I have been in business almost for three decades - first 10 years in technical development and consultancy tasks, then next 10 years in operational and leadership positions and ..
	ari.mutanen@altoros.com +358505680532

Mikael Engberg

Senior Data Consultant


	As a Senior Data Consultant with a passion for data management, SAP, ERP, and tailored technical tools, I have a long history of working in IT consulting across a variety of ..
	mikael.engberg@altoros.com

Pirjo Suvinen

Marketing Manager


	My responsibilities in Altoros Finland Oy: • Develop and update Altoros Finland websites • Develop and manage Google advertising and marketing campaigns (SEO, SEM) • ..
	pirjo.suvinen@altoros.com

Altoros Finland - Muita referenssejä

ReferenssiPilvipalvelu urheilusuorituksien analysointiin

Norjalainen urheilulaitteiden ja -ohjelmistojen toimittaja kääntyi Altoroksen puoleen rakentaakseen pilvipalvelun urheilijoiden Lue lisää..

Tagit: Tuotekehitys ja suunnittelu, IoT, Azure, +7 muuta

ReferenssiInfra-palvelun tarjoaja otti Bluemixin käyttöön

Unigma, a managed infrastructure services provider (MSP), recently delivered a cloud platform for unifying infrastructure Lue lisää..

Tagit: Tuotekehitys ja suunnittelu, Asiakkuudenhallinta CRM, Arkkitehtuuri, +11 muuta

ReferenssiDigitaalinen työkalu rakentamiseen

KeloTwin Oy:llä on tavoitteena tuottaa kiinteistöomistajille ja rakennuttajille uudenlaisia digitaalisia palveluita millä Lue lisää..

Tilaaja suosittelee!

Tagit: Rakentaminen

ReferenssiLiiketoiminnan kasvua vakuutussovelluksen tuotteistuksella

Project Summary: RR Donnelley, a Fortune 500 company, is the world’s largest commercial printer. During the last decade, Lue lisää..

Tilaaja suosittelee!

Tagit: Asiakkuudenhallinta CRM, Markkinointi, Tuotekehitys ja suunnittelu, +15 muuta

ReferenssiTrussmatic Oy / Integraatioprojekti

Trussmatic Oy valmistaa ainoana maailmassa täysin automaattisia kattoristikkolinjoja, jotka ovat käytössä täydessä Lue lisää..

Tilaaja suosittelee!

Tagit: Integraatiot, Valmistava teollisuus

ReferenssiSähkömittareiden etäluku ja sähköiset laskut

The Customer: Galtronics is a global company providing affordable antenna solutions, eco-friendly energy saving software, Lue lisää..

Tagit: BI ja raportointi, Tuotanto, Tuotekehitys ja suunnittelu, +17 muuta

Altoros Finland - Muita bloggauksia

BloggausTekoälyn käyttöönotto - avain yritysten kilpailukyvyn säilyttämiseen

Maailma muuttuu digitaalisen vallankumouksen myötä nopeammin kuin koskaan, ja tekoäly (AI) on tämän muutoksen kärjessä. Lue lisää..

Tagit: Asiakaspalvelu, Logistiikka, Markkinointi, +10 muuta

Bloggaus“Innovation distinguishes between a leader and a follower” (Innovaatio erottaa johtajan seuraajasta)- Steve Jobs

“Innovation distinguishes between a leader and a follower." Tämä lainaus Steve Jobsilta kiteyttää hänen näkemyksensä Lue lisää..

Tagit: Tuotekehitys ja suunnittelu, Integraatiot, Tekoäly (AI) ja koneoppiminen, +6 muuta

BloggausKatsaus moderneihin tekoälytyökaluihin

Tutustu neljään mullistavaan tekoälytyökaluun, jotka muuttavat tapaa, jolla kehitämme, jaamme ja sovellamme Lue lisää..

Tagit: Markkinointi, Projektinhallinta, Tietohallinto, +12 muuta

BloggausGeneratiivinen AI - päivän kuuma sana

Generatiivinen tekoäly, on teknologisen kekseliäisyyden ihme, joka kutkuttaa mielikuvitustamme. Monimutkaisia algoritmeja ja Lue lisää..

Tagit: Markkinointi, Tuotekehitys ja suunnittelu, Viestintä, +10 muuta

BloggausVerneri suunniteli automaattisen kestävyysraportointi työkalun CSRD siirtymää varten

Verneri Laakkonen, Sustashiftiltä otti Altorokseen yhteyttä ajatuksena kehittää lakisääteistä kestävyysraportointia Lue lisää..

Tagit: Asiakaspalvelu, BI ja raportointi, Laatu, turvallisuus ja ympäristö, +26 muuta

BloggausPäivän sana on ChatGPT

OpenAI:n kehittämä ChatGPT on edistynyt kielimallia käyttävä AI, joka on saanut merkittävää huomiota kyvystä luoda Lue lisää..

Tagit: Asiakaspalvelu, Markkinointi, Myynti, +11 muuta

Digitalisaatio & innovaatiot blogimedia

Blogimediamme käsittelee tulevaisuuden liiketoimintaa, digitaalisia innovaatioita ja internet-ajan ilmiöitä

Huhti 19

Mikä todella toimii ohjelmistoalan markkinoinnissa ja myynnissä? Top 10 liidien lähteet

Tutkimuksen mukaan verkkosivujen hakukoneoptimointi on kaikista tärkein liidien lähde ohjelmistoalalla

Huhti 10

Kannattaako tietojärjestelmää jatkokehittää, vai investoida uuteen ohjelmistoon? Sofokuksen Digikehityksen katsastus auttaa digipalvelun elinkaaren suunnittelussa

Katsastuksella autetaan varmistamaan, että teknologia palvelee asiakasta, eikä päinvastoin

Huhti 5

HiQ ostaa Ambientian julkisen sektorin liiketoimintayksikön - kilpailuviranomaiselta hyväksyntä yrityskaupalle

HiQ on viestinyt pyrkivänsä kasvamaan markkinoita nopeammin ja yritysostot ovat keskeisessä roolissa tämän tavoitteen saavuttamisessa

Siirry blogiin

Etusivu Yrityshaku Pikahaku Referenssihaku Julkaisuhaku Blogimedia

	Arkkitehtuuri
	It-infra loppukäyttäjäpalvelut
	It-infrapalvelut
	Palvelin- ja kapasiteettipalvelut

Hae it-yrityksiä
osaamisalueittain:

Hadoop suorituskyky-testaus

Lisätietoja

Tagit