Termin Suured andmed kasutatakse üha enam peaaegu kõikjal planeedil - võrgus ja väljaspool seda. Ja see ei ole seotud ainult arvutitega. See kuulub üldise terminiga Infotehnoloogia, mis on nüüd peaaegu kõigi teiste tehnoloogiate ning õpingute ja ettevõtete valdkondade osa. Big Data pole suur asi. Selle ümbritsev huumus on kindel päris suur asi, mis segab teid. Käesolevas artiklis vaadeldakse, mis on Big Data. See sisaldab ka näite sellest, kuidas NetFlix oma andmeid kasutab või pigem Big Data, et paremini teenida oma klientide vajadusi.
Mis on Big Data?
Teie ettevõtte serverites asuvad andmed olid ainult eilsed andmed, sorteeritud ja esitatud. Äkitselt sai slang Big Data populaarseks ja nüüd on teie ettevõtte andmed Big Data. Mõiste hõlmab kõiki andmeid, mida teie organisatsioon on seni salvestanud. See sisaldab pilvede ja isegi järjehoidjatega salvestatud URL-idele salvestatud andmeid. Teie ettevõte ei pruugi digiteerida kõiki andmeid. Te ei pruugi enam kõiki andmeid juba struktureerinud. Kuid siis kõik teie ettevõtte digitaalsed, paberid, struktureeritud ja mitteseotud andmed on nüüd Big Data.
Lühidalt öeldes, kõik teie serveris olevad andmed - olenemata sellest, kas need on kategoriseeritud või mitte - on ühiselt kutsutud BIG DATA. Kõiki neid andmeid saab erinevate tulemuste saamiseks kasutada eri tüüpi analüüse kasutades. Kõigi andmete analüüsimiseks ei ole vaja kogu analüüsi. Erinev analüüs kasutab BIG DATA erinevaid osi, et saada vajalikke tulemusi ja prognoose.
Big Data on sisuliselt andmed, mida analüüsite tulemuste jaoks, mida saate ennustuste ja muude kasutusviiside jaoks kasutada. Kui kasutate terminit Big Data, siis äkitselt töötab teie ettevõte või organisatsioon tipptasemel infotehnoloogiaga, et tuletada erinevaid tulemusi, kasutades samu andmeid, mida olete aastate kaupa tahtlikult või tahtmatult salvestanud.
Kui suur on Big Data?
Põhimõtteliselt on kõik andmed kokku Big Data, kuid paljud teadlased lepivad kokku, et Big Data - sellisena - ei saa manipuleerida tavaliste arvutustabelite ja andmebaaside haldamise tavaliste tööriistadega. Neil on vaja spetsiaalseid analüüsivahendeid nagu Hadoop (me uurime seda eraldi postitusena), nii et kõiki andmeid saab analüüsida ühel korral (võib hõlmata analüüsi iteratsioone).
Vastupidiselt eespool öeldule, kuigi ma ei ole selle teema asjatundja, ütleksin, et andmed ühegi organisatsiooni - suure või väikese organiseeritud või organiseerimata organisatsiooniga - on selle organisatsiooni jaoks suured andmed ja organisatsioon võib valida oma tööriistad, et analüüsida andmed.
Tavaliselt on andmete analüüsimiseks inimesed, kes kasutavad eri andmekogumite loomist, mis põhinevad ühel või mitmel tavalisel väljal, nii et analüüs muutub lihtsaks. Big Data puhul ei ole vaja analüüsi jaoks alamhulki luua. Nüüd on meil vahendeid, mis võimaldavad andmeid analüüsida sõltumata sellest, kui suur see on. Tõenäoliselt liigitavad need tööriistad andmeid ka siis, kui nad seda analüüsivad.
Minu jaoks on tähtis mainida kaks lauset Jimmy Gutermani raamatust "Big Data":
“ Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”
- ja
“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”
Nii näete, et nii mahud kui ka analüüsid on Big Data oluliseks osaks.
Loe: Mis on Data Mining?
Big Data Concepts
See on veel üks punkt, kus enamik inimesi ei nõustu. Mõned eksperdid ütlevad, et Big Data Concepts on kolm V-d:
- Maht
- Kiirus
- Sort
Mõned teised lisavad kontseptsiooni veel vähe V:
- Visualiseerimine
- Tõesus (töökindlus)
- Varieeruvus ja
- Väärtus
Ma käsitlen Big Datai kontseptsioone eraldi artiklis, kuna see postitus on juba suur. Minu arvates on kolm esimest V-d piisavaks Big Datai mõiste selgitamiseks.
Suurte andmete näide - kuidas Netflix seda probleemide lahendamiseks kasutas
2008. aasta suunas oli NetFlixi katkestus, mille tõttu paljud kliendid pimedas jäid. Kuigi mõni sai voogedastusteenust endiselt juurdepääsu, ei saanud enamus neist enam. Mõned kliendid suutsid oma renditud DVD-sid saada, teised aga ebaõnnestusid. Wall Street Journali blogipostitus ütleb, et Netflix oli äsja käivitanud nõudlusega voogesituse.
Puudujääk tegi juhtkonnale mõtlema võimalike tulevaste probleemide ja sellest tulenevalt; pöördus see Big Data poole. Analüüsis analüüsiti kõrgeid liikluspiirkondi, tundlikke punkte ja võrgu läbilaskevõimet jne, kasutades neid andmeid ja tegid seda tööl, et vähendada seisakuid, kui tulevikus tekib probleem, kui see läks ülemaailmseks.Siin on link Wall Street Journal blogile, kui soovite vaadata Big Data näiteid.
Eespool esitatakse kokkuvõte suurte andmete kohta legaalsetes keeltes. Võite nimetada seda väga lihtsaks sissejuhatuseks. Ma kavatsen kirjutada veel mõned artiklid seotud tegurite kohta, nagu näiteks Big Data, Big Data 3 V-ide kontseptsioonid, analüüsid, tööriistad ja rakendused jne. Vahepeal, kui soovite ülaltoodust lisada, palun kommenteerida ja jagada meid.
