- 大數據概論
- 什麼是大數據
- 類型的數據
- 大數據的6v
- 大數據的挑戰
- 大數據技術
- Hadoop的介紹
- 分布式計算
- 那麼,為什麼Hadoop呢?
- 超級計算的挑戰
- Hadoop的曆史
- Hadoop框架
- 數據分析如何幫助小企業?
大數據-簡介
首先會問一些問題，比如什麼是大數據，為什麼是大數據，大數據意味著什麼，讓公司/行業從傳統係統轉向大數據，值得學習大數據技術嗎?作為專業人士，我們會獲得高薪嗎?等等。
什麼是大數據?
顧名思義，大數據就是具有巨大容量的數據。我們從不同的來源獲得大量的數據，以不同的形式，在巨大的容量，速度，種類等，可以從人類或機器來源。
我們談論的是數據，讓我們看看數據的類型，以理解大數據背後的邏輯。
類型的數據:
三種類型的數據可以分類為:
結構化數據:用表格形式表示的數據。數據可以以固定格式的形式存儲、訪問和處理。數據庫、表
半結構化數據:沒有正式數據模型的數據，如XML文件
非結構化數據:沒有預先定義的數據模型的數據，例如:文本文件，web日誌。
讓我們來挖掘大數據的6v:
容量:來自不同來源的數據量，如TB, PB, ZB等。這是字節的增長，我們現在在gb方麵無處可尋。
速度:高頻數據，比如股票。大數據產生的速度。
準確性:指數據中的偏差、噪聲和異常。
多樣性:指數據的不同形式。數據可以有各種形式和形狀，如圖像數據、視頻和日誌數據等。這可能是大多數企業要處理的最大問題。
可變性:數據的結構變化到什麼程度，變化有多快?你的數據的含義或形狀變化的頻率有多高?
價值:它描述了從哪些數據中可以獲得什麼價值，以及大數據如何從存儲的數據中獲得更好的結果。
大數據麵臨的挑戰:
複雜:對底層數據沒有適當的理解
存儲:如何在一台物理機器上容納大量數據。
性能:如何高效、有效地處理大量數據，從而提高性能。
大數據技術:
大數據的範圍很廣，包含了許多趨勢和新技術的發展，下麵給出的頂級新興技術正在幫助用戶以一種高成本效益的方式處理和處理大數據。
1.Apache Hadoop
2.Apache火花
3.Apache蜂巢
還有很多其他的技術。但我們將詳細了解以上3種技術。
Hadoop簡介:
Hadoop是一個分布式並行處理框架，它促進了分布式計算
現在要深入了解Hadoop，我們需要了解“分布式計算”。這實際上會給我們一個Hadoop的根本原因。
分布式計算
在簡單的英語中，分布式計算也被稱為並行處理。讓我們舉個例子，假設我們有一個粉刷我們房子裏的一個房間的任務，我們將雇傭一個油漆工來粉刷，粉刷一個表麵可能需要大約2個小時。假設我們有4麵牆和1個天花板要刷，如果一個人不停地刷，可能需要一天(~10小時)才能完成。
同樣的事情，4到5個人多做，可能要花半天的時間才能完成。這是理解分布式計算背後邏輯的一個簡單的實時問題
現在讓我們拿一個實際的數據相關的問題來分析。
看看如何預測分析在旅遊業中使用。
我們有一個1gb的輸入文件，我們需要計算這些數字的和，這個操作可能需要50秒來產生數字的和
然後讓我們以同樣的例子為例，將數據集分為2部分，並將輸入輸入給2台不同的機器，那麼操作可能需要25秒才能產生相同的總和結果。
這是並行處理的基本思想。
那麼,為什麼Hadoop呢?
並行處理的想法並不是什麼新東西!
這個想法早在超級計算機時代就存在了(早在20世紀70年代)。
在那裏，我們曾經有大量的網絡工程師和製造超級計算機所需的電纜，現在仍然很少有研究機構使用這種被稱為“超級計算機”的基礎設施。
讓我們看看超級計算的挑戰是什麼。
•針對並行計算需求的通用操作係統(如框架)不存在
•購買超級計算機的公司被鎖定在特定供應商的硬件支持上
•硬件初始成本高。
•為個人用例開發定製軟件
•軟件維護和升級成本高，必須在使用超級計算機的組織內部進行。
•橫向擴展並不簡單
總應該有一個更好的理由!
HADOOP來拯救我們
•針對並行計算需求的通用操作係統之類的框架
•它的免費軟件(開源)和免費升級
•有升級軟件的選項，它是免費的!
•向更廣泛的受眾開放分布式計算的力量。
•中等規模的組織不需要鎖定特定供應商的硬件支持- Hadoop工作在商品硬件上
•組織必須編寫專有軟件的軟件挑戰不再是這樣的情況。
數據無處不在。人們上傳視頻、拍照、使用手機上的幾個應用程序、搜索網頁等等。機器也在生成和保存越來越多的數據。現有的工具無法處理如此大的數據集。總的來說，Hadoop和大規模分布式數據處理正迅速成為許多程序員的一項重要技能。Hadoop是一個用於編寫和運行處理大量數據的分布式應用程序的開源框架。本課程從分布式係統和數據處理係統的角度介紹Hadoop。通過本課程，您將了解MapReduce編程模型的概況，該模型使用一個簡單的單詞計數機製，以及強調處理大規模數據的挑戰的現有工具。深入挖掘並使用Hadoop實現這個示例，以更好地理解它的簡單性。
Hadoop曆史:
- 當時的需要是可擴展的搜索引擎為不斷增長的互聯網
- 互聯網檔案搜索總監Doug Cutting和華盛頓大學研究生Mike Cafarella在2001-2002年開始著手建立一個名為NUTCH的搜索引擎和項目
- 穀歌的分布式文件係統論文發表於2003年，第一篇文件映射-縮減論文發表於2004年
- 2006年，Dough Cutting加入雅虎並創建了一個名為HADOOP的開源框架(以他兒子玩具大象的名字命名)。HADOOP的根源可以追溯到NUTCH，穀歌的分布式文件係統和地圖減少處理引擎。
- 它成為了一個成熟的Apache項目，並且在2008年Yahoo使用了一個穩定版本的Hadoop
Hadoop框架:進入Hadoop。
讓我們來看看在討論Hadoop．
●商用硬件:可用於製造集群的個人電腦
●集群/網格:網絡中係統的互連
●節點:計算機的單個實例
●分布式係統:由多個自主計算機組成的係統，它們通過計算機網絡進行通信
ASF: Apache軟件基金會
●HA:高可用
●熱備用:不間斷故障轉移，而冷備用將有明顯的延遲。如果係統壞了，你就得重新啟動。
數據分析如何幫助小企業?
微軟創始人比爾·蓋茨有句名言。他說:“如果你的業務不在互聯網上，你的業務很快就會破產。”比爾·蓋茨用這句話總結了每一個企業的重要性，不管它的規模和性質，擁有在線足跡和存在。
數字營銷還不夠
然而，在當今世界，特別是在COVID-19大流行期間電子商務蓬勃發展的情況下，僅僅有一個好的網站、Facebook頁麵、YouTube頻道或其他社交媒體是不夠的。你需要知道你的潛在市場在哪裏，誰以及如何定位客戶，以及你在線戰略中所有精力集中的領域的好惡。
因此,數據分析是每個在線營銷策略的重要組成部分，包括對小型企業。
在本文中，我們將探討數據分析如何幫助小企業成長。以及如何維持這種增長以取得切實的成果。
數據分析如何幫助小企業
作為印度的一個小企業，你肯定會意識到它所麵臨的挑戰。這些因素包括不穩定的物流、季節性需求、這片土地上不同的民族，尤其是影響購買模式的經濟波動等。
因此，以下是數據分析如何提供幫助。
1.了解人口
任何在線業務成功的關鍵是了解你當前或預期市場的人口統計數據。雖然小型企業可能瞄準特定的地區，但客戶可能沒有需求。因此，你無法在那個市場上取得太大進展。
有你可以在網上找到很棒的小企業點子．當你使用這些絕妙的想法開辦一家小公司時，數據分析可以在短時間內為你贏得一個利基市場。
與此同時，你的產品或服務可能有用，並在另一個迄今未知的市場產生巨大需求。大多數印度小企業仍然幸福地不知道他們真正的市場在哪裏。因此，大多數公司最終瞄準了一個看似明顯且有利可圖的市場，但結果卻是災難性的。
這就是數據分析的作用所在。通過分析來自任何特定地區訪問你的網站和社交媒體頁麵的人數，你可以了解你的市場人口統計數據。有了適當的計劃和清晰的戰略，你就可以把精力集中在這部分人群上，推動你的小企業盈利。
2.每客戶成本
你的小生意找錯對象了嗎?也就是說，盡管你在數字營銷資源和廣告上投入了大量資金，但你是否瞄準了錯誤的客戶?如果答案是肯定的，那麼是時候進行數據分析，找出你在獲取潛在客戶和將他們轉化為客戶上浪費了多少錢。
自數字營銷而且網絡廣告比傳統的印刷和電子媒體廣告經濟得多，大多數小企業都樂意承擔費用。然而，值得記住的是，來自客戶的利潤也必須覆蓋你為吸引他們到你的小企業所花的錢。
通過數據分析，你可以發現你在獲得客戶上花了多少錢和利潤。當你發現成本大於利潤時，就更容易適應、調整或放棄你的數字營銷策略。相反，你可以把同樣的資源花在開發更新、更有利可圖的市場上。
3.迎合季節性需求
印度市場是一個充滿節日氣息的國度，季節性的需求也在其中。在節日和購物季，各種形式的競爭自然會越來越激烈。與此同時，印度買家的品味容易出現劇烈波動。去年流行的東西不一定會在今年或未來幾年流行。
怎樣才能知道在即將到來的節日或購物季裏，印度購物者被什麼吸引呢?再一次，線索存在於數據分析中。通過分析購物者在尋找什麼，基於他們的搜索關鍵詞，其他網站的點擊率，穀歌趨勢和來自不同來源的數據，您的小企業可以明確地確定他們的需求。
小企業不可能有大量的存貨。因此，數據分析可以幫助您準確地確定當前需求的產品或服務以及哪些是最暢銷的產品或服務。如果操作得當，這有助於降低庫存成本，同時優化盈利能力。
4.密切關注競爭對手
以防你沒有意識到，數據分析可以讓你領先於競爭對手。優秀的數據分析專家有許多方法可以找出你最接近的競爭對手所吸引的客戶類型，他們在購買什麼，每次購買的平均支出和利潤。
如果你能利用它為你的優勢，這對每個小企業來說都是寶貴的信息。你可以知道如何打擊競爭對手，並獲得領先優勢，從而在特定的業務領域脫穎而出。它幫助你專注於每一個數字營銷努力，降低成本，提供正確的產品和服務，並獲得更大的客戶。
這可不像聽起來那麼容易。數據分析並不是那麼容易。它需要有經驗和合格的人員為您提供關於競爭對手及其市場的敏銳信息。
5.為小企業提供更好的服務
美國巨頭彼得·f·德魯克說得很貼切:“任何企業都隻有兩個功能:營銷和創新。”數據分析使創新成為可能。你可能錯誤地認為你的小企業擁有滿足目標市場需求的殺手級服務或產品。但事實並非如此。你的小企業提供的產品很有可能已經過時，甚至與市場無關。
唯一的方法是創新你的品牌產品，以適應現有的市場條件。數據分析使得了解人們在產品或服務中尋找什麼成為可能。它可以幫助你發現產品的不足之處，並對其進行創新，使其在市場上暢銷。
總之
數據分析可以幫助你改善客戶服務，削減數字營銷和廣告的成本，如果專業的話，還可以獲得更多的客戶。不幸的是，在印度，由於成本問題，很少有小企業從事數據分析。如果你投資於數據分析，你的小型企業可以獲得很多。
如果你覺得這篇文章對你有幫助，並希望學習更多這樣的概念，請加入偉大學習學院的免費在線課程。beplay2018官网
貢獻:Mitali Roy
如果你正在學習大數據分析技能，你應該看看GL學院的免費在線課程。這些課程是專門為初學者設計的，將幫助你學習所有的概念。
