數據科學與機器學習:做出數據驅動的決策

1案例研究

對於數據科學家和機器學習專家來說，Python是一種通用語言，因為這種廣泛使用的編程語言有著巨大的前景。為了加強你的Python基礎，本模塊側重於NumPy, Pandas和數據可視化。

Numpy是一個用於科學計算的Python包，使人們能夠處理多維數組和矩陣。

Pandas是Python中的一個開源和強大的庫，用於分析和操作數據。

數據可視化是指處理數據的圖形表示，通過使用matplotlib、seaborn等庫，有效地從數據中生成見解。

1案例研究

本周的這一章將幫助您了解統計學在幫助組織做出有效決策方麵的作用，學習其最廣泛使用的工具，並學習使用分析、數據解釋和實驗來解決業務問題。它將包括以下主題:

它為您提供數據統計摘要的基本度量。

它將探索分布和參數估計的領域，最終允許您從數據中做出推斷。

在這裏，您將了解ML的一個基本方麵-無監督學習。

無監督學習算法將幫助您分析和聚類未標記的數據集。本章教你無監督學習以及使用這些算法遇到的挑戰。

本章將通過示例讓您了解幾種無監督學習算法的實現。

2案例研究

聚類是一種無監督學習技術，用於對相似的數據點集進行分組。麻省理工學院數據科學課程的下一個模塊將向您介紹廣泛使用的聚類技術，即k -均值聚類。

在這裏，我們將討論集群背後的基本直覺，以及為什麼它在眾多行業中非常普遍。

本章將教你使用聚類技術的過程。

本章將使您在開始k -均值聚類之前了解一些初步知識。

聚類中的K-means算法是解決數據科學或機器學習中聚類問題最常用的無監督學習算法之一。

本章將使您熟悉評估聚類的過程。

在這裏，您將學習構建集群的幾種技術。

本章將讓你熟悉聚類中其他幾種類型的距離方法，並教你同樣的用例。

數據預處理是一種清理原始數據以用於機器學習應用程序的技術。這是實現機器學習項目的初始和最重要的步驟。
本章將討論為什麼預處理對於數據科學是必要的，以及所涉及的所有步驟。

大數據用於確定大而複雜的數據集，這些數據集可以是結構化的，也可以是非結構化的。您可以為欺詐保護、機器學習和產品開發實現大數據。
貝葉斯非參數模型是無限維參數空間上的貝葉斯模型。

在本章中，您將了解集群及其應用之外的所有重要主題。

2案例研究

譜聚類是聚類圖和網絡中應用最廣泛的技術之一。在這裏，您將了解光譜、模塊化聚類和PCA算法。本模塊將討論光譜聚類及其組件和嵌入。

本章將教你如何提供解決方案，如果你沒有任何特征來描述數據或如果不是所有的都是有意義的。

主成分分析是一種降低無監督機器學習模型複雜性的方法。用門外行人的話說，主成分分析就像消除預測模型的輸入變量以避免過擬合。

在本章中，您將了解在矩陣中實現特征向量的過程。

在這裏，您將了解圖和網絡中的聚類。

在這裏，您將了解使用圖中的幾個特征在矩陣中實現特征向量的過程。

譜聚類將使您能夠將複雜的多維數據集減少到更罕見維度的相同數據集群。

度量網絡劃分成集群的強度稱為模塊化集群。

嵌入是一個中等低維空間，用於轉換高維向量，這有助於在大量輸入上更容易地進行機器學習。

2案例研究

在這裏，您將了解線性和非線性回歸及其擴展，包括用於二元分類和因果推斷的邏輯回歸的關鍵案例，其目標是了解主動操縱變量而不是被動測量變量的影響。

在這裏，您將了解使用一個變量和多個變量實現線性回歸的過程。

本章將使您熟悉實現預測分析的線性回歸的程序。

本章將使您熟悉實現因果推斷的線性回歸的程序。

邏輯回歸是機器學習中的一種簡單的分類算法，它利用自變量預測分類因變量。
本章將使您熟悉邏輯回歸和機器學習中其他類型的非線性回歸的所有基礎知識。

2案例研究

在本數據科學專業人員課程的下一個模塊中，您將學習如何使用高維數據進行現代回歸或在大海撈針。對於大型數據集，有必要對哪些變量與預測相關，哪些變量與預測無關。近年來，新的統計技術(如Lasso或Random Forests)得到了發展，這些技術在計算上優於大型數據集，並自動選擇相關數據。

本章將教你用高維數據進行良好預測的過程。

當模型過度訓練數據時，就會發生過擬合。通俗地說，假設一個模型學習了訓練數據中的細節和噪聲。在這種情況下，訓練數據會對模型在新數據上的性能產生負麵影響。
本章將教你通過驗證和交叉驗證技術避免過擬合的過程。

在這裏，您將了解Lasso和Ridge的正則化及其修改。

回歸樹是使用二進製遞歸分區構建的，這是一個將數據分割為分區或分支的迭代過程。隨後，隨著每個分支的推進，它將每個部分分成更小的組。
隨機森林是一種流行的監督機器學習算法，它在給定的數據集的無數子集上構成大量的決策樹。之後，它將計算平均值，以提高數據集的預測準確性。Boosting是機器學習中的一種元算法，它將幾個弱分類器轉換為健壯的分類器。
增強可分為梯度增強和自適應增強。

2案例研究

這一部分將涉及回歸和因果推斷，以解釋為什麼“相關性不意味著因果關係”，以及我們如何通過采用隨機對照研究或控製混淆來克服回歸的這種內在局限性。

本章將教你識別和使用隨機對照試驗的過程。

混淆是觀察性臨床研究相對於隨機實驗的常見危險。然而，它很容易被忽視，盡管它的識別對於解釋因果關係至關重要，比如評估治療效果。

1案例研究

在麻省理工學院數據科學證書課程的這個模塊中，您將學習假設檢驗和幾種分類算法。假設檢驗是一種利用觀察/調查數據進行實驗的技術。顧名思義，分類是一種將數據集分為不同類別的技術，可以對結構化數據和非結構化數據進行分類。

當數據庫規劃不當和未規範化時，所有數據都存儲在一個表中，就會出現異常。欺詐，顧名思義，是一種未經授權的欺詐行為。垃圾郵件是一種未經請求的數字通信，例如出於商業目的向大量人群發送消息、電子郵件等。
在本章中，您將了解機器學習中檢測異常、欺詐和過濾垃圾郵件的過程。

二進製分類是一種有監督的機器學習技術，其中類別是預定義的，並分類為新的概率觀察。當有兩個類別時，稱為二元分類。

Probit回歸是一種因變量隻有兩個值的方法。本章將討論所有的基本概念，如邏輯回歸，Probit回歸和統計二進製分類。

在這裏，您將了解假設檢驗的所有關鍵概念。

支持向量機，簡稱為SVM，是另一種流行的機器學習算法，用於回歸和分類問題。

感知器是一個人工神經元，或者簡單地說，是一個生物神經元的數學模型。本章將使您熟悉感知器及其各種概念。

1案例研究

在這裏，學習者將理解深度學習的所有關鍵概念，如圖像分類、反向傳播、遷移學習、NLP、語音識別等等。

圖像分類是深度學習中的一個基本概念。它通過實驗標記圖像來訓練模型，從而識別圖像中的物體。
本章將教你識別圖像中對象的過程，並向您介紹ImageNet，以及幾個示例。

在這裏，您將學習使用單個線性閾值(感知器)實現分類技術的過程。

在這裏，您將學習在層次結構中表示深度學習模型的過程。

在本章中，您將學習如何為一個或多個模型尋找擬合數據的係數(參數)。

本章將使您熟悉深度學習中的非凸優化函數。

在這裏，您將了解這些特性是如何可解釋的。

在這裏，您將通過鴕鳥的例子來理解操縱深度神經網絡的過程。

遷移學習是一種廣泛應用的深度學習方法。它是為應用程序開發的模型，可以重用為第二個應用程序上的模型的初始點。

語音識別是一種通過識別個人的聲音將人類語音轉換為書麵文本的技術。

自然語言處理(NLP)是一種應用計算語言學來構建現實世界應用程序的技術，它與包含多種結構的語言一起工作。在這裏，我們試圖教計算機學習語言，然後期望計算機使用合適的、有效的算法來分析和理解這些語言。

1案例研究

推薦係統算法，簡單地說，向用戶推薦相關的商品——解釋它們在一係列行業中的使用趨勢，以及它們在創收方麵的核心作用。

顧名思義，推薦係統可以幫助您預測任何產品的未來偏好，並向用戶推薦最適合的產品。
在本章中，您將了解如何利用推薦係統為用戶選擇最佳產品。

係統預測個人或企業是否喜歡產品(分類問題)或他們的評論或評級(回歸問題)的技術被稱為推薦預測問題。

在這裏，您將了解使用總體平均值的程序。

在這裏，您將了解使用總體比較和排名的程序。

1案例研究

協同過濾是推薦係統的一個方麵，我們經常與之交互。在收集多個用戶的偏好數據後，協同過濾對特定用戶的選擇進行預測。

在這裏，您將了解在類似用戶的幫助下使用協同過濾的過程。

在這裏，您將了解在類似項目的幫助下使用協同過濾的過程。

在這裏，您將了解在類似用戶和項目的幫助下使用協同過濾的過程。

1案例研究

正如名字本身所暗示的那樣，個性化推薦的作用是根據用戶的瀏覽趨勢等過濾掉與用戶個人相關的推薦。

在這裏，您將學習如何在比較、排名和用戶項的幫助下利用個性化推薦。

隱馬爾可夫模型(HMM)是一種統計馬爾可夫模型，其中被建模的係統被視為具有隱藏/未觀察狀態的馬爾可夫過程。

本章將使您熟悉在Meta-Prod2Vec的幫助下使用側信息的過程。

本章將使您熟悉考慮算法和係統挑戰的係統製作過程。

在麻省理工學院數據科學課程的這個模塊中，你將了解什麼是網絡，以及我們如何用我們周圍的實際用例來表示網絡。

您可以將網絡定義為一組由兩個或多個計算機係統組成的網絡，這些計算機係統使用幾個硬件組件(如集線器、交換機等)連接在一起。

在本章中，您將了解網絡的所有示例。

本章將使你熟悉表示網絡的過程。

1案例研究

在麻省理工學院數據科學在線課程的下一個模塊中，您將學習網絡的標準描述性度量，如中心性，親密性和中間性，以及網絡的標準隨機模型，如Erdos-Renyi，優先依戀，感染模型，影響概念等。

本章將使您熟悉實現中心性度量的過程，例如度、特征向量和頁麵排序。

在這裏，你將了解親密性和中間性。

在這裏，您將了解度分布、集群和小世界。

Erdos-Renyi模型可以幫助您在社交網絡上創建隨機網絡或圖形。配置模型是一種從給定的度序列生成隨機網絡的技術。優先依附是一種新的網絡成員試圖與更普遍的現有成員建立聯係的方法。

在這裏，您將了解病毒或思想傳播網絡上的隨機模型。

在一個社會網絡中確定一個可以最大限度地擴大影響力的節點(種子節點)的小子集的問題被稱為影響力最大化。

1案例研究

在這裏，您將了解如何使用圖形模型來估計和顯示交互網絡。

在本章中，您將學習無向圖形模型。

Ising模型指定了一個矢量的聯合概率分布來理解相變。高斯模型是濃度在側風向和垂直方向上的二維正態分布，以起始點為中心，以下風軸為中心。

在這裏，您將從數據中了解幾個圖形模型。

有向圖模型是指隨機變量的概率變成條件概率的乘積，可用於圖中的每個節點。

在這裏，您將了解更多關於有向圖形模型、v型結構和“解釋”的內容。

本章將教你圖形模型中的推理，如邊緣和消息傳遞。

本章將複習你之前關於隱馬爾可夫模型(HMM)的知識。

卡爾曼濾波算法用於提供一些未知變量的估計，給定的測量是在一個特定的時期內觀察到的。