數據科學與機器學習:數據驅動決策

1案例研究

對於數據科學家和機器學習專家來說，Python是一種通用語言，因為這種廣泛使用的編程語言具有巨大的前景。為了加強你的Python基礎，本模塊重點介紹NumPy、Pandas和數據可視化。

Numpy是一個用於科學計算的Python包，它使人們能夠處理多維數組和矩陣。

Pandas是Python中的一個開源且功能強大的庫，用於分析和操作數據。

數據可視化意味著處理數據的圖形表示，通過使用matplotlib、seaborn等庫有效地從數據中生成見解。

1案例研究

這一章將幫助您理解統計在幫助組織做出有效決策方麵的作用，學習它最廣泛使用的工具，並學習使用分析、數據解釋和實驗解決業務問題。它將涵蓋以下主題:

它為您提供數據統計摘要的基本度量方法。

它將探索分布和參數估計的領域，最終允許您從數據中做出推斷。

在這裏，您將了解ML的一個重要方麵-無監督學習。

無監督學習算法將幫助您分析和聚類無標簽數據集。本章將介紹無監督學習以及使用這些算法所遇到的挑戰。

本章將通過示例使您理解幾種無監督學習算法的實現。

2案例研究

聚類是一種無監督學習技術，用於對相似的數據點集進行分組。麻省理工學院數據科學課程的下一個模塊將向您介紹廣泛使用的聚類技術，即K-means聚類。

在這裏，我們將討論集群背後的基本直覺，以及為什麼集群在眾多行業中如此普遍。

本章將教你使用聚類技術的過程。

在開始K-means聚類之前，本章將使您了解一些基礎知識。

聚類中的K-means算法是解決數據科學或機器學習中聚類問題最常用的無監督學習算法之一。

本章將使您熟悉評估聚類的過程。

在這裏，您將學習組成集群的幾種技術。

本章將讓您熟悉集群中其他幾種類型的距離方法，並教授它們的用例。

數據預處理是一種清理原始數據以用於機器學習應用的技術。這是實現機器學習項目的最初和最重要的步驟。
本章將討論為什麼預處理對於數據科學是必要的以及所有涉及的步驟。

大數據用於確定龐大而複雜的數據集，這些數據集既可以是結構化的，也可以是非結構化的。您可以為欺詐保護、機器學習和產品開發實現大數據。
貝葉斯非參數模型是無限維參數空間上的貝葉斯模型。

在本章中，您將了解集群及其應用之外的所有關鍵主題。

2案例研究

譜聚類是聚類圖和網絡中應用最廣泛的技術之一。在這裏，您將了解光譜、模塊化聚類和PCA算法。本模塊將討論頻譜聚類及其組成和嵌入。

本章將教你如何提供一個解決方案，如果你沒有任何特征來描述數據，或者不是所有的都是有意義的。

主成分分析是一種降低無監督機器學習模型複雜性的方法。用門外漢的話來說，主成分分析就像消除預測模型的輸入變量，以避免過擬合。

在本章中，你將理解在矩陣中實現特征向量的過程。

在這裏，您將了解圖和網絡中的聚類。

在這裏，您將了解使用圖中的幾個特征在矩陣中實現特征向量的過程。

譜聚類將使您能夠將複雜的多維數據集簡化為更罕見維度的相同數據簇。

劃分成集群的網絡的強度度量稱為模塊化集群。

嵌入是一個適度的低維空間來轉換高維向量，這有助於更容易地對大量輸入進行機器學習。

2案例研究

在這裏，您將了解線性和非線性回歸及其擴展，包括二元分類和因果推理的邏輯回歸的關鍵情況，其目標是了解主動操縱變量的影響，而不是被動測量它。

在這裏，您將了解實現一個和多個變量的線性回歸的過程。

本章將使您熟悉為預測分析實現線性回歸的過程。

本章將使您熟悉為因果推理實現線性回歸的過程。

邏輯回歸是機器學習中的一種簡單的分類算法，它利用自變量預測類別因變量。
本章將使您熟悉機器學習中邏輯回歸和其他類型非線性回歸的所有基礎知識。

2案例研究

在這門麵向工作專業人員的數據科學課程的下一個模塊中，您將學習使用高維數據的現代回歸或大海撈針。對於大型數據集，有必要對哪些變量與預測相關，哪些不相關進行分類。近年來，新的統計技術，如套索或隨機森林的發展，在計算上優於大型數據集，並自動選擇相關數據。

本章將教你如何用高維數據進行良好的預測。

當模型過度訓練數據時，就會發生過擬合。通俗地說，假設一個模型學習訓練數據中的細節和噪聲。在這種情況下，訓練數據將對模型在新數據上的性能產生負麵影響。
本章將教你通過驗證和交叉驗證技術避免過擬合的過程。

在這裏，您將了解Lasso、Ridge及其修改的正則化。

回歸樹是使用二進製遞歸分區構建的，這是一個將數據分割成分區或分支的迭代過程。之後，隨著流程推進每個分支，它將每個部分分成更小的組。
隨機森林是一種流行的有監督機器學習算法，它在給定的數據集的無數子集上組成了無數的決策樹。之後，它將計算平均值，以提高數據集的預測準確性。Boosting是機器學習中的一種元算法，它將幾個弱分類器轉換為健壯分類器。
助推可分為梯度助推和自適應助推。

2案例研究

這一部分將涵蓋回歸和因果推理，解釋為什麼“相關性不意味著因果關係”，以及我們如何通過訴諸隨機對照研究或控製混雜來克服回歸的這一內在限製。

本章將教你識別和處理隨機對照試驗的過程。

混淆是觀察性臨床研究與隨機試驗相對立的常見危險。然而，它很容易被忽視，盡管它的識別對於顯著解釋因果關係是必不可少的，比如評估治療效果。

1案例研究

在MIT數據科學證書課程的這個模塊中，您將學習假設檢驗和幾種分類算法。假設檢驗是一種使用觀察/調查數據進行實驗的技術。顧名思義，分類是一種將數據集劃分為不同類別的技術，可以在結構化和非結構化數據上執行。

當數據庫規劃不充分且未規範化時，所有數據都存儲在一個表中，就會發生異常。欺詐，顧名思義，是一種未經授權的欺詐行為。垃圾郵件是一種未經請求的數字通信，如出於商業目的向大量的人發送消息、電子郵件等。
在本章中，您將了解機器學習中檢測異常、欺詐和過濾垃圾郵件的過程。

二元分類是一種有監督的機器學習技術，其中類別是預先定義的，並分類為新的概率觀察。當有兩個類別時，稱為二元分類。

Probit回歸是一種因變量隻取兩個值的方法。本章將討論所有基本概念，如邏輯回歸、Probit回歸和統計二元分類。

在這裏，您將了解假設檢驗的所有關鍵概念。

支持向量機，簡稱為SVM，是另一種用於回歸和分類問題的流行機器學習算法。

感知器是一種人工神經元，或者簡單地說，是生物神經元的數學模型。本章將使你熟悉感知器及其各種概念。

1案例研究

在這裏，學習者將理解深度學習的所有關鍵概念，如圖像分類、反向傳播、遷移學習、NLP、語音識別等。

圖像分類是深度學習中的一個基本概念。它通過對標記圖像進行實驗來訓練模型，從而識別圖像中的對象。
本章將教你識別圖像中的對象的過程，並介紹ImageNet，以及幾個示例。

在這裏，您將學習使用單一線性閾值(感知器)實現分類技術的過程。

在這裏，您將學習在層次結構中表示深度學習模型的過程。

在本章中，您將學習如何為擬合數據的一個或多個模型尋找係數(參數)。

本章將使您熟悉深度學習中的非凸優化函數。

在這裏，您將了解這些特征是如何可解釋的。

在這裏，您將通過鴕鳥的例子了解操縱深度神經網絡的過程。

遷移學習是一種被廣泛應用的深度學習方法。它是為應用程序開發的模型，可以作為第二個應用程序上的模型的初始點進行重用。

語音識別是一種通過識別個體的聲音，將人類的語音轉換為書麵文本的技術。

自然語言處理(NLP)是一種應用計算語言學來構建現實世界應用程序的技術，該應用程序與包含多種結構的語言一起工作。在這裏，我們嚐試教計算機學習語言，然後期望計算機使用合適的、有效的算法分析和理解這些語言。

1案例研究

簡單地說，推薦係統算法向用戶推薦相關項目——解釋它們在一係列行業中的使用趨勢以及它們在收入產生中的核心作用。

顧名思義，推薦係統幫助您預測任何產品的未來偏好，並向用戶推薦最適合的產品。
在本章中，您將了解如何利用推薦係統為用戶選擇最佳產品。

係統預測個人或企業是否喜歡產品(分類問題)或他們的評論或評級(回歸問題)的技術被稱為推薦預測問題。

在這裏，您將了解使用總體平均值的過程。

在這裏，您將了解使用總體比較和排名的程序。

1案例研究

協同過濾是推薦係統的一個方麵，我們經常與之交互。在收集多個用戶偏好的數據後，協同過濾對特定用戶的選擇進行預測。

在這裏，您將了解在類似用戶的幫助下使用協同過濾的過程。

在這裏，您將了解在類似項目的幫助下使用協同過濾的過程。

在這裏，您將了解在類似用戶和項目的幫助下使用協同過濾的過程。

1案例研究

顧名思義，個性化推薦是根據用戶的瀏覽趨勢等，過濾出與用戶個人相關的推薦。

在這裏，您將了解如何在比較、排名和用戶項的幫助下利用個性化推薦。

隱馬爾可夫模型(HMM)是一種統計馬爾可夫模型，在該模型中被建模的係統被視為具有隱藏/未觀察狀態的馬爾可夫過程。

本章將使您熟悉在Meta-Prod2Vec的幫助下使用側信息的過程。

本章將使您熟悉建立一個考慮算法和係統挑戰的係統的過程。

在麻省理工學院數據科學課程的這個模塊中，您將了解什麼是網絡，以及我們如何用身邊的實際用例來表示網絡。

您可以將網絡定義為使用集線器、交換機等多種硬件組件連接在一起的兩個或多個計算機係統的組。

在本章中，您將了解網絡的所有示例。

本章將使你熟悉表示網絡的過程。

1案例研究

在麻省理工學院數據科學在線課程的下一個模塊中，您將學習網絡的標準描述性度量，如中心性、緊密度和中間性，以及網絡的標準隨機模型，如Erdos-Renyi、優先依戀、感染模型、影響概念等。

本章將使您熟悉實現中心性度量的過程，例如度、特征向量和頁麵秩。

在這裏，您將了解親密性和中介中心性。

在這裏，您將了解度分布、集群和小世界。

鄂爾多斯- renyi模型幫助您在社交網絡上創建隨機網絡或圖表。配置模型是一種從給定的度序列生成隨機網絡的技術。優先連接是一種新網絡成員試圖與更普遍的現有成員建立聯係的方法。

在這裏，您將了解病毒或思想傳播網絡的隨機模型。

在一個社交網絡中，找出可能使影響傳播最大化的一小部分節點(種子節點)的問題稱為影響最大化。

1案例研究

在這裏，您將了解如何使用圖形模型來估計和顯示交互網絡。

在本章中，您將學習無向圖形模型。

Ising模型指定了一個矢量的聯合概率分布來理解相變。高斯模型是以起始點為中心的順風軸為中心的側風方向和垂直方向的濃度的二維正態分布。

在這裏，您將從數據中了解幾個圖形化模型。

有向圖形模型是指隨機變量的概率轉化為條件概率的乘積，可用於圖中的每個節點。

在這裏，您將了解更多關於有向圖形模型、v型結構和“解釋”的內容。

本章將教你圖形模型中的推斷，例如邊緣和消息傳遞。

本章將梳理您之前對隱馬爾可夫模型(HMM)的了解。

卡爾曼濾波算法被用來提供一些未知變量的估計，假設測量是在一個特定的周期內觀察到的。