Google Cloud人工智慧(AI)和機器學習(ML)創新

2022/11/10

本文編譯自:Google Blog

Google相信任何人都應該能夠快速地將人工智慧 (AI) 想法變為付諸實現。因此,開源軟體 (OSS) 對這一目標變得越來越重要,極大程度地影響了人工智慧(AI)和機器學習(ML)的創新腳步。在過去的二十年裡,ML 已經改變了包括搜尋、YouTube、Assistant 和 Maps 在內的 Google 服務,而這種轉變的基礎是Google透過投資 TensorFlow、Jax 和 PyTorch 等項目和系統的“開放優先”方法。

這些 OSS 努力很重要,因為許多 AI 技術依賴於封閉或專有的方法,這種圍牆式的做法為開發商創造了很高的進入門檻,限制了 AI 可解釋、合乎道德、公平的努力,並阻礙創新。Google致力於開放系統,堅信沒有一家公司應該擁有 AI/ML 創新,在這篇文章中,將探討 Google 近年來對 OSS AI 和 ML 做出重要貢獻,以及對開放技術的承諾並如何幫助企業進行更快、更靈活地創新。

開放是作為一個生態系統運作的方式,而非單一項目

Google 的 OSS 計劃根據三個重點功能,擴展並支援 AI 計劃:

  • 訪問— OSS 允許各種規模的開發人員、研究人員和企業利用最新的 ML 技術。使 ML 創新民主化、促進軟體多樣性和客戶選擇、降低運營成本,同時加速規模的關鍵因素。
  • 透明度—開源資料庫、機器學習演算法、訓練模型、框架和編譯器確保了更大社區的盡職調查和驗證。對於 ML 來說至關重要,增強了可重複性、可解釋性、確保公平性並提高了安全性。
  • 創新—隨著越來越多的訪問和透明度,創新自然而然地到來。客戶和合作夥伴利用開源 ML 工具集和框架通過貢獻自己的 OSS 在該領域創造更多創新。

Google對開源人工智慧的持續承諾

Google 對開放標準的承諾跨越了 20 多年的 OSS 貢獻,如 TensorFlow、JAX、TFX、MLIR、KubeFlow 和 Kubernetes,以及對關鍵 OSS 數據科學計劃(如 Project Jupyter 和 NumFOCUS)的贊助。已幫助 Google 成為領先的雲原生計算基金會 (CNCF) 貢獻者,透過這些努力,Google Cloud 力求成為 OSS AI 社區和生態系統的最佳平台。

封閉技術的危險可能出現在 ML 管道的許多地方,這就是為什麼 Google 的 OSS 戰略涵蓋了整個“創意到生產”的生命週期,從獲取數據到訓練模型、管理基礎設施,再到促進實驗和模型改進:

數據採集:開始從想法到生產就緒的 ML 模型的旅程

從想法到生產 ML 模型的旅程始於數據。TensorFlow Datasets不僅幫助用戶獲取即用型、客製化且高度優化的資料庫(包括圖像、聲音和文本),還提供一組有用的 API,使用戶可以輕鬆組織自己的資料庫,無論是使用 TensorFlow、Jax 還是其他 ML 框架建構而成的。

模型開發和訓練:縮短從數據到有用 ML 的路徑

OSS 幫助開發人員和研究人員設計、實施、訓練、測試和調整 ML 算法。在這方面的貢獻包括:

  • TensorFlow核心框架,它提供 API 來幫助數據科學家和開發人員在由 GPU 或 TPU 提供支援的分佈式與加速基礎設施上建構並訓練生產級 ML 模型
  • Google 是PyTorch 基金會的創始成員,能夠使用 PyTorch 建構開源項目生態系統來增加對 ML 的採用
  • Keras,簡單而強大的 ML 框架,與 TensorFLow 完美串聯,使開發人員輕鬆快速地建構並訓練 ML 模型,或利用預訓練的 AI應用程序
  • Model Garden,提供最先進的計算機視覺和自然語言處理模型的實現,由Google 維護並供所有人訪問,以及用於加速訓練和實驗的 API
  • Jax,精簡、直觀且可組合的系統,將自動微分 (Autograd) 和加速線性代數 ( XLA) 優化編譯器結合在一起,為快速研究和生產提供高性能 ML
  • TensorFlow Hub,訓練有素的 ML 模型儲存庫,用於微調和部署
  • MediaPipe開源跨平台,允許用戶利用可制定的 ML 解決方案來處理直播和媒體流量,包括文本和影像。

ML 基礎架構管理:使用強大的後端擴展有價值的模型

大規模訪問和管理 ML 的基礎架構,可能會成為許多企業的障礙,這就是Google投資此計劃的原因,包括:

  • TFX(或 TensorFlow Extended)平台,為完整的 MLOps 部署提供軟體框架和工具,幫助開發人員進行數據自動化、模型追蹤、性能監控和模型再訓練
  • Kubeflow,使在 Kubernetes 上部署 ML 工作變得簡單、可移植和可擴展
  • TRC(TPU 研究雲),允許發表同行評審論文和/或開源代碼的選定研究人員免費訪問由 1,000 多個 Cloud TPU 設備組成的集群。

實驗和模型優化:鼓勵發現和迭代

如果沒有強大的實驗和優化流程,數據、模型訓練工具和基礎設施只能實現少部分的想法,這就是Google為xManager等項目做出貢獻,使任何人都可以在本地Vertex AI上運行和追蹤 ML 實驗與Tensorboard,簡化了模型性能指標的追蹤與可視化。

感謝這篇文章的所有貢獻者:Matt Vasey、George Elissaios、Warren Barkley、Manvinder Singh、James Rubin、Abhishek Ratna、Thea Lamkin、Amin Vahdat、Andrew Moore、Max Sapozhnikov、Gandhi、Vikram Kasivajhula