Google Cloud Platform(GCP)最近宣布了Cloud AI Platform Pipelines的Beta版發(fā)布，Cloud AI Platform Pipelines是用于自動(dòng)化和管理機(jī)器學(xué)習(xí)(ML)工作流的新產(chǎn)品，它利用了開(kāi)源技術(shù)TensorFlow Ext。

在最近的博客文章中，產(chǎn)品經(jīng)理Anusha Ramesh和開(kāi)發(fā)人員倡導(dǎo)者Amy Unruh 對(duì)該產(chǎn)品及其功能進(jìn)行了概述。Cloud AI Platform Pipelines解決了管理端到端ML工作流的問(wèn)題，該工作流涵蓋了從攝取原始數(shù)據(jù)到模型訓(xùn)練和評(píng)估到在生產(chǎn)中提供模型推斷的整個(gè)生命周期。新產(chǎn)品包含用于構(gòu)建工作流，跟蹤工作流工件和沿襲的工具，以及與其他GCP服務(wù)(例如BigQuery和Dataflow)集成的“企業(yè)就緒”工作流執(zhí)行基礎(chǔ)結(jié)構(gòu)。根據(jù)Ramesh和Unruh的說(shuō)法：

Cloud AI Platform Pipelines提供了一種部署健壯，可重復(fù)的機(jī)器學(xué)習(xí)管道以及監(jiān)控，審核，版本跟蹤和可再現(xiàn)性的方法，并為ML工作流提供了企業(yè)就緒，易于安裝，安全的執(zhí)行環(huán)境。

Cloud AI Platform Pipelines是TensorFlow Extended(TFX)和Kubeflow Pipelines(KFP)的托管實(shí)現(xiàn)，它們?cè)贕oogle Kubernetes Engine(GKE)集群上運(yùn)行。TFX是一個(gè)抽象層，核心概念是管道，必須協(xié)調(diào)或協(xié)調(diào)一系列數(shù)據(jù)轉(zhuǎn)換步驟(管道組件); 組件之間傳輸?shù)臄?shù)據(jù)稱為工件。KFP是協(xié)調(diào)器，它在GKE集群中的Pod上執(zhí)行管道中的每個(gè)組件。TFX還為ML元數(shù)據(jù)(MLMD)定義了一個(gè)數(shù)據(jù)存儲(chǔ)，該數(shù)據(jù)存儲(chǔ)允許跟蹤管道的歷史記錄和版本以及該管道產(chǎn)生的工件。Cloud AI Platform Pipelines支持兩個(gè)SDK，即TFX較高級(jí)別的SDK和較低級(jí)別的KFP SDK。但是，Google計(jì)劃將兩者合并為一個(gè)TFX SDK。

TFX最初是由Google在KDD 2017上發(fā)表的一篇論文中描述的，該文檔記錄了Google努力構(gòu)建端到端ML平臺(tái)的成果，該平臺(tái)包括ML過(guò)程的所有階段，包括數(shù)據(jù)分析和轉(zhuǎn)換，模型訓(xùn)練和評(píng)估，和推論生產(chǎn)。最初的執(zhí)行基礎(chǔ)結(jié)構(gòu)是Apache Beam，它本身基于Google的Flume ，現(xiàn)在為Google Cloud Dataflow提供了動(dòng)力。TFX仍然使用Beam定義數(shù)據(jù)并行操作，但現(xiàn)在還支持Kubeflow和Apache Airflow作為編排引擎。氣流是另一種GCP產(chǎn)品Cloud Composer背后的技術(shù)。