
- SAP BODS 教程
- SAP BODS - 首頁
- 資料倉庫 & ETL
- 資料倉庫 - 概述
- 資料倉庫 - 型別
- 資料倉庫 - 產品 & 供應商
- ETL - 簡介
- SAP BO 資料服務
- SAP BODS - 概述
- SAP BODS - 架構
- SAP BODS - 資料服務設計器
- SAP BODS 倉庫
- SAP BODS - 倉庫概述
- 倉庫建立 & 更新
- 資料服務管理控制檯
- SAP BODS - DSMC 模組
- SAP BODS - DS 設計器簡介
- SAP BODS - DS 設計器中的 ETL 流程
- SAP BODS 資料儲存 & 格式
- SAP BODS - 資料儲存概述
- SAP BODS - 更改資料儲存
- SAP BODS - 記憶體資料儲存
- SAP BODS - 連結資料儲存
- SAP BODS - 介面卡資料儲存
- SAP BODS - 檔案格式
- COBOL COPYBOOK 檔案格式
- 從資料庫表中提取資料
- 從 Excel 工作簿提取資料
- SAP BODS 變換
- SAP BODS - 變換型別
- 向資料流新增變換
- SAP BODS - 查詢變換
- SAP BODS 管理
- SAP BODS - 資料服務概述
- 建立嵌入式資料流
- 除錯 & 恢復機制
- 資料評估 & 資料分析
- SAP BODS - 最佳化技巧
- SAP BODS 有用資源
- SAP BODS - 問答
- SAP BODS 快速指南
- SAP BODS - 有用資源
- SAP BODS - 討論
SAP BODS 快速指南
資料倉庫 - 概述
資料倉庫是儲存來自一個或多個異構資料來源的資料的中央儲存庫。資料倉庫用於報告和分析資訊,並存儲歷史資料和當前資料。DW 系統中的資料用於分析報告,業務分析師、銷售經理或知識工作者隨後將使用這些報告進行決策。
DW 系統中的資料是從運營事務系統(如銷售、營銷、人力資源、供應鏈管理等)載入的。在載入到 DW 系統進行資訊處理之前,它可能需要經過運營資料儲存或其他轉換。
資料倉庫 - 主要特點
DW 系統的主要特點包括:
它是中心資料儲存庫,儲存來自一個或多個異構資料來源的資料。
DW 系統儲存當前資料和歷史資料。通常,DW 系統儲存 5-10 年的歷史資料。
DW 系統始終與運營事務系統分開。
DW 系統中的資料用於不同型別的分析報告,範圍從季度到年度比較。
DW 系統的需求
假設您有一個住房貸款機構,資料來自多個應用程式,例如營銷、銷售、ERP、人力資源、物料管理等。這些資料將被提取、轉換並載入到資料倉庫中。
例如,如果您需要比較產品的季度/年度銷售額,則不能使用運營事務資料庫,因為這會掛起事務系統。因此,資料倉庫用於此目的。
DW 和 ODB 的區別
資料倉庫和運營資料庫(事務資料庫)之間的區別如下:
事務系統專為已知的負載和事務(如更新使用者記錄、搜尋記錄等)而設計。但是,資料倉庫事務更復雜,並呈現資料的通用形式。
事務系統包含組織的當前資料,而資料倉庫通常包含歷史資料。
事務系統支援多個事務的並行處理。需要併發控制和恢復機制來維護資料庫的一致性。
運營資料庫查詢允許讀取和修改操作(刪除和更新),而 OLAP 查詢只需要對儲存資料的只讀訪問許可權(SELECT 語句)。
DW 架構
資料倉庫涉及資料清洗、資料整合和資料整合。

資料倉庫具有三層架構:**資料來源層、整合層**和**展示層**。上圖顯示了資料倉庫系統的常見架構。
資料倉庫 - 型別
有四種類型的資料倉庫系統。
- 資料集市
- 聯機分析處理 (OLAP)
- 聯機事務處理 (OLTP)
- 預測分析 (PA)
資料集市
資料集市被稱為資料倉庫系統的最簡單形式,通常包含組織中的單個職能區域,例如銷售、財務或營銷等。
資料集市存在於組織中,由單個部門建立和管理。由於它屬於單個部門,因此該部門通常只從少數或一種型別的來源/應用程式獲取資料。此來源可以是內部運營系統、資料倉庫或外部系統。
聯機分析處理
在 OLAP 系統中,與事務系統相比,事務數量較少。執行的查詢性質複雜,涉及資料聚合。
什麼是聚合?
如果有人需要進行逐年比較,我們將儲存帶有聚合資料的表,例如按年(1 行)、季度(4 行)、月(12 行)等,則只需處理一行。但是,在未聚合的表中,它將比較所有行。
SELECT SUM(salary) FROM employee WHERE title = 'Programmer';
OLAP 系統中的有效措施
響應時間被稱為 **OLAP** 系統中最有效和關鍵的措施之一。聚合的儲存資料以多維模式維護,例如星型模式(當資料被排列成層次結構組時,通常稱為維度,並排列成事實和聚合事實,則稱為模式)。
OLAP 系統的延遲為幾小時,而資料集市的延遲預計接近一天。
聯機事務處理
在 OLTP 系統中,有大量短的線上事務,例如 INSERT、UPDATE 和 DELETE。
在 OLTP 系統中,有效的措施是短事務的處理時間,並且非常短。它控制多訪問環境中的資料完整性。對於 OLTP 系統,每秒事務數衡量 **有效性**。OLTP 資料倉庫系統包含當前和詳細的資料,並以實體模型中的模式維護(3NF)。
示例
零售商店中的日常事務系統,其中客戶記錄每天都會插入、更新和刪除。它提供非常快速的查詢處理。OLTP 資料庫包含詳細的當前資料。用於儲存 OLTP 資料庫的模式是實體模型。
OLTP 和 OLAP 之間的區別
下圖顯示了 **OLTP** 和 **OLAP** 系統之間的主要區別。

**索引** - OLTP 系統只有少量索引,而在 OLAP 系統中,為了效能最佳化,有許多索引。
**連線** - 在 OLTP 系統中,大量連線和資料被規範化。但是,在 OLAP 系統中,連線較少,並且被反規範化。
**聚合** - 在 OLTP 系統中,資料未被聚合,而在 OLAP 資料庫中,使用更多的聚合。
預測分析
預測分析是指透過使用不同的數學函式來預測未來結果,從而在 DW 系統中儲存的資料中查詢隱藏模式。
預測分析系統在其用途方面不同於 OLAP 系統。它用於關注未來結果。OALP 系統專注於當前和歷史資料處理以進行分析報告。
資料倉庫 - 產品 & 供應商
市場上有各種資料倉庫/資料庫系統可以滿足 DW 系統的功能。資料倉庫系統最常見的供應商包括:
- Microsoft SQL Server
- Oracle Exadata
- IBM Netezza
- Teradata
- Sybase IQ
- SAP Business Warehouse (SAP BW)
SAP Business Warehouse
**SAP Business Warehouse** 是 SAP NetWeaver 釋出平臺的一部分。在 NetWeaver 7.4 之前,它被稱為 SAP NetWeaver Business Warehouse。
在 SAP BW 中,資料倉庫意味著資料整合、轉換、資料清洗、儲存和資料分級。DW 流程包括在 BW 系統中進行資料建模、分級和管理。用於在 BW 系統中管理 DW 任務的主要工具是管理工作臺。
主要特點
SAP BW 提供了業務智慧功能,包括分析服務和業務計劃、分析報告、查詢處理和資訊以及企業資料倉庫。
它結合了資料庫和資料庫管理工具,有助於決策。
BW 系統的其他關鍵功能包括支援連線到非 SAP R/3 應用程式的業務應用程式程式設計介面 (BAPI)、自動化資料提取和載入、整合的 OLAP 處理器、元資料儲存庫、管理工具、多語言支援和基於 Web 的介面。
SAP BW 最初由德國公司 SAP 於 1998 年推出。SAP BW 系統基於模型驅動的方法,使企業資料倉庫對於 SAP R3 資料更容易、更簡單、更高效。
在過去的 16 年中,SAP BW 已發展成為許多公司管理其企業資料倉庫需求的關鍵系統之一。
業務資源管理器 **(BEx)** 提供了在公司中進行靈活報告、戰略分析和運營報告的選項。
它用於在 BI 系統中執行報告、查詢執行和分析功能。您還可以透過 Web 和 Excel 格式處理各種程度的詳細資訊的當前資料和歷史資料。
使用 **BEx** 資訊廣播,BI 內容可以透過電子郵件以文件的形式或以連結的形式共享為即時資料,或者您也可以使用 SAP EP 功能釋出。
Business Objects & 產品
SAP Business Objects 被公認為最常用的商業智慧工具,用於資料操作、使用者訪問、分析、格式化以及在不同平臺上釋出資訊。它是一套基於前端的工具,使業務使用者和決策者能夠顯示、排序和分析商業智慧的當前和歷史資料。
它包含以下工具:
Web Intelligence
Web Intelligence (WebI) 被稱為最常用的 Business Objects 詳細報表工具,支援資料分析的各種功能,如鑽取、層次結構、圖表、計算指標等。它允許終端使用者在查詢面板中建立即席查詢,並在線和離線執行資料分析。
SAP Business Objects Xcelsius / 儀表盤
儀表盤為終端使用者提供資料視覺化和儀表盤功能,您可以使用此工具建立互動式儀表盤。
您還可以新增各種型別的圖表和圖形,建立用於資料視覺化的動態儀表盤,這些儀表盤主要用於組織的財務會議。
Crystal Reports
Crystal Reports 用於畫素級精確的報表。這使使用者能夠建立和設計報表,然後將其用於列印。
資源管理器
資源管理器允許使用者搜尋 BI 儲存庫中的內容,並以圖表的形式顯示最佳匹配項。無需編寫查詢即可執行搜尋。
為詳細報表、資料視覺化和儀表盤目的而引入的其他元件和工具包括 Design Studio、Microsoft Office 的分析版本、BI 儲存庫和 Business Objects 移動平臺。
ETL - 簡介
ETL 代表提取、轉換和載入。ETL 工具從不同的 RDBMS 源系統提取資料,轉換資料(例如應用計算、連線等),然後將資料載入到資料倉庫系統。資料以維度表和事實表的形式載入到 DW 系統中。
提取
ETL 載入期間需要一個暫存區。需要暫存區的原因有很多。
源系統僅在特定時間段內可用以提取資料。此時間段短於總資料載入時間。因此,暫存區允許您在時間段結束前從源系統提取資料並將其儲存在暫存區中。
當您想要將來自多個數據源的資料組合在一起,或者想要將兩個或多個系統連線在一起時,需要暫存區。例如,您將無法執行 SQL 查詢來連線來自兩個物理上不同的資料庫的兩個表。
不同系統的數 據提取時間段因時區和運營時間而異。
從源系統提取的資料可用於多個數據倉庫系統、運營資料儲存等。
ETL 允許您執行復雜的轉換,並需要額外的空間來儲存資料。

轉換
在資料轉換中,您對提取的資料應用一組函式以將其載入到目標系統。不需要任何轉換的資料稱為直接移動或直通資料。
您可以對從源系統提取的資料應用不同的轉換。例如,您可以執行自定義計算。如果您想要銷售收入總和,而資料庫中沒有此資料,則可以在轉換期間應用 **SUM** 公式並載入資料。
例如,如果表中在不同列中包含名字和姓氏,您可以在載入前使用連線。
載入
在載入階段,資料將載入到最終目標系統,它可以是平面檔案或資料倉庫系統。
SAP BODS - 概述
SAP BO Data Services 是一款用於資料整合、資料質量、資料分析和資料處理的 ETL 工具。它允許您將經過驗證的整合資料傳輸到資料倉庫系統,用於分析報告。
BO Data Services 包含 UI 開發介面、元資料儲存庫、與源系統和目標系統的連線以及用於作業排程的管理控制檯。
資料整合和資料管理
SAP BO Data Services 是一款資料整合和管理工具,包含資料整合作業伺服器和資料整合設計器。
主要特點
您可以使用資料整合語言應用各種資料轉換以應用複雜的資料轉換和構建自定義函式。
資料整合設計器用於在儲存庫中儲存即時和批處理作業以及新專案。
DI 設計器還透過提供具有所有基本功能的中央儲存庫,為基於團隊的 ETL 開發提供了一個選項。
資料整合作業伺服器負責處理使用 DI 設計器建立的作業。
Web 管理員
資料整合 Web 管理員由系統管理員和資料庫管理員用於維護 Data Services 中的儲存庫。Data Services 包括元資料儲存庫、用於基於團隊的開發的中央儲存庫、作業伺服器和 Web 服務。
DI Web 管理員的關鍵功能
- 用於排程、監視和執行批處理作業。
- 用於配置和啟動以及停止即時伺服器。
- 用於配置作業伺服器、訪問伺服器和儲存庫使用情況。
- 用於配置介面卡。
- 用於配置和控制 BO Data Services 中的所有工具。
資料管理功能強調資料質量。它涉及資料清洗、增強和整合,以在 DW 系統中獲得正確的資料。
SAP BODS - 架構
在本章中,我們將學習 SAP BODS 架構。插圖顯示了帶有暫存區的 BODS 系統架構。
源層
源層包括不同的資料來源,例如 SAP 應用和非 SAP RDBMS 系統,資料整合在暫存區進行。
SAP Business Objects Data Services 包括不同的元件,例如 Data Service Designer、Data Services Management Console、Repository Manager、Data Services Server Manager、工作臺等。目標系統可以是 DW 系統,例如 SAP HANA、SAP BW 或非 SAP 資料倉庫系統。

以下螢幕截圖顯示了 SAP BODS 的不同元件。

您還可以將 BODS 架構劃分為以下幾層:
- Web 應用層
- 資料庫伺服器層
- 資料服務服務層
以下插圖顯示了 BODS 架構。

產品演變 - ATL、DI 和 DQ
Acta Technology Inc. 開發了 SAP Business Objects Data Services,後來 Business Objects 公司收購了它。Acta Technology Inc. 是一家美國公司,負責開發第一個資料整合平臺。Acta Inc. 開發的兩款 ETL 軟體產品是 **資料整合 (DI)** 工具和 **資料管理** 或 **資料質量 (DQ)** 工具。
法國公司 Business Objects 於 2002 年收購了 Acta Technology Inc.,後來這兩款產品分別更名為 **Business Objects 資料整合 (BODI)** 工具和 **Business Objects 資料質量 (BODQ)** 工具。
SAP 於 2007 年收購了 Business Objects,這兩款產品分別更名為 SAP BODI 和 SAP BODQ。2008 年,SAP 將這兩款產品整合到名為 SAP Business Objects Data Services (BODS) 的單個軟體產品中。
SAP BODS 提供資料整合和資料管理解決方案,在早期版本的 BODS 中,包含文字資料處理解決方案。
BODS - 物件
在 BO Data Services Designer 中使用到的所有實體都稱為 **物件**。所有物件(如專案、作業、元資料和系統函式)都儲存在本地物件庫中。所有物件都是分層的。
物件主要包含以下內容:
**屬性** - 用於描述物件,不會影響其操作。例如 - 物件名稱、建立日期等。
**選項** - 控制物件的執行。
物件的型別
系統中有兩種型別的物件:可重用物件和一次性物件。物件的型別決定了如何使用和檢索該物件。
可重用物件
儲存在儲存庫中的大多數物件都可以重用。當在本地儲存庫中定義和儲存可重用物件時,您可以透過建立對定義的呼叫來重用該物件。每個可重用物件只有一個定義,對該物件的所有呼叫都引用該定義。現在,如果在一個地方更改物件定義,您就在該物件出現的所有地方更改物件定義。
物件庫用於包含物件定義,當從庫中拖放物件時,將建立對現有物件的新的引用。
一次性物件
專門為作業或資料流定義的所有物件都稱為一次性物件。例如,在任何資料載入中使用的特定轉換。
BODS - 物件層次結構
所有物件都是分層的。下圖顯示了 SAP BODS 系統中的物件層次結構:

BODS - 工具和函式
根據下圖所示的架構,我們在 SAP Business Objects Data Services 中定義了許多工具。每個工具根據系統環境都有其自身的函式。

在頂部,您安裝了資訊平臺服務,用於使用者和許可權安全管理。BODS 依賴於中央管理控制檯 (**CMC**) 來實現使用者訪問和安全功能。這適用於 4.x 版本。在之前的版本中,這是在管理控制檯中完成的。
SAP BODS - 資料服務設計器
Data Services Designer 是一款開發工具,用於建立包含資料對映、轉換和邏輯的物件。它是基於 GUI 的,充當 Data Services 的設計器。
儲存庫
儲存庫用於儲存在 BO Data Services 中使用的物件的元資料。每個儲存庫都應在中央管理控制檯中註冊,並與一個或多個作業伺服器連結,這些作業伺服器負責執行您建立的作業。
儲存庫的型別
有三種類型的儲存庫。
**本地儲存庫** - 用於儲存在 Data Services Designer 中建立的所有物件的元資料,例如專案、作業、資料流、工作流等。
**中央儲存庫** - 用於控制物件的版本管理,並用於多使用者開發。中央儲存庫儲存應用程式物件的所有版本。因此,它允許您移動到以前的版本。
**分析器儲存庫** - 用於管理與在 SAP BODS 設計器中執行的分析器任務相關的所有元資料。CMS 儲存庫儲存在 BI 平臺上的 CMC 上執行的所有任務的元資料。資訊管家儲存庫儲存在資訊管家建立的所有分析任務和物件的元資料。
作業伺服器
作業伺服器用於執行您建立的即時和批處理作業。它從相應的儲存庫獲取作業資訊,並啟動資料引擎以執行作業。作業伺服器可以執行即時或計劃作業,並使用多執行緒記憶體快取和並行處理來提供效能最佳化。
訪問伺服器
Data Services 中的訪問伺服器被稱為即時訊息代理系統,它接收訊息請求,移動到即時服務並在特定時間範圍內顯示訊息。
Data Service Management Console
Data Service Management Console 用於執行管理活動,例如排程作業、在 DS 系統中生成質量報告、資料驗證、文件編制等。
BODS - 命名標準
建議對所有系統中的所有物件使用標準命名約定,因為這使您可以輕鬆地識別儲存庫中的物件。
該表顯示了應為所有作業和其他物件使用的推薦命名約定的列表。
字首 | 字尾 | 物件 |
---|---|---|
DF_ | n/a | 資料流 |
EDF_ | _Input | 嵌入式資料流 |
EDF_ | _Output | 嵌入式資料流 |
RTJob_ | n/a | 即時作業 |
WF_ | n/a | 工作流 |
JOB_ | n/a | 作業 |
n/a | _DS | 資料儲存 |
DC_ | n/a | 資料配置 |
SC_ | n/a | 系統配置 |
n/a | _Memory_DS | 記憶體資料儲存 |
PROC_ | n/a | 儲存過程 |
SAP BODS - 倉庫概述
BO 資料服務基礎包括在設計工作流時使用的關鍵物件,例如專案、作業、工作流、資料流和儲存庫。
BODS – 儲存庫及型別
儲存庫用於儲存BO資料服務中使用的物件的元資料。每個儲存庫都應在中央管理控制檯 (CMC) 中註冊,並與一個或多個作業伺服器連結,這些伺服器負責執行您建立的作業。
儲存庫的型別
有三種類型的儲存庫。
**本地儲存庫** - 用於儲存在 Data Services Designer 中建立的所有物件的元資料,例如專案、作業、資料流、工作流等。
**中央儲存庫** - 用於控制物件的版本管理,並用於多使用者開發。中央儲存庫儲存應用程式物件的所有版本。因此,它允許您移動到以前的版本。
**分析器儲存庫** - 用於管理與在 SAP BODS 設計器中執行的分析器任務相關的所有元資料。CMS 儲存庫儲存在 BI 平臺上的 CMC 上執行的所有任務的元資料。資訊管家儲存庫儲存在資訊管家建立的所有分析任務和物件的元資料。
SAP BODS - 儲存庫建立與更新
要建立BODS儲存庫,您需要安裝一個數據庫。您可以使用SQL Server、Oracle資料庫、MySQL、SAP HANA、Sybase等。
建立儲存庫
安裝BODS並建立儲存庫時,您必須在資料庫中建立以下使用者。這些使用者需要登入到不同的伺服器,例如CMS伺服器、審計伺服器等。
建立使用者BODS,密碼為Bodsserver1
- 授予BODS連線許可權;
- 授予BODS建立會話許可權;
- 授予BODS DBA許可權;
- 授予BODS建立任何表許可權;
- 授予BODS建立任何檢視許可權;
- 授予BODS刪除任何表許可權;
- 授予BODS刪除任何檢視許可權;
- 授予BODS插入任何表許可權;
- 授予BODS更新任何表許可權;
- 授予BODS刪除任何表許可權;
- 修改使用者BODS配額為USERS上的無限配額;
建立使用者CMS,密碼為CMSserver1
- 授予CMS連線許可權;
- 授予CMS建立會話許可權;
- 授予CMS DBA許可權;
- 授予CMS建立任何表許可權;
- 授予CMS建立任何檢視許可權;
- 授予CMS刪除任何表許可權;
- 授予CMS刪除任何檢視許可權;
- 授予CMS插入任何表許可權;
- 授予CMS更新任何表許可權;
- 授予CMS刪除任何表許可權;
- 修改使用者CMS配額為USERS上的無限配額;
建立使用者CMSAUDIT,密碼為CMSAUDITserver1
- 授予CMSAUDIT連線許可權;
- 授予CMSAUDIT建立會話許可權;
- 授予CMSAUDIT DBA許可權;
- 授予CMSAUDIT建立任何表許可權;
- 授予CMSAUDIT建立任何檢視許可權;
- 授予CMSAUDIT刪除任何表許可權;
- 授予CMSAUDIT刪除任何檢視許可權;
- 授予CMSAUDIT插入任何表許可權;
- 授予CMSAUDIT更新任何表許可權;
- 授予CMSAUDIT刪除任何表許可權;
- 修改使用者CMSAUDIT配額為USERS上的無限配額;
安裝後建立新的儲存庫
步驟1 − 建立資料庫Local_Repo,然後轉到資料服務儲存庫管理器。將資料庫配置為本地儲存庫。

將開啟一個新視窗。
步驟2 − 在以下欄位中輸入詳細資訊 −
儲存庫型別、資料庫型別、資料庫伺服器名稱、埠、使用者名稱和密碼。

步驟3 − 點選建立按鈕。您將收到以下訊息 −

步驟4 − 現在使用使用者名稱和密碼登入SAP BI平臺中的中央管理控制檯CMC。

步驟5 − 在CMC主頁上,點選資料服務。

步驟6 − 在資料服務選單中,點選配置新的資料服務儲存庫。

步驟7 − 在新視窗中輸入詳細資訊。
- 儲存庫名稱:Local_Repo
- 資料庫型別:SAP HANA
- 資料庫伺服器名稱:best
- 資料庫名稱:LOCAL_REPO
- 使用者名稱
- 密碼:*****

步驟8 − 點選測試連線按鈕,如果成功,則點選儲存。儲存後,它將出現在CMC的儲存庫選項卡中。
步驟9 − 在CMC → 使用者和組中對本地儲存庫應用訪問許可權和安全性。
步驟10 −授予訪問許可權後,轉到資料服務設計器→選擇儲存庫→輸入使用者名稱和密碼登入。

更新儲存庫
要更新儲存庫,請按照以下步驟操作。
步驟1 − 要安裝後更新儲存庫,請建立一個數據庫Local_Repo,然後轉到資料服務儲存庫管理器。
步驟2 − 將資料庫配置為本地儲存庫。

將開啟一個新視窗。
步驟3 − 輸入以下欄位的詳細資訊。
儲存庫型別、資料庫型別、資料庫伺服器名稱、埠、使用者名稱和密碼。

您將看到如下截圖所示的輸出。

資料服務管理控制檯
資料服務管理控制檯 (DSMC) 用於執行管理活動,例如計劃作業、在DS系統中生成質量報告、資料驗證、文件編制等。
您可以透過以下方式訪問資料服務管理控制檯 −
您可以透過轉到開始→所有程式→資料服務→資料服務管理控制檯來訪問資料服務管理控制檯。

如果您已登入,也可以透過設計器訪問資料服務管理控制檯。
要透過設計器主頁訪問資料服務管理控制檯,請按照以下步驟操作。

要透過工具訪問資料服務管理控制檯,請按照以下步驟操作 −
步驟1 − 如以下影像所示,轉到工具→資料服務管理控制檯。

步驟2 − 登入資料服務管理控制檯後,將開啟如下圖所示的主螢幕。在頂部,您可以看到您登入使用的使用者名稱。
在主頁上,您將看到以下選項 −
- 管理員
- 自動文件
- 資料驗證
- 影響和血緣分析
- 運營儀表盤
- 資料質量報告

SAP BODS - DSMC 模組
本章解釋了資料服務管理控制檯每個模組的關鍵功能。
管理員模組
管理員選項用於管理 −
- 使用者和角色
- 新增連線以訪問伺服器和儲存庫
- 訪問為Web服務釋出的作業資料
- 用於計劃和監控批處理作業
- 檢查訪問伺服器狀態和即時服務。
點選管理員選項卡後,您可以在左側窗格中看到許多連結。它們是:狀態、批處理、Web服務、SAP連線、伺服器組、分析器儲存庫管理和作業執行歷史記錄。

節點
下面將討論管理員模組下的各個節點。
狀態
狀態節點用於檢查批處理和即時作業的狀態、訪問伺服器狀態、介面卡和分析器儲存庫以及其他系統狀態。
點選狀態→選擇一個儲存庫
在右側窗格中,您將看到以下選項的選項卡 −
批處理作業狀態 − 用於檢查批處理作業的狀態。您可以檢查作業資訊,例如跟蹤、監控、錯誤和效能監控器、開始時間、結束時間、持續時間等。

批處理作業配置 − 批處理作業配置用於檢查單個作業的計劃,或者您可以新增一個操作,例如執行、新增計劃、匯出執行命令。

儲存庫計劃 − 用於檢視和配置儲存庫中所有作業的計劃。
批處理節點
在批處理作業節點下,您將看到與上面相同的選項。
序號 | 選項和說明 |
---|---|
1 | 批處理作業狀態 檢視上次執行的狀態以及每個作業的詳細資訊。 |
2 | 批處理作業配置 配置單個作業的執行和計劃選項。 |
3 | 儲存庫計劃 檢視和配置儲存庫中所有作業的計劃。 |
Web服務節點
Web服務用於將即時作業和批處理作業釋出為Web服務操作,並檢查這些操作的狀態。這還用於維護髮布為Web服務的作業的安全性以及檢視WSDL檔案。

SAP連線
SAP連線用於檢查狀態或在資料服務管理控制檯中配置RFC伺服器介面。
要檢查RFC伺服器介面的狀態,請轉到RFC伺服器介面狀態選項卡。要新增新的RFC伺服器介面,請在配置選項卡上點選新增。
當開啟一個新視窗時,輸入RFC伺服器配置詳細資訊,然後點選應用。

伺服器組
這用於將與同一儲存庫關聯的所有作業伺服器組合到一個伺服器組中。此選項卡用於在資料服務中執行作業時的負載平衡。
執行作業時,它會檢查相應的作業伺服器,如果它已關閉,則會將作業移動到同一組中的其他作業伺服器。它主要用於生產環境中的負載平衡。

概要檔案儲存庫
當您將概要檔案儲存庫連線到管理員時,它允許您展開概要檔案儲存庫節點。您可以轉到概要檔案任務狀態頁面。
管理節點
要使用管理員選項卡的功能,您需要使用管理節點將連線新增到資料服務。管理節點包含管理應用程式的不同配置選項。

作業執行歷史記錄
這用於檢查作業或資料流的執行歷史記錄。使用此選項,您可以檢查您建立的一個批處理作業或所有批處理作業的執行歷史記錄。
選擇作業後,資訊將以表格形式顯示,其中包含儲存庫名稱、作業名稱、開始時間、結束時間、執行時間、狀態等。

SAP BODS - DS 設計器簡介
資料服務設計器是一個開發工具,用於建立包含資料對映、轉換和邏輯的物件。它是基於GUI的,並且充當資料服務的設計器。
您可以使用資料服務設計器建立各種物件,例如專案、作業、工作流、資料流、對映、轉換等。
要啟動資料服務設計器,請按照以下步驟操作。
步驟1 − 指向開始→所有程式→SAP資料服務4.2→資料服務設計器。

步驟2 − 選擇儲存庫並輸入密碼登入。

選擇儲存庫並登入到資料服務設計器後,將出現如下圖所示的主螢幕。

左側窗格是專案區域,您可以在其中建立新的專案、作業、資料流、工作流等。專案區域包含本地物件庫,其中包含在Data Services中建立的所有物件。

在底部窗格中,您可以透過轉到特定選項(如專案、作業、資料流、工作流等)來開啟現有物件。一旦您從底部窗格中選擇任何物件,它將顯示已經在本地物件庫下的資源庫中建立的所有類似物件。
右側是主螢幕,可用於:
- 建立專案
- 開啟專案
- 建立資料儲存
- 建立資源庫
- 從平面檔案匯入
- 資料服務管理控制檯
SAP BODS - DS 設計器中的 ETL 流程
要開發ETL流程,您首先需要為源系統和目標系統建立資料儲存。請按照給定的步驟開發ETL流程:
步驟1 - 點選建立資料儲存。

將開啟一個新視窗。
步驟2 - 輸入資料儲存名稱、資料儲存型別和資料庫型別,如下所示。您可以選擇不同的資料庫作為源系統,如下面的螢幕截圖所示。

步驟3 - 要使用ECC系統作為資料來源,請選擇SAP Applications作為資料儲存型別。輸入使用者名稱和密碼,在高階選項卡中,輸入系統編號和客戶端編號。

步驟4 - 點選確定,資料儲存將新增到本地物件庫列表中。如果展開資料儲存,則不會顯示任何表。

步驟5 - 要從ECC系統提取任何表以載入到目標系統,請右鍵單擊表→按名稱匯入。

步驟6 - 輸入表名並點選匯入。這裡使用表Mara,它是ECC系統中的預設表。

步驟7 - 以類似的方式,為目標系統建立一個資料儲存。在此示例中,HANA用作目標系統。

單擊確定後,此資料儲存將新增到本地物件庫中,並且其中不會有任何表。
建立ETL流程
要建立ETL流程,請建立一個新專案。
步驟1 - 點選建立專案選項。輸入專案名稱並點選建立。它將新增到專案區域。

步驟2 - 右鍵單擊專案名稱並建立一個新的批處理作業/即時作業。

步驟3 - 輸入作業名稱並按Enter鍵。您需要為此新增工作流和資料流。選擇一個工作流並點選工作區將其新增到作業中。輸入工作流名稱並雙擊將其新增到專案區域。
步驟4 - 以類似的方式,選擇資料流並將其新增到專案區域。輸入資料流名稱並雙擊將其新增到新專案下。

步驟5 - 現在將資料儲存下的源表拖到工作區。現在您可以將具有類似資料型別的目標表拖到工作區,也可以建立一個新的模板表。
要建立一個新的模板表,請右鍵單擊源表,新增新→模板表。

步驟6 - 輸入表名並從列表中選擇資料儲存作為目標資料儲存。所有者名稱表示要建立表的模式名稱。

該表將以此表名新增到工作區。
步驟7 - 從源表拖動線條到目標表。點選頂部的全部儲存選項。

現在您可以使用Data Service Management Console排程作業,也可以透過右鍵單擊作業名稱並執行來手動執行它。

SAP BODS - 資料儲存概述
資料儲存用於設定應用程式和資料庫之間的連線。您可以直接建立資料儲存,也可以藉助介面卡建立。資料儲存允許應用程式/軟體讀取或寫入應用程式或資料庫的元資料,並寫入該資料庫或應用程式。
在Business Objects Data Services中,您可以使用資料儲存連線到以下系統:
- 大型機系統和資料庫
- 使用使用者編寫的介面卡的應用程式和軟體
- SAP Applications、SAP BW、Oracle Apps、Siebel等。
SAP Business Objects Data Services提供了一個選項,可以使用Attunity聯結器連線到大型機介面。使用Attunity,將資料儲存連線到下面給出的源列表:
- DB2 UDB for OS/390
- DB2 UDB for OS/400
- IMS/DB
- VSAM
- Adabas
- OS/390和OS/400上的平面檔案

使用Attunity聯結器,您可以藉助軟體連線到大型機資料。需要在大型機伺服器和本地客戶端作業伺服器上手動安裝此軟體,並使用ODBC介面。
輸入主機位置、埠、Attunity工作區等詳細資訊。
為資料庫建立資料儲存
要為資料庫建立資料儲存,請按照以下步驟操作。
步驟1 - 輸入資料儲存名稱、資料儲存型別和資料庫型別,如下面的影像所示。您可以從列表中選擇不同的資料庫作為源系統。

步驟2 - 要使用ECC系統作為資料來源,請選擇SAP Applications作為資料儲存型別。輸入使用者名稱和密碼。點選高階選項卡並輸入系統編號和客戶端編號。

步驟3 - 點選確定,資料儲存將新增到本地物件庫列表中。如果展開資料儲存,則沒有表顯示。
SAP BODS - 更改資料儲存
在本節中,我們將學習如何編輯或更改資料儲存。要更改或編輯資料儲存,請按照以下步驟操作。
步驟1 - 要編輯資料儲存,請右鍵單擊資料儲存名稱並點選編輯。它將開啟資料儲存編輯器。

您可以編輯當前資料儲存配置的連線資訊。
步驟2 - 點選高階按鈕,您可以編輯客戶端編號、系統ID和其他屬性。
步驟3 - 點選編輯選項以新增、編輯和刪除配置。

步驟4 - 點選確定,更改將被應用。
SAP BODS - 記憶體資料儲存
您可以使用記憶體作為資料庫型別建立資料儲存。記憶體資料儲存用於提高即時作業中資料流的效能,因為它將資料儲存在記憶體中以方便快速訪問,並且不需要轉到原始資料來源。
記憶體資料儲存用於在資源庫中儲存記憶體表模式。這些記憶體表從關係資料庫中的表或使用分層資料檔案(如XML訊息和IDoc)獲取資料。記憶體表在作業執行之前保持活動狀態,並且記憶體表中的資料不能在不同的即時作業之間共享。
建立記憶體資料儲存
要建立記憶體資料儲存,請按照以下步驟操作。
步驟1 - 點選建立資料儲存並輸入資料儲存名稱“Memory_DS_TEST”。記憶體表以普通的RDBMS表的形式呈現,並可以透過命名約定進行識別。
步驟2 - 在資料儲存型別中,選擇資料庫,在資料庫型別中選擇記憶體。點選確定。

步驟3 - 現在轉到專案→新建→專案,如下面的螢幕截圖所示。

步驟4 - 透過右鍵單擊建立新作業。新增工作流和資料流,如下所示。

步驟5 - 選擇一個模板表並將其拖放到工作區。將開啟一個建立表視窗。

步驟6 - 輸入表名,在資料儲存中選擇記憶體資料儲存。如果需要系統生成的rowid,請選擇建立rowid複選框。點選確定。
步驟7 - 將此記憶體表連線到資料流,然後點選頂部的全部儲存。

記憶體表作為源和目標
要使用記憶體表作為目標:
步驟1 - 轉到本地物件庫,點選資料儲存選項卡。展開記憶體資料儲存→展開表。
步驟2 - 選擇要作為源表或目標表使用的記憶體表,並將其拖到工作流中。將此記憶體表連線到資料流中的源或目標。
步驟3 - 點選儲存按鈕儲存作業。
SAP BODS - 連結資料儲存
有各種資料庫廠商只提供從一個數據庫到另一個數據庫的單向通訊路徑。這些路徑稱為資料庫連結。在SQL Server中,連結伺服器允許從一個數據庫到另一個數據庫的單向通訊路徑。
示例
假設名為“Product”的本地資料庫伺服器儲存資料庫連結以訪問名為“Customer”的遠端資料庫伺服器上的資訊。現在,連線到遠端資料庫伺服器Customer的使用者不能使用相同的連結來訪問資料庫伺服器Product中的資料。連線到“Customer”的使用者應該在伺服器的資料字典中擁有一個單獨的連結來訪問Product資料庫伺服器中的資料。
這兩個資料庫之間的通訊路徑稱為資料庫連結。在這些連結的資料庫關係之間建立的資料儲存稱為連結資料儲存。
有可能將一個數據儲存連線到另一個數據儲存,並將外部資料庫連結作為資料儲存的選項匯入。

SAP BODS - 介面卡資料儲存
介面卡資料儲存允許您將應用程式元資料匯入資源庫。您可以訪問應用程式元資料,並在不同的應用程式和軟體之間移動批處理和即時資料。
SAP提供了一個介面卡軟體開發工具包-SDK,可用於開發自定義介面卡。這些介面卡在Data Services設計器中由介面卡資料儲存顯示。
要使用介面卡提取或載入資料,您應該為此目的至少定義一個數據儲存。
介面卡資料儲存 - 定義
要定義自適應資料儲存,請按照以下步驟操作:
步驟1 - 點選建立資料儲存→輸入資料儲存名稱。選擇資料儲存型別為介面卡。從列表中選擇作業伺服器和介面卡例項名稱,然後點選確定。

瀏覽應用程式元資料
右鍵單擊資料儲存名稱並點選開啟。它將開啟一個新視窗,顯示源元資料。點選+號以檢查物件,然後右鍵單擊物件以匯入。
SAP BODS - 檔案格式
檔案格式定義為一組屬性,用於表示平面檔案的結構。它定義元資料結構。當資料儲存在檔案中而不是資料庫中時,檔案格式用於連線到源資料庫和目標資料庫。
檔案格式用於以下功能:
- 建立一個檔案格式模板來定義檔案的結構。
- 在資料流中建立一個特定的原始檔格式和目標檔案格式。
可以使用檔案格式將以下型別的檔案用作原始檔或目標檔案:
- 分隔符
- SAP傳輸
- 非結構化文字
- 非結構化二進位制
- 固定寬度
檔案格式編輯器
檔案格式編輯器用於設定檔案格式模板以及原始檔格式和目標檔案格式的屬性。
檔案格式編輯器中提供了以下模式:
新建模式 - 它允許您建立一個新的檔案格式模板。
編輯模式 - 它允許您編輯現有的檔案格式模板。
源模式 - 它允許您編輯特定原始檔的格式。
目標模式 - 它允許您編輯特定目標檔案的格式。
檔案格式編輯器有三個工作區:
屬性值 - 用於編輯檔案格式屬性的值。
列屬性 - 用於編輯和定義檔案中的列或欄位。
資料預覽 - 用於檢視設定如何影響樣本資料。
建立檔案格式
要建立檔案格式,請按照以下步驟操作。
步驟 1 − 轉到本地物件庫 → 平面檔案。

步驟 2 − 右鍵單擊“平面檔案”選項 → “新建”。

將開啟一個新的檔案格式編輯器視窗。
步驟 3 − 選擇檔案格式型別。輸入描述檔案格式模板的名稱。對於分隔符和固定寬度檔案,您可以使用自定義傳輸程式讀取和載入。輸入其他屬性來描述此模板表示的檔案。
您還可以為一些特定的檔案格式在列屬性工作區中指定列的結構。定義所有屬性後,單擊儲存按鈕。

編輯檔案格式
要編輯檔案格式,請按照以下步驟操作。
步驟 1 − 在本地物件庫中,轉到格式選項卡。

步驟 2 − 選擇要編輯的檔案格式。右鍵單擊編輯選項。

在檔案格式編輯器中進行更改,然後單擊儲存按鈕。
SAP BODS - COBOL 複製簿檔案格式
您可以建立一個 COBOL 複製簿檔案格式,該格式允許您僅建立格式。將格式新增到資料流後,您可以稍後配置源。
您可以同時建立檔案格式並將其連線到資料檔案。請按照以下步驟操作。
步驟 1 − 轉到本地物件庫 → 檔案格式 → COBOL 複製簿。

步驟 2 − 右鍵單擊新建選項。

步驟 3 − 輸入格式名稱。轉到格式選項卡 → 選擇要匯入的 COBOL 複製簿。檔案的副檔名為.cpy。

步驟 4 − 單擊確定。此檔案格式將新增到本地物件庫中。將開啟 COBOL 複製簿模式名稱對話方塊。如有必要,請重新命名模式並單擊確定。
從資料庫表中提取資料
透過使用資料庫資料儲存,您可以從資料庫中的表和函式中提取資料。執行元資料的資料匯入時,工具允許您編輯列名、資料型別、描述等。
您可以編輯以下物件:
- 表名
- 列名
- 表描述
- 列描述
- 列資料型別
- 列內容型別
- 表屬性
- 主鍵
- 所有者名稱
匯入元資料
要匯入元資料,請按照以下步驟操作:
步驟 1 − 轉到本地物件庫 → 轉到要使用的資料儲存。

步驟 2 − 右鍵單擊資料儲存 → 開啟。
在工作區中,將顯示所有可匯入的專案。選擇要匯入元資料的專案。

在物件庫中,轉到資料儲存以檢視匯入物件的列表。
從 Excel 工作簿提取資料
您可以使用 Microsoft Excel 工作簿作為資料服務中的檔案格式的資料來源。Excel 工作簿應位於 Windows 檔案系統或 Unix 檔案系統上。
序號 | 訪問許可權和描述 |
---|---|
1 | 在物件庫中,單擊格式選項卡。 Excel 工作簿格式描述了在 Excel 工作簿中定義的結構(用 .xls 擴充套件名錶示)。您將 Excel 資料範圍的格式模板儲存在物件庫中。您可以使用模板來定義資料流中特定源的格式。SAP Data Services 僅訪問 Excel 工作簿作為源(而不是目標)。 |
右鍵單擊新建選項,然後選擇Excel 工作簿,如下圖所示。

從 XML 檔案 DTD、XSD 提取資料
您還可以匯入 XML 或 DTD 模式檔案格式。
步驟 1 − 轉到本地物件庫 → 格式選項卡 → 巢狀模式。

步驟 2 − 指向新建(您可以選擇 DTD 檔案或 XML 模式或 JSON 檔案格式)。輸入檔案格式的名稱並選擇要匯入的檔案。單擊確定。
從 COBOL 複製簿提取資料
您還可以匯入 COBOL 複製簿中的檔案格式。轉到本地物件庫 → 格式 → COBOL 複製簿。

SAP BODS - 資料流簡介
資料流用於從源系統提取、轉換和載入資料到目標系統。所有轉換、載入和格式化都在資料流中進行。
在專案中定義資料流後,可以將其新增到工作流或 ETL 作業中。資料流可以使用引數傳送或接收物件/資訊。資料流的命名格式為DF_Name。

資料流示例
假設您要將源系統中兩個表的資料載入到 DW 系統中的事實表中。
資料流包含以下物件:
- 兩個源表
- 兩個表之間的連線,在查詢轉換中定義
- 目標表

可以向資料流新增三種類型的物件。它們是:
- 源
- 目標
- 轉換
步驟 1 − 轉到本地物件庫並將兩個表都拖到工作區。

步驟 2 − 要新增查詢轉換,請從右側工具欄拖動。

步驟 3 − 連線兩個表,並透過右鍵單擊查詢框 → 新增新建 → 新建模板表來建立模板目標表。

步驟 4 − 輸入目標表名稱、資料儲存名稱和表所屬的所有者(模式名稱)。
步驟 5 − 將目標表拖到前面並將其連線到查詢轉換。

傳遞引數
您還可以將不同的引數傳入和傳出資料流。將引數傳遞給資料流時,資料流中的物件會引用這些引數。使用引數,您可以將不同的操作傳遞給資料流。
示例 - 假設您已向表中輸入了有關上次更新的引數。它允許您僅提取自上次更新以來修改的行。
SAP BODS - 更改資料流屬性
您可以更改資料流的屬性,例如僅執行一次、快取型別、資料庫連結、並行度等。
步驟 1 − 要更改資料流的屬性,請右鍵單擊資料流 → 屬性

您可以為資料流設定各種屬性。屬性如下所示。
序號 | 屬性和描述 |
---|---|
1 | 僅執行一次 當您指定資料流應僅執行一次時,批處理作業在資料流成功完成之後將永遠不會重新執行該資料流,除非資料流包含在作為恢復單元的工作流中,該恢復單元會重新執行並且在恢復單元外部的其他位置未成功完成。建議您不要將資料流標記為“僅執行一次”,如果父工作流是恢復單元。 |
2 | 使用資料庫連結 資料庫連結是一個數據庫伺服器與另一個數據庫伺服器之間的通訊路徑。資料庫連結允許本地使用者訪問遠端資料庫上的資料,該資料可能位於本地或遠端計算機上,並且可以是相同或不同型別的資料庫。 |
3 | 並行度 並行度 (DOP) 是資料流的一個屬性,它定義資料流中的每個轉換複製多少次以處理資料的並行子集。 |
4 | 快取型別 您可以快取資料以提高聯接、分組、排序、篩選、查詢和表比較等操作的效能。您可以為資料流“屬性”視窗中的“快取型別”選項選擇以下值之一:
|
步驟 2 − 更改屬性,例如僅執行一次、並行度和快取型別。

源物件和目標物件
資料流可以直接使用以下物件提取或載入資料:
源物件 - 源物件定義從中提取資料或讀取資料的源。
目標物件 - 目標物件定義載入或寫入資料的目標。
可以使用以下型別的源物件,並且對源物件使用不同的訪問方法。
表 | 在關係資料庫中使用的具有列和行的格式化檔案 | 直接或透過介面卡 |
模板表 | 在另一個數據流中建立並儲存的模板表(用於開發) | 直接 |
檔案 | 分隔符或固定寬度平面檔案 | 直接 |
文件 | 具有特定於應用程式的格式的檔案(SQL 或 XML 解析器無法讀取) | 透過介面卡 |
XML 檔案 | 使用 XML 標記格式化的檔案 | 直接 |
XML 訊息 | 用作即時作業中的源 | 直接 |
可以使用以下目標物件,並且可以應用不同的訪問方法。
表 | 在關係資料庫中使用的具有列和行的格式化檔案 | 直接或透過介面卡 |
模板表 | 格式基於前一個轉換的輸出的表(用於開發) | 直接 |
檔案 | 分隔符或固定寬度平面檔案 | 直接 |
文件 | 具有特定於應用程式的格式的檔案(SQL 或 XML 解析器無法讀取) | 透過介面卡 |
XML 檔案 | 使用 XML 標記格式化的檔案 | 直接 |
XML 模板檔案 | 格式基於前一個轉換輸出的 XML 檔案(用於開發,主要用於除錯資料流) | 直接 |
SAP BODS - 工作流簡介
工作流用於確定執行過程。工作流的主要目的是準備執行資料流,並在資料流執行完成後設定系統狀態。
ETL 專案中的批處理作業類似於工作流,唯一的區別是作業沒有引數。
可以向工作流新增各種物件。它們是:
- 工作流
- 資料流
- 指令碼
- 迴圈
- 條件
- Try 或 Catch 塊
您還可以使工作流呼叫其他工作流,或者工作流可以自呼叫。
注意 - 在工作流中,步驟按從左到右的順序執行。
工作流示例
假設有一個要更新的事實表,並且您已建立了一個包含轉換的資料流。現在,如果您要移動源系統中的資料,則必須檢查事實表的最後修改時間,以便僅提取自上次更新後新增的行。
為了實現這一點,您必須建立一個指令碼,該指令碼確定上次更新日期,然後將其作為輸入引數傳遞給資料流。
您還必須檢查與特定事實表的連線是否處於活動狀態。如果它未處於活動狀態,則需要設定一個 catch 塊,該塊會自動向管理員傳送電子郵件以通知此問題。
SAP BODS - 建立工作流
可以使用以下方法建立工作流:
- 物件庫
- 工具調色盤
使用物件庫建立工作流
要使用物件庫建立工作流,請按照以下步驟操作。
步驟 1 - 轉到物件庫 → 工作流選項卡。

步驟 2 − 右鍵單擊新建選項。

步驟 3 - 輸入工作流的名稱。
使用工具調色盤建立工作流
要使用工具調色盤建立工作流,請單擊右側的圖示並將工作流拖動到工作區。
您還可以透過轉到工作流的屬性來設定僅執行一次工作流。
條件語句
您還可以向工作流新增條件語句。這允許您在工作流上實現 If/Else/Then 邏輯。
序號 | 條件和描述 |
---|---|
1 | If(如果) 一個布林表示式,其計算結果為 TRUE 或 FALSE。您可以使用函式、變數和標準運算子來構建表示式。 |
2 | Then(則) 如果If表示式計算結果為 TRUE,則要執行的工作流元素。 |
3 | Else(否則) (可選) 如果If表示式計算結果為 FALSE,則要執行的工作流元素。 |
定義條件語句
步驟 1 - 轉到工作流 → 單擊右側工具調色盤上的條件圖示。

步驟 2 - 雙擊條件的名稱以開啟If-Then-Else條件編輯器。

步驟 3 - 輸入控制條件的布林表示式。單擊“確定”。

步驟 4 - 根據 IF 條件中的表示式,拖動要執行的Then 和 Else視窗的資料流。

完成條件設定後,您可以除錯和驗證條件。
SAP BODS - 變換型別
轉換用於操作資料集作為輸入並建立一個或多個輸出。資料服務中可以使用各種轉換。轉換的型別取決於所購買的版本和產品。
提供以下型別的轉換:
資料整合
資料整合轉換用於將資料提取、轉換和載入到 DW 系統。它確保資料完整性並提高開發人員的工作效率。
- Data_Generator(資料生成器)
- Data_Transfer(資料傳輸)
- Effective_Date(生效日期)
- Hierarchy_flattening(層次扁平化)
- Table_Comparision(表比較)等。
資料質量
資料質量轉換用於提高資料質量。您可以應用解析、校正、標準化、豐富來自源系統的資料集。
- 關聯
- 資料清洗
- DSF2 Walk Sequencer(DSF2步進排序器)等。
平臺
平臺用於資料集的移動。使用它,您可以從兩個或多個數據源生成、對映和合並行。
- 案例
- 合併
- 查詢等。
文字資料處理
文字資料處理允許您處理大量文字資料。
SAP BODS - 向資料流新增轉換
本章將介紹如何向資料流新增轉換。
步驟 1 - 轉到物件庫 → 轉換選項卡。

步驟 2 - 選擇要新增到資料流的轉換。如果您新增一個具有選擇配置選項的轉換,則會開啟一個提示。
步驟 3 - 繪製資料流連線以將源連線到轉換。
步驟 4 - 雙擊轉換名稱以開啟轉換編輯器。

定義完成後,單擊確定關閉編輯器。
SAP BODS - 查詢變換
這是資料服務中最常用的轉換,您可以執行以下功能:
- 從源中過濾資料
- 連線來自多個源的資料
- 對資料執行函式和轉換
- 從輸入到輸出模式的列對映
- 分配主鍵
- 新增新的列、模式和函式到輸出模式
由於查詢轉換是最常用的轉換,因此在工具調色盤中為此查詢提供了快捷方式。
要新增查詢轉換,請按照以下步驟操作:
步驟 1 - 單擊查詢轉換工具調色盤。單擊資料流工作區中的任意位置。將其連線到輸入和輸出。

雙擊查詢轉換圖示時,它會開啟一個用於執行查詢操作的查詢編輯器。
查詢轉換中存在以下區域:
- 輸入模式
- 輸出模式
- 引數
輸入和輸出模式包含列、巢狀模式和函式。模式輸入和模式輸出顯示轉換中當前選擇的模式。

要更改輸出模式,請在列表中選擇模式,右鍵單擊並選擇“設為當前”。

資料質量轉換
資料質量轉換不能直接連線到包含巢狀表的上一級轉換。要連線這些轉換,您應該在巢狀表和資料質量轉換之間的轉換中新增查詢轉換或 XML 管道轉換。
如何使用資料質量轉換?
步驟 1 - 轉到物件庫 → 轉換選項卡

步驟 2 - 展開資料質量轉換並新增要新增到資料流的轉換或轉換配置。

步驟 3 - 繪製資料流連線。雙擊轉換的名稱,它將開啟轉換編輯器。在輸入模式中,選擇要對映的輸入欄位。
注意 - 要使用關聯轉換,您可以向輸入選項卡新增使用者定義欄位。
文字資料處理轉換
文字資料處理轉換允許您從大量文字中提取特定資訊。您可以搜尋特定於組織的事實和實體,例如客戶、產品和財務事實。
此轉換還會檢查實體之間的關係並允許提取。使用文字資料處理提取的資料可用於商業智慧、報告、查詢和分析。
實體提取轉換
在資料服務中,文字資料處理藉助實體提取完成,後者從非結構化資料中提取實體和事實。
這包括分析和處理大量文字資料,搜尋實體,將它們分配給適當的型別並在標準格式中呈現元資料。
實體提取轉換可以從任何文字、HTML、XML 或某些二進位制格式(例如 PDF)內容中提取資訊並生成結構化輸出。您可以根據工作流以多種方式使用輸出。您可以將其用作另一個轉換的輸入或寫入多個輸出源,例如資料庫表或平面檔案。輸出以 UTF-16 編碼生成。
實體提取轉換可用於以下場景:
從大量文字中查詢特定資訊。
使用現有資訊從非結構化文字中查詢結構化資訊以建立新的連線。
產品質量報告和分析。
TDP 和資料清洗之間的區別
文字資料處理用於從非結構化文字資料中查詢相關資訊。但是,資料清洗用於標準化和清洗結構化資料。
引數 | 文字資料處理 | 資料清洗 |
---|---|---|
輸入型別 | 非結構化資料 | 結構化資料 |
輸入大小 | 大於 5KB | 小於 5KB |
輸入範圍 | 具有許多變體的廣泛領域 | 有限的變體 |
潛在用途 | 從非結構化資料中獲取潛在的有意義資訊 | 儲存到儲存庫中的資料質量 |
輸出 | 建立實體、型別等形式的註釋。輸入不變 | 建立標準化欄位,輸入已更改 |
SAP BODS - 資料服務概述
資料服務管理包括建立即時和批處理作業、排程作業、嵌入式資料流、變數和引數、恢復機制、資料分析、效能調整等。
即時作業
您可以在資料服務設計器中建立即時作業來處理即時訊息。與批處理作業一樣,即時作業會提取資料、轉換資料並載入資料。
每個即時作業可以從單個訊息中提取資料。您還可以從其他來源(如表或檔案)提取資料。
與批處理作業不同,即時作業不是藉助觸發器執行的。它們由管理員作為即時服務執行。即時服務等待來自訪問伺服器的訊息。訪問伺服器接收此訊息並將其傳遞給配置為處理訊息型別的即時服務。即時服務執行訊息並返回結果,並繼續處理訊息,直到它們收到停止執行的指令。
即時作業與批處理作業
分支和控制邏輯之類的轉換在即時作業中更常用,而設計器中的批處理作業則不然。
與批處理作業不同,即時作業不是響應排程或內部觸發器執行的。
建立即時作業
可以使用相同物件(如資料流、工作流、迴圈、條件語句、指令碼等)建立即時作業。
您可以使用以下資料模型建立即時作業:
- 單資料流模型
- 多資料流模型
單資料流模型
您可以在其即時處理迴圈中建立一個具有單個數據流的即時作業,它包括一個單一的訊息源和一個單一的訊息目標。
使用單資料模型建立即時作業:
要使用單資料模型建立即時作業,請按照以下步驟操作。
步驟 1 - 轉到資料服務設計器 → 專案新建 → 專案 → 輸入專案名稱

步驟 2 - 右鍵單擊專案區域中的空白處 → 新建即時作業。

工作區顯示即時作業的兩個元件:
- RT_Process_begins(即時程序開始)
- Step_ends(步驟結束)
它顯示即時作業的開始和結束。

步驟 3 - 要建立具有單個數據流的即時作業,請從右側窗格的工具調色盤中選擇資料流並將其拖動到工作區。
單擊迴圈內部,您可以在即時處理迴圈中使用一個訊息源和一個訊息目標。將開始標記和結束標記連線到資料流。

步驟 4 - 根據需要新增配置物件到資料流並儲存作業。
多資料流模型
這允許您在其即時處理迴圈中建立具有多個數據流的即時作業。您還需要確保在每個資料模型中的資料完全處理完畢後再移動到下一個訊息。
測試即時作業
您可以透過從檔案中傳遞示例訊息作為源訊息來測試即時作業。您可以檢查資料服務是否生成了預期的目標訊息。
為了確保您的作業為您提供預期的結果,您可以在檢視資料模式下執行作業。使用此模式,您可以捕獲輸出資料以確保您的即時作業執行正常。
嵌入式資料流
嵌入式資料流稱為資料流,這些資料流是在設計中從另一個數據流呼叫的。嵌入式資料流可以包含多個源和目標,但只有一個輸入或輸出將資料傳遞給主資料流。
可以使用以下型別的嵌入式資料流:
單輸入 - 嵌入式資料流新增到資料流的末尾。
單輸出 - 嵌入式資料流新增到資料流的開頭。
無輸入或輸出 - 複製現有資料流。
嵌入式資料流可用於以下目的:
簡化資料流顯示。
如果您想儲存流程邏輯並在其他資料流中重用它。
對於除錯,您可以將資料流的部分作為嵌入式資料流建立並單獨執行它們。

SAP BODS - 建立嵌入式資料流
您可以選擇現有資料流中的物件。嵌入式資料流的建立方法有兩種。
方法一
右鍵單擊該物件,然後選擇將其設為嵌入式資料流。

方法二
將完整且有效的數 據流從物件庫拖動到工作區中開啟的資料流中。接下來,開啟已建立的資料流。選擇要用作輸入和輸出埠的物件,然後單擊該物件的**建立埠**。

資料服務將該物件新增為嵌入式資料流的連線點。
變數和引數
您可以將區域性變數和全域性變數與資料流和工作流一起使用,這為作業設計提供了更大的靈活性。
主要功能包括:
變數的資料型別可以是數字、整數、小數、日期或文字字串(如字元)。
變數可以在資料流和工作流中用作**Where**子句中的函式。
資料服務中的區域性變數僅限於建立它們的物件。
全域性變數僅限於建立它們的作業。使用全域性變數,您可以更改執行時預設全域性變數的值。
在工作流和資料流中使用的表示式稱為**引數**。
工作流和資料流中的所有變數和引數都顯示在變數和引數視窗中。
要檢視變數和引數,請按照以下步驟操作:
轉到“工具”→“變數”。

將顯示一個新的**變數和引數**視窗。它有兩個選項卡:定義和呼叫。

**定義**選項卡允許您建立和檢視變數和引數。您可以在工作流和資料流級別使用區域性變數和引數。全域性變數可以在作業級別使用。
作業 |
區域性變數 全域性變數 |
作業中的指令碼或條件 作業中的任何物件 |
工作流 |
區域性變數 引數 |
此工作流或透過引數傳遞給其他工作流或資料流。 父物件傳遞區域性變數。工作流還可以將變數或引數返回給父物件。 |
資料流 |
引數 |
資料流中的WHERE子句、列對映或函式。資料流無法返回輸出值。 |
在“呼叫”選項卡中,您可以看到為父物件定義中所有物件定義的引數名稱。
定義區域性變數
要定義區域性變數,請開啟即時作業。
**步驟1** - 轉到“工具”→“變數”。將開啟一個新的**變數和引數**視窗。
**步驟2** - 轉到“變數”→右鍵單擊→“插入”。

這將建立一個新的引數**$NewVariable0**。
**步驟3** - 輸入新變數的名稱。從列表中選擇資料型別。

定義完成後,關閉視窗。您可以透過類似的方式定義資料流和工作流的引數。

除錯 & 恢復機制
如果您的作業未成功執行,則應修復錯誤並重新執行作業。對於失敗的作業,可能某些表已被載入、更改或部分載入。您需要重新執行作業才能獲取所有資料並刪除任何重複或丟失的資料。
可以使用兩種恢復技術:
**自動恢復** - 這允許您在恢復模式下執行失敗的作業。
**手動恢復** - 這允許您重新執行作業,而無需考慮上次部分重新執行。
要在 Designer 中啟用恢復選項執行作業
**步驟1** - 右鍵單擊作業名稱→“執行”。

**步驟2** - 儲存所有更改並執行→“是”。
**步驟3** - 轉到“執行”選項卡→啟用“恢復”複選框。如果未選中此框,則資料服務將不會恢復失敗的作業。

要在 Designer 中以恢復模式執行作業
**步驟1** - 右鍵單擊並如上執行作業。儲存更改。
**步驟2** - 轉到“執行選項”。您必須確保選中**從上次失敗的執行中恢復**框。
**注意** - 如果作業尚未執行,則此選項將不可用。這稱為失敗作業的自動恢復。

資料評估 & 資料分析
Data Services Designer 提供資料分析功能,以確保和提高源資料的質量和結構。
資料分析器允許您:
查詢源資料中的異常、驗證和糾正措施以及源資料的質量。
定義源資料的結構和關係,以更好地執行作業、工作流和資料流。
查詢源系統和目標系統的內容,以確定您的作業是否返回預期結果。
資料分析器提供以下分析伺服器執行資訊:
列分析
**基本分析** - 包括最小值、最大值、平均值等資訊。
**詳細分析** - 包括不同計數、不同百分比、中位數等資訊。
關係分析
您定義關係的兩列之間的資料異常。
資料分析功能可用於以下資料來源的資料:
- SQL Server
- Oracle
- DB2
- Attunity 聯結器
- Sybase IQ
- Teradata
連線到分析伺服器
要連線到分析伺服器:
**步驟1** - 轉到“工具”→“分析伺服器登入”。

**步驟2** - 輸入詳細資訊,例如系統、使用者名稱、密碼和身份驗證。
**步驟3** - 單擊**登入**按鈕。
連線後,將顯示分析器儲存庫列表。選擇**儲存庫**並單擊**連線**。
SAP BODS - 最佳化技巧
ETL 作業的效能取決於您使用 Data Services 軟體的系統、移動次數等。
還有其他一些因素會影響 ETL 任務的效能。它們是:
**源資料庫** - 源資料庫應設定為快速執行**Select**語句。這可以透過增加資料庫 I/O 大小、增加共享緩衝區大小以快取更多資料以及不允許對小型表進行並行處理等來實現。
**源作業系統** - 源作業系統應配置為快速從磁碟讀取資料。將預讀協議設定為 64KB。
**目標資料庫** - 目標資料庫必須配置為快速執行**INSERT**和**UPDATE**。這可以透過以下方式實現:
- 停用存檔日誌記錄。
- 停用所有表的重做日誌記錄。
- 最大化共享緩衝區的大小。
**目標作業系統** - 必須配置目標作業系統才能快速將資料寫入磁碟。您可以啟用非同步 I/O 以使輸入/輸出操作儘可能快。
**網路** - 網路頻寬應足以將資料從源系統傳輸到目標系統。
**BODS 儲存庫資料庫** - 為了提高 BODS 作業的效能,可以執行以下操作:
**監控取樣率** - 如果您在 ETL 作業中處理大量資料集,請將取樣率監控到更高的值,以減少對日誌檔案的 I/O 呼叫次數,從而提高效能。
如果在作業伺服器上配置了病毒掃描,您還可以將 Data Services 日誌從病毒掃描中排除,因為它可能會導致效能下降。
**作業伺服器作業系統** - 在 Data Services 中,作業中的一個數據流會啟動一個**'al_engine'**程序,該程序會啟動四個執行緒。為了獲得最佳效能,請考慮一個一次在每個 CPU 上執行一個**'al_engine'**程序的設計。作業伺服器作業系統應進行調整,以便所有執行緒都分佈到所有可用的 CPU 上。
SAP BODS - 集中式儲存庫與本地儲存庫
SAP BO Data Services 支援多使用者開發,每個使用者可以在其自己的本地儲存庫中處理應用程式。每個團隊都使用集中式儲存庫來儲存應用程式的主副本以及應用程式中所有物件的版本。
主要功能包括:
在 SAP Data Services 中,您可以建立一個集中式儲存庫來儲存應用程式的團隊副本。它包含本地儲存庫中也提供的所有資訊。但是,它只是為物件資訊提供了一個儲存位置。要進行任何更改,您需要在本地儲存庫中進行操作。
您可以將物件從集中式儲存庫複製到本地儲存庫。但是,如果必須進行任何更改,則需要在集中式儲存庫中籤出該物件。因此,其他使用者無法在集中式儲存庫中籤出該物件,因此他們無法對同一物件進行更改。
對物件進行更改後,需要簽入物件。這允許 Data Services 將新的修改後的物件儲存在集中式儲存庫中。
Data Services 允許具有本地儲存庫的多個使用者同時連線到集中式儲存庫,但只有一個使用者可以簽出並更改特定物件。
集中式儲存庫還維護每個物件的版本歷史記錄。如果更改未按要求進行,它允許您恢復到物件的先前版本。
多個使用者
SAP BO Data Services 允許多個使用者同時處理同一應用程式。在多使用者環境中應考慮以下術語:
序號 | 多使用者和說明 |
---|---|
1 | 最高級別物件 最高級別物件是不依賴於物件層次結構中任何物件的任何物件。例如,如果作業 1 包含工作流 1 和資料流 1,則作業 1 是最高級別物件。 |
2 | 物件依賴項 物件依賴項是在層次結構中最高級別物件下方的關聯物件。例如,如果作業 1 包含包含資料流 1 的工作流 1,則工作流 1 和資料流 1 都是作業 1 的依賴項。此外,資料流 1 是工作流 1 的依賴項。 |
3 | 物件版本 物件版本是物件的例項。每次將物件新增到集中式儲存庫或簽入集中式儲存庫時,軟體都會建立該物件的新版本。物件的最新版本是建立的最後一個或最新的版本。 |
要更新多使用者環境中的本地儲存庫,您可以從集中式儲存庫獲取每個物件的最新副本。要編輯物件,您可以使用簽出和簽入選項。
SAP BODS - 集中式儲存庫安全性
可以對集中式儲存庫應用各種安全引數以使其安全。
各種安全引數包括:
**身份驗證** - 這允許只有經過身份驗證的使用者才能登入到集中式儲存庫。
**授權** - 這允許使用者為每個物件分配不同級別的許可權。
**稽核** - 用於維護對物件進行的所有更改的歷史記錄。您可以檢查所有以前的版本並恢復到較舊的版本。
建立非安全集中式儲存庫
在多使用者開發環境中,建議始終使用集中式儲存庫方法。
要建立非安全集中式儲存庫,請按照以下步驟操作:
**步驟1** - 使用資料庫管理系統建立一個數據庫,該資料庫將用作集中式儲存庫。
**步驟2** - 轉到儲存庫管理器。

**步驟3** - 選擇“集中式”作為儲存庫型別。輸入資料庫詳細資訊,例如使用者名稱和密碼,然後單擊**建立**。

**步驟4** - 要定義與集中式儲存庫的連線,“工具”→“集中式儲存庫”。

**步驟5** - 選擇集中式儲存庫連線中的儲存庫,然後單擊**新增**圖示。

**步驟6** - 輸入集中式儲存庫的密碼,然後單擊**啟用**按鈕。
建立安全集中式儲存庫
要建立安全集中式儲存庫,請轉到儲存庫管理器。選擇“集中式”作為儲存庫型別。單擊**啟用安全性**複選框。

建立多使用者環境
為了在多使用者環境中成功開發,建議實現一些流程,例如簽入和簽出。
您可以在多使用者環境中使用以下流程:
- 過濾
- 簽出物件
- 撤銷簽出
- 簽入物件
- 標記物件
當您向中央資源庫新增任何物件、簽入、簽出和標記物件時,過濾功能適用。
遷移多使用者作業
在 SAP Data Services 中,作業遷移可以在不同的級別應用,即應用程式級別、資源庫級別、升級級別。
您不能直接將一箇中央資源庫的內容複製到另一箇中央資源庫;您需要使用本地資源庫。
第一步是從中央資源庫獲取所有物件的最新版本到本地資源庫。啟用您要複製內容的中央資源庫。將您要從本地資源庫複製到中央資源庫的所有物件新增到其中。
中央資源庫遷移
如果您更新 SAP Data Services 的版本,則也需要更新資源庫的版本。
遷移中央資源庫以升級版本時,應考慮以下幾點:
備份所有表和物件的中央資源庫。
為了維護資料服務中物件的版本,請為每個版本維護一箇中央資源庫。使用新版本的資料服務軟體建立一個新的中央歷史記錄,並將所有物件複製到此資源庫。
如果您安裝了新版本的資料服務,始終建議您將中央資源庫升級到新版本的物件。
將您的本地資源庫升級到相同的版本,因為不同版本的中央資源庫和本地資源庫可能無法同時工作。
在遷移中央資源庫之前,請簽入所有物件。由於您不會同時升級中央資源庫和本地資源庫,因此需要簽入所有物件。一旦您的中央資源庫升級到較新版本,您將無法簽入來自本地資源庫的物件,該本地資源庫具有較舊版本的資料服務。