SSISからMicrosoft Fabricへ:dtsxパッケージの移行ガイド

目次
SQL Server Integration Services(SSIS)は、多くの企業の基幹系データベースからデータウェアハウスへデータを運ぶETL処理の中核を担ってきました。毎夜のバッチで売上や在庫データを集計・ロードし、翌朝には最新の分析レポートが閲覧できる状態にする。この日常のデータ連携を支えているのが、数十〜数百本におよぶdtsxパッケージです。
日本企業の現場では、SSISパッケージをJP1やA-AUTOなどの既存ジョブ管理ツールから呼び出している構成も多く見られます。移行プロジェクトでは、単なるパッケージ単位の変換にとどまらず、運用全体の見直しとクラウド最適化が不可欠です。本ガイドではMicrosoft Fabric(Data Factory)への7つのステップを紹介します。Pulse Convert(開発:Office Solution AI Labs)を活用することで、移行にかかる手作業の大幅な削減が可能です。
想定シナリオ
本シナリオは、エンタープライズ企業における典型的な夜間ETLバッチ基盤のモダナイゼーションを想定しています:
- 移行対象 : 約180のSSISパッケージ(dtsx)
- 資産の種類 : プロジェクト配置、制御フロー、データフロー
- 注意が必要な要素 : Script Task(C#/VB.NET)、LookupとSCDタスク、SSISDBカタログ実行パラメーター
- 複雑度(想定) : 高(エンタープライズ)
- 想定期間 : 8〜14週間
- 移行先 : Microsoft Fabric(Data Factory):パイプライン、Dataflows Gen2、ノートブック
概念対応表:SSISの用語はMicrosoft Fabricで何になるか
SSISからFabric Data Factoryへの移行における主要機能の対応関係です:
| SSIS | Microsoft Fabric | 実務上のポイント |
|---|---|---|
| パッケージ(dtsx) | パイプライン、Dataflows Gen2 | 1パッケージ=1パイプラインとは限らない |
| 制御フロー | パイプラインアクティビティ(ForEach、If条件等) | 優先順位制約を明示化 |
| データフロー | Dataflows Gen2、コピーアクティビティ、ノートブック | 変換の複雑さで使い分け |
| Script Task(C#/VB.NET) | ノートブック(PySpark/Python) | Pythonでの再実装が前提 |
| Lookup変換 | マージ結合、Sparkのjoin | キャッシュ方式の違いに留意 |
| スロー・チェンジング・ディメンション(SCD) | DeltaテーブルのMERGE | 履歴管理ロジックを再設計 |
| SSISDBカタログのパラメーター | パイプラインパラメーター・ワークスペース変数 | 環境ごとの設定値を一元管理 |
| SQL Serverエージェント | パイプラインのトリガー | 依存関係と実行スケジュールを明示 |
| 接続マネージャー | Fabric接続、オンプレミスゲートウェイ | 認証情報の管理方法をクラウド化 |
移行の7ステップ
パッケージの棚卸しと利用実態の確認
SSISDBの実行ログを分析し、直近半年間で実行されていないパッケージや、一時的な移行用パッケージを特定してアーカイブします。パッケージ間の実行順序と依存関係を可視化し、移行対象を厳選します。
移行方針の分類(再設計・移行・アーカイブ)
パッケージの複雑さに応じて分類します。単純なテーブル間コピーはパイプラインのコピーアクティビティへ、定型的なETL変換はDataflows Gen2へ、複雑なロジックやScript Taskを含むものはPySparkノートブックへと最適なコンポーネントを割り当てます。
接続とゲートウェイの準備
オンプレミスの基幹データベースを参照するため、オンプレミスデータゲートウェイを構成します。Fabricの接続管理機能を利用して認証情報を一元化し、セキュリティを強化します。
パイプラインとデータフローの変換
制御フローをFabricパイプラインのアクティビティに、データフローをDataflows Gen2またはノートブックに変換します。Pulse Convertを活用してこのマッピングと初期コード生成を一括処理します。
Script Taskと高度な変換(Lookup・SCD)の再実装
C#やVB.NETで書かれたScript TaskのロジックをPython/PySparkで再実装します。SCD(徐々に変化するディメンション)はDelta LakeのネイティブMERGE構文に置き換え、履歴保持の信頼性を担保します。
スケジュールとジョブ管理の移行
SQL Serverエージェントや外部ジョブ管理ツール(JP1等)との連携を再設計します。FabricパイプラインのREST API連携やネイティブトリガーを活用し、失敗時の自動通知とリカバリ手順を確立します。
並行稼働と切り替え
新旧バッチを一定期間並行稼働させ、出力先Deltaテーブルの件数、合計値、履歴レコードの整合性を照合します。夜間バッチの所要時間をベンチマークし、運用担当者への引き継ぎ完了後にSSIS実行を停止します。
5フェーズのロードマップ
確実なETLデータパイプライン刷新を実現する5フェーズの実行計画です:
- フェーズ1:ディスカバリーと棚卸し — パッケージの自動スキャン、依存関係マップを作成し、対象範囲と優先順位を明確化。
- フェーズ2:データ基盤の設計 — Lakehouseとセマンティック層の設計を行い、OneLake上の最適な構成を決定。
- フェーズ3:資産の自動変換 — 制御フロー・データフローをパイプラインとDataflows Gen2へ自動変換し、初版パイプラインを構築。
- フェーズ4:同等性検証とUAT — 移行元と移行先のデータ出力を照合・比較し、検証済みパイプラインを確立。
- フェーズ5:切り替えと定着化 — 本番展開と運用引き継ぎを完了させ、旧SSISの実行を安全に完全停止。
よくある課題と対処法
SSISからFabric Data Factoryへの移行において想定される技術的障壁とその克服方法です:
- Script Task(C#/VB.NET) : 汎用コードのため機械的な一括変換が難しく、ノートブック(PySpark/Python)でロジックを再実装します。
- LookupとSCD : 履歴管理ロジックの不具合はデータ不整合に直結するため、DeltaテーブルのMERGE文で再設計し、履歴行を重点検証します。
- SSISDBの実行パラメーター : 環境ごとの値が散在しているため、Fabricパイプラインのパラメーターとワークスペース変数に整理・一元化します。
- ジョブ管理ツールとの連携 : JP1等の既存運用ルールがある場合、外部API呼び出し方式とエラー通知フローを再設計します。
- 接続とゲートウェイ : クラウド移行に伴い認証管理が変わるため、接続を一元化しオンプレミスデータゲートウェイを適切に構成します。
- 属人化の解消 : 特定担当者に依存したパッケージ構造を脱却するため、変換時に自動で構造定義ドキュメントを生成・保持します。
Pulse Convertで移行を加速する
Pulse Convertは、SSISの制御フローとデータフローをFabric Data FactoryパイプラインとDataflows Gen2へ自動移行します。dtsxパッケージとプロジェクト配置が対象です。自動変換精度はパッケージの複雑さに応じて70〜90%と想定され、手作業を70〜80%削減することで、Script Taskの再実装やSCDの検証、新運用体制の設計に集中できます。
| 作業項目 | 手作業での進め方 | Pulse Convertを使う場合 |
|---|---|---|
| パッケージの棚卸し | ファイル検索とヒアリング | 自動スキャンと依存関係の可視化 |
| 制御フローの変換 | パイプラインを手作業で再作成 | アクティビティ構造の自動変換 |
| データフローの変換 | 変換ロジックを手動で再実装 | Dataflows Gen2への自動変換 |
| 出力の同等性確認 | 手作業の突き合わせ照合 | 移行元と移行先の構造化された自動比較 |
| Script TaskとSCD | すべて手作業で書き直し | チームが例外処理と重要検証に集中 |
切り替え前のチェックリスト
本番切り替え前に以下の全要件が満たされていることを確認します:
- ✓ テーブル件数・数値一致 : 出力先Deltaテーブルの件数・合計値が旧SSIS出力と完全に一致している。
- ✓ SCD履歴保持検証 : SCD Type 2等の履歴行更新・挿入が正しく反映されている。
- ✓ Script Task検証 : Python/PySparkで再実装したScript Taskの実行結果を網羅的に検証した。
- ✓ 障害復旧体制整備 : パイプライン失敗時の通知アラートおよび再実行手順が確立されている。
- ✓ ゲートウェイ構成確認 : ゲートウェイとクラウド接続の認証情報が一元管理されている。
- ✓ ジョブスケジューラ疎通 : 外部ジョブ管理ツール(JP1等)からのAPI呼び出しと実行監視を確認した。
よくある質問(FAQ)
自社のSSISパッケージ(dtsx)サンプルで試してみませんか
自社のSSISパッケージ群がMicrosoft Fabric上でどのように近代化されるか、サンプルパッケージを用いた無料POCで事前に検証いただけます。