データ活用基盤が支えるDXの実践：Modern Data Stackが導く企業の未来
本コラムはAPI活用とも関連が深いデータ活用のナレッジについて、TISのビジネスパートナーであり、データ活用の先駆者でもある株式会社アシスト様を取材したものです。
クラウドネイティブなサービス群によって構成され、次世代のデータ活用基盤の方向性を示すModern Data Stack（MDS）について分かりやすく紹介いただいており、必見です！（TIS担当者）
データ活用基盤とは：求められる社会的背景
我々が生きているこの時代は「変化の激しい時代」と形容されます。
テクノロジーの進化に伴い、市場や顧客ニーズの変化が企業間の競争を激化させ、さらにはコロナ禍によるニューノーマルの浸透を経て、SDGsやESGなどの社会的責任が拡大しています。
これらの外部環境の変化に対応しながら持続的に成長するためには、データとデジタル技術を活用して、顧客や社会のニーズを基に、製品やサービス・ビジネスモデルを変革するDX推進が求められています。
DXを体現している企業、すなわち「デジタルエンタープライズ」における意思決定にはデータが極めて重要であり、データ活用基盤の構築が鍵を握っています。
データ活用基盤構築における課題 ～クラウド前夜～
企業のDX推進の鍵となる「データ活用基盤」は、そのあるべき姿が長らく議論されており、現在はデータウェアハウスを中心としたシステムアーキテクチャが定着しています。しかし、時間の経過に従って以下の3つの課題が明らかになってきました。
①柔軟性の欠如
データ活用基盤の構築に際して、一般的な業務システムと同様のウォーターフォール型開発を採用した結果、新たな要件・仕様変更に対応しづらい基盤となっています。また、近年はデータ量の増加が顕著であり、導入当初の要件に合わせたシステム構成が数年後には実用に耐えられなくなった、ということはしばしば耳にする話です。
②コストの肥大化
サーバーライセンスの場合、データ量やユーザー数に基づき費用を事前に算出しますが、ある程度の拡張を見込んで大きめの基盤にすることが一般的です。しかし、柔軟性が欠如していることで当初の想定よりも活用されず、結果として投資額に見合った効果が得られないケースが散見されます。
③運用負荷
特に日本企業では「IT関連コストの8割を既存システムの運用維持に投じている」と言われるほど、ITシステム全般の運用負荷が課題とされています。さらに、ユーザー部門からのデータ抽出やデータ提供依頼への対応に追われることで、いわゆる攻めのDX推進にリソースを割くことができない状態に陥っています。
これらの課題を一挙に解決するための打開策として注目されている考え方が「Modern Data Stack」です。
「Modern Data Stack」の登場とその解釈
Modern Data Stack（MDS）とはクラウドネイティブなサービス群によって構成される、次世代のデータ活用基盤の方向性を示したコンセプトです。従来のオンプレミス中心のシステムからの脱却、すなわち単純なクラウドリフト and/or シフトとは一線を画し、新規にフルマネージドサービスを導入することでデータ活用基盤を作り上げるという点に特徴があります。
MDSはクラウドサービスの特性を最大限に活かし、以下のようなメリットがあるとされています。
- フルマネージドサービスによって運用負荷を最小化
- スケールアップ/ダウンに対する柔軟性
- 従量課金モデルによるコストの最適化・柔軟性の向上
- データ活用までのリードタイムを大幅に短縮
このようにメリットを列挙していくと非常に魅力的に聞こえますし、そしてそれが過大評価というわけではありませんが、あくまで「コンセプト」に過ぎないということを意識すべきです。
なぜなら、実際に自社のデータ活用基盤としてMDSを具現化させるためには、数々の検討事項をクリアする必要があるからです。
次世代データ活用基盤の論点
MDSの実現においては、レガシーなデータ活用基盤とは異なる様々な検討事項が存在します。本稿では特に主要なものとして3つの論点について解説します。
①クラウドデータウェアハウスの選定
クラウド時代が到来する以前、データウェアハウスの選定基準としては「コスト・処理性能・拡張性」がポイントとされていました。
大量データの高速処理が求められるデータウェアハウスにおいてはいずれも絶対不可欠な要素ではありますが、クラウドデータウェアハウスを前提とすると事情は少々異なります。
クラウドサービスである以上、スケールアップ/ダウンが極めて容易なことから「拡張性」は重要な選定基準にはなり得ず、事実上無限のリソースを有するため「処理性能」についても（少なくとも机上での検討においては）比較が困難になっています。
結果として「コスト」の重要度が相対的に上がることとなりました。
これに関連する要素として、先述の通りMDSにおいては従量課金がトレンドとされています。
しかし、「何に対する従量なのか」は各サービスによって様々であるため、その点について留意する必要があります。
一例として、「データウェアハウスの稼働時間に対して課金」するサービスであれば、事前に費用を算出することは比較的容易と言えます。
一方で、クラウドデータウェアハウス市場における代表的な製品の一つ、Snowflakeには一定時間クエリが飛んでこない場合、データウェアハウスを停止するという機能を備えており、停止時間は課金されないためコストをより削減することが可能です。
しかし、それ故に事前に正確な費用を算出することは困難と言えます。
つまり、クラウド全盛期の今日においてもコストは重要な観点ではあるものの、単純に単価の高低を比較することにさほど意味はなく、「自社の利用イメージに合致する課金体系かどうか」が極めて重要です。
②クラウドデータウェアハウスへのデータロード方式
従来のETL方式から、クラウドのリソースを活かしたELT方式に注目が集まっています。これまでオンプレミス型のデータウェアハウスはリソースが有限であるため、事前にデータを加工・集計しておくことで、データウェアハウスはBIツール等からのクエリを処理することに集中させる方が合理的だという考え方が根底にありました。しかし、無限に等しいリソースを有するクラウドデータウェアハウスの登場によって、データ加工もクラウドデータウェアハウスが担う、ELT方式が注目されています。
ETL方式
- データを抽出し（Extract）、最適な形にデータ加工した上で（Transform）、データウェアハウスにロードする（Load）
- 複雑なデータ加工に加えて、多様なデータソースとの連携が可能なETLツールが用いられる
- IT部門が担う責任範囲が広く、ユーザーからの様々な要望に応える必要がある
ELT方式
- データを抽出し（Extract）、データウェアハウスにデータロードをしてから（Load）、潤沢なリソースを活かしてデータ加工をする（Transform）
- ウォーターフォール開発にならざるを得ないETL方式と異なり、アジャイルなデータ活用基盤を実現できる
これらはアーキテクチャに関わる論点であると同時に、「いつ」「誰が」データを加工するのか、言い換えればデータ活用基盤の運用体制にも直結しています。
よってデータロード方式の検討に際しては、既存ツールや人材・スキル、DX推進部門等の体制を考慮することが不可欠だと言えます。
③データ活用基盤のネットワーク設計
一昔前、クラウドにはセキュリティの懸念がありましたが、現在では「クラウドだからこそ安全」という意見も増えています。
ただし、クラウド内部でのセキュリティは確保されていても、クラウドへの経路、つまりネットワーク設計はユーザー自身が責任を負います。
オンプレミス環境のデータベースからAWS上のETLツールを使ってクラウドデータウェアハウスにデータを移行する際、インターネットを使うのが簡単ですが、セキュリティ面では最善とは言えません。
各クラウドサービスの専用線やPrivate Linkを利用することで、インターネットを介さずに安全なデータ基盤を構築可能です。
しかし、セキュリティ、コスト、アジリティはトレードオフの関係にあり、専用線を選ぶと工数とコストが増える可能性があります。
場合によってはセキュリティを少し緩め、柔軟性のあるネットワーク構成を選ぶことも考慮が必要となり、社内での議論が求められます。
おわりに
このように、Modern Data Stack の実現には、多くのメリットの裏に様々な課題や検討事項があります。
「自社だけで検討するのが難しい」と考える方は、ぜひお気軽にご相談ください。
アシストはModern Data Stack を充分に解釈しながら、そのコンセプトに縛られることなく、すべてのお客様が満足できる「次世代データ活用基盤」をご提案します。
またTISでは、企業がデータを社内外へ広く活用していけるように誰にでも使いやすい形に標準化する「オープンAPI」の支援を推進しており、TIS×アシストによるNextデータ活用に向けた包括的なご支援を行っております。
ぜひお気軽にご相談ください。