3行でいうと

  • 開発の成果は、4つの指標(Four Key Metrics)で測れる
  • 速さと安定性は両立でき、トレードオフとは限らない
  • 技術の実践に加え、組織文化も成果と強く結びつく

向いている人

開発組織の改善に取り組むエンジニア、リーダー、マネージャーに向きます。

読む意味

組織の開発力を、印象ではなく指標で話すための共通言語が得られます。何から投資すべきかの優先順位を考える手がかりにもなります。

読むときの注意

調査は自己申告のアンケートが基になり、相関と因果の区別には留保が必要だという指摘があります。指標を個人評価に使うと、数字を追うこと自体が目的化する恐れがあります。

どんな本か

ソフトウェア開発の成果は勘や経験則ではなく、統計的に測り、実証できるという立場から、4年間の調査データ(State of DevOps Report)を分析した本です。統計学の博士号を持つニコール・フォースグレンに、『継続的デリバリー』のジェズ・ハンブル、『The Phoenix Project』のジーン・キムが加わって書きました。原著は2018年の刊行で、2万3000件以上のデータを、業種も規模も異なる幅広い組織から集めたとされます。

中心となるのは、ソフトウェア提供の成果を表す4つの指標です。デプロイ(本番環境への反映)の頻度、変更のリードタイム、平均修復時間、変更失敗率の四つで、これらが組織の収益性や生産性などの事業成果と相関することを示しました。結果は、成果の高い組織が速さと安定性を同時に高めており、「速さと安定性はトレードオフ」という通説に反するものでした。

その成果を予測する24の能力(ケイパビリティ)を、継続的デリバリー、アーキテクチャ、製品とプロセス、Lean管理とモニタリング、組織文化の5つに整理します。テストやデプロイの自動化、疎結合な設計に加え、情報共有と協調を促す「生成的」な組織文化の重要性も示します。後半は、この知見を組織に導入するための指針や、調査に使った統計手法の解説を含みます。

中身の柱

書評データベースの全文を読む

概要

「開発組織の生産性は勘や経験則ではなく統計的に測定・実証できる」という立場から、4年間・数万人規模の調査データ(State of DevOps Report)を統計分析し、ハイパフォーマンスなソフトウェア開発組織を特徴づける要因を科学的手法で明らかにした一冊。著者のニコール・フォースグレンは統計学の博士号を持つ研究者であり、共著者のジェズ・ハンブルは『継続的デリバリー』、ジーン・キムは『The Phoenix Project』『The DevOps Handbook』の著者として知られる。本書最大の功績は、ソフトウェアデリバリーのパフォーマンスを「デプロイ頻度」「変更のリードタイム」「平均修復時間(MTTR)」「変更失敗率」という4つの指標(Four Key Metrics、通称DORAメトリクス)で定量化し、これらの指標が組織の収益性・生産性・市場シェアといった事業成果と統計的に相関することを実証した点にある。原著はIT Revolution Pressより2018年に刊行され、日本語版は武舎広幸・武舎るみの翻訳によりインプレスから発行された。「速さ」と「安定性」はトレードオフではなく、優れたエンジニアリングプラクティスによって両立可能であるという主張が本書全体を貫く中心命題であり、これはDevOpsに関する長年の通説を統計的証拠によって覆すものであった。

本の構成

本書は大きく2部構成になっている。第1部(第1章〜第7章)では、ソフトウェアデリバリーのパフォーマンスを測定する4つの主要指標の導出過程と、それらを予測する24のケイパビリティ(能力群)を、継続的デリバリー、アーキテクチャ、製品・プロセス、Lean管理・モニタリング、組織文化の5つのカテゴリーに整理して解説する。各章はテストの自動化、デプロイの自動化、トランクベース開発、疎結合アーキテクチャ、変更承認プロセスの見直し、可視化されたワークフロー、心理的安全性、Westrumの組織文化モデルなど、それぞれのケイパビリティを個別の章として深掘りしている。第2部(第8章〜第11章)では、これらの発見を組織に導入するための実践的な指針として、変革のリーダーシップ、組織文化の測定(Westrum推奨の生成的文化モデル)、燃え尽き症候群とデプロイ負担の関係、アウトソーシングやセキュリティ統合(Rugged DevOps)の是非などを論じる。巻末には付録として、調査に用いた統計的手法(潜在変数モデリング、因子分析)の技術的な解説が付されており、単なる啓発書ではなく実証研究としての厳密さを裏付けている。

主要な内容

本書の中核である4つのキーメトリクスは、「デプロイ頻度(Deployment Frequency)」「変更のリードタイム(Lead Time for Changes)」「平均修復時間(Time to Restore Service)」「変更失敗率(Change Failure Rate)」であり、これらを基準にハイパフォーマー・ミドルパフォーマー・ローパフォーマーの3群に組織を分類する。調査結果は、ハイパフォーマー群がデプロイ頻度で他群を大きく上回りながら、同時に変更失敗率も低いという、従来「速さと安定性はトレードオフ」とされてきた通説に反する結果を示した。これを支える24のケイパビリティのうち、特に重要視されるのが継続的デリバリー(バージョン管理の徹底、デプロイの自動化、テストの自動化、トランクベース開発、シフトレフトなセキュリティ)とアーキテクチャ(疎結合で個々のチームが独立してデプロイ・テストできるシステム設計)である。また、組織文化についてはRon Westrumの「病理的(Pathological)」「官僚的(Bureaucratic)」「生成的(Generative)」という3分類を援用し、情報共有と協調が奨励される生成的文化がソフトウェアデリバリーパフォーマンスと強い相関を持つことを示す。さらに、変更承認プロセス(Change Approval Board)の存在がパフォーマンスに寄与せず、むしろピアレビューと自動化されたテストによる承認の方が効果的であるという、直感に反するが統計的に裏付けられた知見も提示される。

調査の統計的手法の規模

著者らが分析に用いたデータは、4年間の調査を通じて集められた2万3000件以上のデータポイントに及び、対象組織はスタートアップから大企業まで、営利・非営利組織、金融・製造・小売などの規制業種から純粋なテクノロジー企業まで、さらにレガシーシステムを運用する組織から最新のクラウドネイティブなシステムを運用する組織まで、極めて幅広い属性の組織を網羅している。巻末付録では、こうした自己申告アンケートデータから信頼性の高い知見を導き出すために用いられた潜在変数モデリングや因子分析といった統計的手法が技術的に解説されており、単なる印象論ではなく検証可能な統計的因果推論に基づく実証研究としての性格を担保している。

測定指標の悪用に対する後年の警鐘

本書刊行後、著者らが中心となって運営するDORA(DevOps Research and Assessment)チームは、2023年に発表した年次調査報告の中で、Four Key Metricsを個々のエンジニアやチームの人事評価・査定に直接用いることに対して明確な注意を促した。指標はあくまで組織的な学習と継続的な改善のための道具であり、ノルマ化して数値の改善それ自体を目的化してしまうと、かえって望ましくない行動(見せかけの高頻度デプロイなど)を誘発しかねないという、本書が元来強調していた注意点が、実際の運用現場での誤用を踏まえて改めて強調される形となった。

指標への批判的検証

本書が提示する「速さと安定性は両立する」という中心命題に対しては、Junade Aliが調査会社Survationと共同で実施した調査など、ソフトウェア開発者自身や利用者が実際に重視する価値は、デプロイ頻度のような速度指標だけでなく、システムの信頼性や機能の使い勝手など、より多面的な要素に及ぶことを示す研究も存在し、Four Key Metricsを組織評価の唯一の物差しとすることには慎重であるべきだという議論も専門家の間で交わされている。

具体例

本書ではGoogle、Amazon、Etsy、Target、HP LaserJet部門など、著者らが実際に調査・関与した企業の事例が随所で参照される。特にHPのLaserJetファームウェア開発チームの事例は象徴的で、当初は数週間かかっていたビルドプロセスをトランクベース開発と自動テストへの投資によって大幅に短縮し、新機能開発に充てられる時間の割合を劇的に増加させた変革過程が紹介されている。またEtsyの事例では、デプロイを高頻度化しつつ障害対応を「非難のないポストモーテム(Blameless Postmortem)」文化と組み合わせることで、心理的安全性を保ちながら継続的な学習サイクルを回す組織運営が描かれる。調査データそのものについても、業種(金融、製造、小売、テクノロジーなど)や組織規模、規制の有無を問わず、これらのケイパビリティとパフォーマンスの相関が一貫して観察されたことが統計的に示され、「DevOpsは特定業界だけの話ではない」という主張の根拠とされている。2万3000件超のデータポイントは、業種も組織規模も異なる幅広い企業から集められたものであり、2023年のDORA年次報告ではFour Key Metricsを個人評価に用いることへの警鐘も改めて示されている。

実践への応用

本書のFour Key Metricsは、Google CloudのDORA(DevOps Research and Assessment)チームによって継続的に調査・更新されており、Four Keysダッシュボードなど具体的な計測ツールとして多くの企業に導入されている。日本国内でもエンジニアリング組織の成熟度評価やSRE・プラットフォームエンジニアリング施策の効果測定の指標として広く採用されており、四半期ごとのメトリクスレビューやエンジニアリング生産性の可視化に活用されている。また、24のケイパビリティは組織変革のロードマップとしても機能し、「まず何に投資すべきか」の優先順位付けに利用できる。ただし、指標を目標(ノルマ)化してしまうと数値の改善だけを追う本末転倒な運用に陥るリスクがあるため、著者らは指標をあくまで組織的な学習と改善のための道具として扱うべきだと強調している。

位置づけ・評価

本書は2018年のShingo賞を受賞し、DevOps分野における実証研究のマイルストーンとして高く評価されている。それまで経験則や成功事例の紹介にとどまりがちだったDevOps言説に対し、統計的因果推論に基づく学術的な裏付けを与えた点で、ソフトウェアエンジニアリング組織論の議論水準を一段引き上げたと位置づけられる。その後、著者陣が主導するDORAの年次State of DevOps Reportは業界標準の調査として継続され、Four Key Metricsは2021年以降、信頼性(Reliability)を加えた指標体系へと拡張されるなど、本書の枠組みは現在進行形でアップデートされ続けている。一方で、調査手法が自己申告アンケートに基づく点や、相関関係と因果関係の区別に関する方法論的な議論も専門家の間で交わされており、統計モデルの解釈には一定の留保が必要だという指摘も存在する。それでもなお、エンジニアリング組織のパフォーマンスを議論する際の共通言語を提供した書籍として、DevOps・SRE分野における必読書の一つに数えられている。