データクレンジングとは

 重要なシステム資源であるマスタデータは時間の経過とともに陳腐化します。
 これには外的要因と内部要因があります。

  T 外的要因は、データの管理対象項目が法規・制度・方式などの外部変更に追従しきれないことから発生し、
     差異が拡大すると システム全体の存在すら問題になります。

     代表的な例としては、市町村合併による顧客マスタの郵便番号・住所変更の対応の遅れなどがあり、
     顧客管理そのものの信頼性を失うことになります。

  U 内部要因は、企業の業容の変化・事業内容の変化とともに、管理項目の内容・制度の必要性の変化に
     対応できないままに放置された場合、そのシステムは制度の低いアウトプットとなり、経営から見放される
     信頼性の無いシステムとなります。

     代表的な例としては、事業の統合・拡大などによる資材・購買業務の変化に対して、取引先・購買品の
     管理体系・項目などの改廃が同期していない場合は、折角の事業政策に対して経営効果が発揮できない
     結果となります。

 このような課題に対して、企業で管理されているデータを企業のニーズに合わせたレベルに再生(補正・正規化)する
 行為をデータクレンジングといいます。



 骨格(スキーマ)の見直し

 

 データクレンジングの準備フェーズで管理項目の定義を明確にする必要があります。
 この管理項目の定義集をスキーマといいます。

  @ 管理項目に必要な項目の選定
  A 項目ごとの表記形式の決定
       必須項目の決定(必須・自由)
       使用文字形式(大文字・小文字など)
       使用単位の決定(Kg・Kmなど)
       その他自動設定番号
  B 使用コードの定義
       自動設定番号
       既規定コード(UNSPSC・郵便番号・勘定コードなど)
  C グループ設定項目の定義
       グループ名称・グループコードの定義

 データの管理仕様の規定はもともと用意されていますが、時間の経過と共に実情にそぐわないものになっています。
 データの再生作業の前に再定義が必要となります。




 マスタデータの整理



 データクレンジングは、対象とするものはマスタデータ・トランザクションデータ・紙資料など種類は問いませんが、関連する
 マスタの整理が完了している必要があります。

 関連するマスタとは
  @ 資材・調達のデータクレンジング
       取引先マスタ(取引先コード)
       部門マスタ(事業所コード、部門コード)
  A 顧客データクレンジング
       顧客マスタ(顧客IDコード)
  B コストダウンのデータクレンジング
       取引先マスタ(取引先コード)
       勘定科目マスタ(勘定科目コード)
       部門マスタ(事業所コード・部門コード)

 データクレンジングの正規化の基準となるマスタがしっかりしていると、クレンジング後の運営管理も容易になります。




 コード体系について


 データの精度が落ちたり、陳腐化している要因には、過去に設定したコード体系の運用が崩れている場合があります。
 これは意味ありコードが事業の変化に追従できなくなった結果です。コードと管理項目(スキーマ)を見直す
 必要があります。

 スキーマの見直しでは
  @ 既コードは無意味コードとし、新たにデータが持っている特性を管理する項目として別に設定することが重要です。
     これによって事業の拡大や事業政策の変化に対応できるデータとなります。
  A 管理項目の特性設定・特性分析などにより、さらに経営が必要とする多角的なデータ分析が可能となります。
  B 特に特性項目はマスタのみで管理し、トランザクション処理では参照のみとするように位置付けを
     明確化することにより事業変化の対応が容易になります。




 紙資料の電子化


 データクレンジングは現行の電子化データのみではなく、紙資料の電子化作業を伴う場合が多くなります。
 事業やビジネスの効率化のシステムが高度化すればするほど、広範囲のデータを扱うことになります。
 ビジネスは継続的であり、新システムの完成以降のデータのみでは経営が成り立たないため、過去のデータも
 補完する必要が発生します。