تهجير المعطيات (تنظيف)

نزار الحافظ

فئات تهجير المعطيات

مراحل تهجير المعطيات

أدوات تهجير المعطيات

مثال على تهجير المعطيات

تهجير(ترحيل) المعطيات  :data migrationهي عملية نقل المعطيات بين تجهيزات التخزين، أو نظم الحاسوب، أوتحويلها من مصاغة format إلى أخرى (الشكل 1). وهي أحد الاعتبارات الرئيسة لتنجيز أي نظام أو ترقيته أو دمجه. وتُستعمل في أثناء تهجير المعطيات برامج أو أخطوطات scripts لإجراء مقابَلة المعطيات data mapping في عملية التهجير المؤتمت.

الشكل (1) إجرائية تهجير المعطيات.

يمكن أن يأتي تهجير المعطيات في أشكال مختلفة: تهجير التخزين، وتهجير قاعدة المعطيات، وتهجير التطبيق، وتهجير إجرائيات الأعمال. وهذه (السيناريوهات) هي أعمال روتينية في تقانة المعلومات. تهجِّر معظم المؤسسات المعطيات على أساس ربع سنوي، وثمة دوافع متنوعة لتهجيرها، منها:

•         تبديل المخدمات ومعدات التخزين أو ترقيتها.

•         إضافة موقع وب للمخدمات.

•         صيانة المخدمات.

•         نقل مراكز المعطيات.

•         أرشفة المعطيات.

قد يؤثر تهجير المعطيات سلباً في نشاطات مؤسسات الأعمال، إذ قد يسبب تطويل مدة التوقف، ومشاكل في التوافق والأداء. لكن المؤسسات تلجأ عادةً إلى استعمال استراتيجيات مختلفة للحد من تلك الآثار، منها: التخطيط الفعال والتقانة، والتنجيز implementation، والتحقق من الصحة validation.

إن التخطيط والتحقق من الصحة هما عاملان أساسيان لتحقيق إجرائية تهجير معطيات فعالة. ويتطلب التخطيط فهماً واضحاً لمتطلبات التصميم، مثل الجدولة الزمنية، ومتطلبات النسخ المطابق، والمتطلبات العتادية، وحجم المعطيات، وقيمة المعطيات. وقبل تهجير المعطيات تقوم المؤسسة عادةً بتعميم المنهجيات، وإرساء برمجيات التهجير، وإعداد العتاد اللازم.

يقلِّل تهجيرُ المعطيات المؤتمت من التدخل البشري ومدة توقف التطبيق، ويزيد سرعة التهجير. وتسهِّل وثائق التهجير عملية التتبع، وتقلل من تكاليف التهجير في المستقبل ومخاطره.

ما إن تنتهي عملية تهجير المعطيات حتى تقوم المؤسسة بالتحقق من صحة الإحصاءات لتحديد مدة دقة المعطيات بعد عملية التهجير. أخيراً تسهِّل عملية تهجير المعطيات تحسين جودتها بإزالة المعطيات غير الضرورية أو المتكرر منها فتنظفها.

فئات تهجير المعطيات

تخزَّن المعطيات على وسائط مختلفة، أو في ملفات أو قواعد بيانات، ويجري إنشاؤها واستهلاكها في التطبيقات البرمجية التي تقوم في المقابل بدعم إجرائيات الأعمال. قد تكون الحاجة إلى نقل المعطيات وتحويلها مدفوعة بمتطلبات متعددة لمؤسسات الأعمال، ويعتمد النهج المتبع للتهجير على ماهية تلك المتطلبات.

ثمة أربع فئات رئيسية للتهجير مقترحة على هذا الأساس، هي كما يأتي:

1. تهجير التخزين: قد تلجأ مؤسسات الأعمال إلى ترقية وسائط التخزين أو تحديثها للاستفادة من تقانات تخزين أكثر كفاءة، ويمكن أن يؤدي ذلك إلى الحاجة إلى نقل كتل مادية للمعطيات من شريط أو قرص معطى إلى شريط أو قرص آخر، وغالباً باستعمال تقانات الافتراض virtualization.

2. تهجير قاعدة المعطيات: وبالمثلقد يكون من الضروري الانتقال من بائع قاعدة معطيات إلى بائع قاعدة معطيات آخر، أو ترقية إصدار برمجيات قواعد المعطيات المستخدمة. إن الحالة الثانية هي على الأرجح أقلّ عرضة للحاجة إلى تهجير المعطيات تهجيراً مادياً، لكن هذا يمكن أن يحدث في حالة الترقيات الرئيسة، وفي هذه الحالات قد تكون هناك حاجة إلى إجرائية تحويل مادي؛ لأن مصاغة المعطيات القاعدية يمكن أن تكون قد تغيرت تغيراً عميقاً.

3. تهجير التطبيقات: إن تغييربائع التطبيق (على سبيل المثال: استخدام منصة Customer Relationship Management (CRM) جديدة لإدارة علاقات الزبائن، أو منصة Enterprise Resource Planning (ERP) جديدة لتخطيط موارد المؤسسات)، أو تغيير مزود السحابة  cloud provider (أي نقل: تطبيق أعمال من مزود سحابة إلى مزود سحابة آخر) سوف يسببب الضرورة تحويلات رئيسية؛ لأن كل تطبيق أو مجموعة تطبيقات تقريباً يتعامل مع نموذج معطيات خاص به.

4. تهجير إجرائيات الأعمال: تقوم إجرائيات الأعمال على مجموعة إجراءات يقوم بها الأشخاص ونظم التطبيقات، وذلك غالباً بتنسيق من أدوات إدارة إجرائيات الأعمال. وعندما تتغير إجرائيات الأعمال هذه فإن ذلك قد يتطلب نقل المعطيات من مخزن أو قاعدة معطيات أو تطبيق معطى إلى مخزن أو قاعدة معطيات أو تطبيق آخر، بغية تجسيد التغيرات التي طرأت على المؤسسة ومعلومات الزبائن والمنتجات والعمليات.

إضافة إلى ذلك من المفيد التفريق بين "تهجير المعطيات" وأنشطة "مكاملة المعطيات". يُعَدّ تهجير المعطيات مشروعاً؛ ذلك لأنه يقتضي نقل معطيات أو نسخها من بيئة إلى أخرى، وإزالتها في المصدر. وفي أثناء عملية التهجير التي قد تستغرق أشهراً أوسنواتيمكن أن تتدفق المعطيات في اتجاهات متعددة، وأن تكون هنا كتهجيرات متعددة تجري في وقت واحد. من جهة ثانية، إن مكاملة المعطيات هي جزء دائم من بنيان تقانة المعلومات، وهي مسؤولة عن طريقة تدفق المعطيات بين مختلف التطبيقات ومخازن المعطيات. فهي بذلك تُعَد "إجرائية" process بدلاً من نشاط مشروع.

مراحل تهجير المعطيات

يتألف تهجير المعطيات غالباً من عدة نشاطات هي: تحليل المعطيات وتوصيفها وتنظيفها ومقابلتها وتحويلها. وبتفصيل أدق يشمل تهجيرُ المعطيات ثلاثَ خطوات رئيسة: ما قبل التهجير، والتهجير، وما بعد التهجير. يمكن أن تتضمن مرحلة ما قبل التهجير عملياتِ التحليل والمقابلة والاستنظام/التحويل والاختبار والنسخ الاحتياطي. أما مرحلة ما بعد التهجير فيمكن أن تتضمن عمليات مراقبة الجودة، وتنظيف المعطيات.

قد يسبق عملية "تحليل المعطيات"   data analysis نشاطُ كشف المعطيات. إنّ كشف المعطيات detection هي عملية النفاذ إلى مصادر المعطيات وجداولها وحقولها، وأياً كان نوع المعطيات أو المنصة فمن المهم معرفة كيف وأين يجري تخزين المعطيات، ونسخها نسخاً احتياطياً، وأرشفتها.

يشمل تحليل المعطيات تقييم اتساق المعطيات data consistency، وتتبع التكرار غير الضروري للسجلات، وتعرُّف الأخطاء، وإعادة تقييم العلاقات بين المعطيات وبنى المعطيات.

يجب فهم بنى المعطيات فهماً جيداً، وتمثل عملية "توصيف المعطيات"data profiling فهمَ بنية مصادر المعطيات ومحتوياتها.

يتضمن "تنظيف المعطيات"  data cleaningالكشف عن المعطيات غير الكاملة أو غير الصحيحة أو غير الدقيقة أو الفاسدة أو المكررة أو المصوغة بطريقة خاطئة أو غير المتسقة، وتصحيحها أو إزالتها، هي في الأساس تسجيلات من مجموعة تسجيلات أو جدول أو قاعدة معطيات. ويُستخدم هذا المفهوم أساساً في سياق قواعد المعطيات.

تحدِّد عمليةُ تنظيف المعطيات قواعدَ لضمان أن تكون المعطيات المهجَّرة متسقة وصالحة. وهذه العملية - التي تُعد جزءاً من إجرائية تهجير المعطيات - يمكن أن تكون أيضاً إجراءً روتينياً في تقانة المعلومات.

يجري في عملية "مقابلة المعطيات" تَعرُّف مصدر التهجير (ماهية المعطيات المراد تهجيرها)، ووجهة التهجير (مكان انتقال المعطيات). وتعني عملية "تحويل المعطيات" data transformation تحديدَ قواعد لمقابلة المعطيات المصدرية بالجداول المستهدفة في عملية تهجير المعطيات.أما الغرض من "الاستنظام" normalization فهو تحويل قيم المعطيات أو تنظيفها كي تكون متوافقة مع المعايير المقبولة، وأكثر اتساقاً، ومفهومة لأي مستخدم.

يمكن "اختبار المعطيات" التي يجري تهجيرها، والتحقق من صحتها لضمان دقة عملية التهجير. ويعني التحقق validation من صحة المعطيات تعريف قواعد للتدقيق في المعطيات المهجَّرة. ويتكون الاختبار من اختيار سجلات لتقييم قرارات المقابَلة، واختبار مشاكل الاستنظام.

هنالك خطوة حاسمة أخيرة تسبق تحديد نجاح عملية التهجير أو إخفاقها، وهي التحقق من صحة بيئة ما بعد التهجير، والتثبت من أن كل التوقعات قد وقعت فعلاً قبل اعتماد بيئة ما بعد التهجير.

أدوات تهجير المعطيات

تصمَّم أداة تهجير المعطيات لمساعدة المؤسسات على أداء عملية تهجير المعطيات، وهذه الأدوات ليست حلاً كاملاً لكل حالة، أو لجميع البيئات. فقد تكون أداة معطاة محدودة وفقاً لمدى تعقيد التطبيق أو تعقيد تصميم التطبيق.

هناك العديد من أدوات تهجير المعطيات، وخاصة الأدوات التي تساعد على تهجير مخططات قاعدة المعطيات المعطيات ونقلها بين قواعد المعطيات، مثل أوراكل، وDB2،MS-SQL Server ،.....، على سبيل المثال، توفر أدوات لنقل المعطيات بين قواعد المعطيات. وثمة أدوات تهجير معطيات أخرى مخصصة، مثل: أدوات مؤتمَتة متنوعة لتهجير المعطيات وتنظيفها، وأدوات للنقل على مستوى الملفات أو الكتل، وأداة Extract, Transform, Load (ETL) للاستخراج والتحويل والتحميل.

مثال على تهجير المعطيات

يمكن مثلاً الرجوع إلى نموذج لتهجير المعطيات وتنظيفها قدمه جون ويلتون John Wilton وآن مايترز Anne Matheus، الذي يتحدث عن تهجير معطيات إلى نظام جديد باستخدام برنامج لمعالجة البيانات الرقمية. تحوي قاعدة المعطيات الأصلية عدة آلاف من التسجيلات التي تتضمن أخطاء وتسجيلات مكررة. وبغية التحقق من صحة المعطيات يجري استعمال برمجية Excel ولغة VBA المتضمنة فيها للتدقيق في التسجيلات. تقتضي هذه العملية تحليل متواليات حروف والبحث عن حالات عدم الاتساق.