אינטגרציית נתונים - הדור הבא 

אינטגרציית נתונים - האתגר

מרבית הארגונים כיום משקיעים מאמץ רב בייעול המבנה התפעולי, תוך שיפור השירות ללקוח והגדלת ההחזר על ההשקעה. יותר מתמיד הארגונים ממוקדים באיזון הדרישות המתחרות-לעיתים הכרוכות בשירות טוב יותר ללקוח מחד, לייעול וקיצוץ בעלויות התפעוליות מאידך.

קבלת החלטות איכותית דורשת תמונה מלאה ומקיפה של המידע הארגוני. כשהמידע מפוזר בין עשרות מערכות לא תואמות בתוך הארגון ומחוצה לו - היכולת לראות תמונה שלמה של המידע הופכת לאתגר ואף סיכון.

מתוך כוונה לצמצם את הסיכון, ארגונים רבים מבצעים השקעות גדולות שיאפשרו לארגון לראות תמונה טובה יותר של העסק. מערכות לניהול משאבים ארגוני (ERP), ניהול קשרי לקוחות (CRM), כמו גם מערכות אנליטיות (BI) ומערכות לניהול סיכונים (דוגמת BASEL II), הם חלק מהשקעות גדולות אותם משקיעים ארגונים על מנת לקבל תמונה טובה יותר של העסק ושיפור השירותים ללקוח.

מערכות כבדות ומורכבות אלו, ממקדות את תשומת הלב הארגונית לאתגרים הכרוכים בהקמה, כגון: ממשק למערכות התפעוליות, מודלי נתונים שישקפו את אופי הפעילות של הארגון, אכלוס המערכת ומעבר הדרגתי לשיטת עבודה אחרת.

במרבית המקרים נדחק נושא אחד לפינה, והוא עולה רק לאחר שהמערכת עולה לאוויר וההחזר על ההשקעה המקווה ממשמש לבוא...

המידע טמון בנתונים

מה חסר - נתונים כמובן, ויותר מזה - נתונים איכותיים שישקפו אמיתית את פעילות הארגון והלקוחות, ויאפשרו למשתמש לקבל החלטה בזמן ובמקום שהוא נדרש אליה.

פרויקטים כגון BI, ניהול סיכונים, מערכות ERP ו-CRM דורשים אינטגרציה אמיתית של נתונים ממספר רב של מערכות תפעוליות, ומערכות Legacy, ובניית יישויות מידע חדשות. הנתונים הנדרשים מגיעים לא פעם ממקורות מידע שאיש לא נגע בהם זמן רב. תוצאות חלקיות, נתונים חסרים, ערכים שגויים או לא משקפים, כפילויות בנתונים, מיפתוחים שגויים, אינפורמציה חשובה הקבורה בשדות אחרים - הן רק חלק מהתופעות המתקבלות בפועל ומקשות על הארגון לראות פירות בהשקעותיו.
זאת ואף גרוע מכך. במקרים קיצוניים עשויים נתונים שגויים לגרום להעדר אמון של המשתמשים בנתונים המתקבלים, ובמערכות עצמן - וכפועל יוצא ההחזר על ההשקעה מתרחק אף יותר.

הפתרון לכך, טמון באינטגרציית נתונים ארגונית, שתאפשר הבאת ואיחוד כל הנתונים הרלוונטים לתוך מסך אחד על פי אופי המשתמש ותפקידו.


מה זה בכלל אינטגרציית נתונים ?

בעבר הלא רחוק 'אינטגרציית נתונים' - פירושה היה 'גזירת נתונים-עיבודם-וטעינתם למערכת חדשה' (ETL).
היום, אינטגרציית נתונים מכילה סט רחב יותר של דרישות, המסתכמות בחמישה מרכיבים עיקריים:

• ניתוח ואפיון (אוטומטי) של קבצי הנתונים,
• איכות וסטנדרטיזציה של נתונים, לרבות ביטול כפילויות בנתונים,
• יכולת עיבוד ושינוע נתונים מסיבית, שתאפשר אינטגרציה של נתונים מכל מקור לכל יעד,
• ניהול מילון נתונים מטה-דטה (Metadata) מקיף, לשמירה על אחידות ועקביות באופן שהארגון מנהל ומגדיר את הנתונים, ולבסוף..
• יכולות עיבוד גבוהות למסות נתונים, שיבטיח ביצועי שיא על גבי כל חומרה.

ניתוח אוטומטי של קבצי נתונים

רוב הארגונים מאמינים ב'אגדה', שפרויקט אינטגרציה מתחיל בשלב שינוע נתונים.

במציאות, פרויקט אינטגרציה וההוצאות הנלוות אליו - מתחילות הרבה לפני שנתון כלשהו "זז" ממקום למקום. בפועל, הפרויקט מתחיל ב:

• ניתוח קבצי המקור
• הבנת המבנה שלהם ואיכותם,
• מיפויים,
• תכנון והגדרת מיזוג הנתונים ואופן אכלוס בסיס הנתונים החדש, מחסן הנתונים או החבילה הארגונית.

כל תהליך אינטגרציה מתחיל כאן - בלעדיו, אין לארגון ידע וכלים להבין את הגדרות הנתונים, תכולתם, ואיכות הנתונים בהם - הנדרשים כל כך ביצירת אינטגרציה. לרוב, התהליך מבוצע באופן ידני, ותובע משאבי ניתוח יקרים ומייגעים. ניתוח אלמנט מידע באופן ידני, לוקח בממוצע 3 עד 5 שעות. נכפיל את משך הזמן הזה, במאות ולעיתים אלפי אלמנטים של מידע הנדרשים ליישום יעיל של חבילת ERP, CRM או מערכת BI - ואנו מקבלים עלות עצומה ומשך זמן ארוך ומתבדר כבר עם תחילת הפרויקט. יחד עם זאת, מי שיעדיף "לחסוך" בשלב זה, עתיד לשלם מחיר כפול ומכופל בשלב היישום.

איכות וסטנדרטיזציה של נתונים

אכלוס מערכות ארגוניות דוגמת CRM, ERP ו- BI דורש איחוד ואינטגרציה של נתונים ממערכות הארגון השונות. אולם לרוב, לא ניתן להסתפק בנתונים המגיעים ממערכות המקור כפי שהם. נתונים חלקיים, נתונים חסרים, ערכים שגויים או לא משקפים, כפילויות בנתונים, מיפתוחים שגויים, אינפורמציה חשובה הקבורה בשדות אחרים ועוד - הן חלק מהתופעות שיעלו במערכת החדשה, במידה והארגון לא תכנן והגדיר תהליכי סטנדרטיזציה וטיוב נתונים כחלק אינטגרלי בתהליך האכלוס של המערכת החדשה.

יכולת עיבוד ושינוע נתונים מסיבית

במרכזו של כל תהליך אינטגרציית נתונים, עומדת יכולת גזירת הנתונים, עיבודם וטעינתם ליעד. פירושו של תהליך זה, לתת לארגון את היכולת להתחבר בצורה פשוטה וקלה לכל מקורות הארגון, כלים לעיבוד ואיחוד הנתונים, וטעינתם ליעד הנדרש בין אם חבילה ארגונית או בסיס נתונים חדש.

ארגונים רבים מבצעים זאת בצורה ידנית, תוך כתיבת קוד. אף שלעיתים שיטה זו מציעה  פתרון מהיר, ולעיתים זול, מרבית הארגונים מגלים במהרה שתחזוקת וביצוע שינויים בקוד הקיים על פי צרכי הארגון המשתנים הופכת עול כבד ויקר לארגון.

מספר כלים קמו על מנת לענות על הצרכים הללו, אולם חשוב שארגונים הבוחנים כלים כאלו יבחרו בכלי שיאפשר שילוב קל ונוח של כלי ניתוח וטיוב נתונים. מדוע - משום שאחרת, לכשהארגונים יחליטו על הוספת כלי ניתוח וטיוב נתונים (ולבסוף הם יהיו חייבים לעשות זאת) הם ימצאו את עצמם במצב המשונה של "אינטגרציית כלי-אינטגרציה". נכון להיום - שום תהליך אינטגרציה של כלי-אינטגרציה לא הוכיח ערך כלשהו, למעט ההוכחה שזה עולה המון כסף.

ניהול מטה-דטה מקיף

מושג עסקי "יבש" כגון: "רווחיות לקוח" עשוי להתפרש למספר מובנים שונים, אם לא נגדירו במפורש.
הפירוש הקל יכול להיות סך ההפרש בין ההכנסות מהלקוח לבין ההוצאות הנובעות מטיפול בלקוח. אולם  אופן חישוב ההכנסות, ויותר מכך ההוצאות, מרכיבי הפעילות ומספר החשבונות של הלקוח - עשויים לתת תשובה שונה לאותה שאלה בדיוק - וכל התשובות תהיינה נכונות !

בהעדר הגדרות מוחלטות, מוגדרות ומוסכמות של Metadata (כדוגמת מהי בדיוק "רווחיות לקוח") ארגונים עומדים בפני מספר אתגרים גדולים, הכוללים בין השאר:
1.      תשובות שונות לאותה שאלה.
2.      מידע חסר, לקוי או אפילו שגוי - שעשוי להוביל לקבלת החלטות שגויה.
3.      זמן רב הנדרש להשגת כל המידע הדרוש - גורם לעיכובים בתהליך קבלת ההחלטות.
4.      הבאת המידע הנכון לאיש הנכון, בזמן הנכון.

תוצאות אפשריות של תופעות אלו, הן אובדן אמון של המשתמשים במידע המגיע אליהם, שלרוב יגרום להשהיית החלטות. משתמשים מתקדמים (Knowledgeable Workers), ינסו לתת מענה לאתגר על ידי יצירת מערכת "אישית" (ב-Excel או Access) שתתן מענה לצורכיהם - אולם דבר זה  רק מוסיף למורכבות ול"בלאגן"במערכת. בארגונים גדולים, האתגר אף עשוי להיות גדול אף יותר, עקב ריבוי המערכות ומורכבותן.

המסקנה העולה היא, כי גיבוש אסטרטגיה ליצירת 'מילון נתונים ארגוני' (Data Dictionary) מהווה נדבך מרכזי להצלחת פרויקטי אינטגרציה. מהו הנתון, מה משמעותו, אם יש מספר משמעויות לנתון מהן, אם לנתון משמעות הנוגעת למערכת המקור - מהיכן הגיע, כיצד חושב, מי אחראי על נתונים אלו - התשובות לשאלות אלו חשובות למבקש המידע, וחשובות אף יותר בתהליך קבלת ההחלטות של הארגון.

עיבוד מאסיבי לתהליכים

כמויות הנתונים הנדרשים בתהליך האינטגרציה הולכות וגדלות משנה לשנה.
פירוש הדבר, שעל ארגונים לעבד יותר ויותר נתונים, בפרק זמן שנשאר זהה. ביצוע מקבילי, משמעותו שפרק הזמן הנדרש להשלמת תהליך האינטגרציה, יוגבל רק למשאבי חומרה. דרישות עסקיות, כגון הארכת יום העסקים בבנקים - מובילות לקיצור משך הזמן העובד בפני הארגון לעבד ולאחד נתונים מהמערכות התפעוליות למערכות האנליטיות.

המשמעות היא שעל הארגון להערך גם ליכולת עיבוד גדלה והולכת. לעיתים תדרשו להוספת עוד משאבי חומרה - על מנת לקבל יותר מהירות. אולם מקביליות אמיתית וליניאריות בביצועים מושגת רק של ידי מוצר שנבנה במקור לכך, מוצר שיודע לפרק 'תהליכים מורכבים' לתת-תהליכים, ולהריצם במקביל על כל משאבי החומרה הזמינים עבורו. כדאי לתת לכך את הדעת בבחירת פלטפורמה לאינטגרציה.

סיכום

ארגונים הנערכים לקליטה או יישום מערכות אנליטיות כגון: BI, ניהול סיכונים (BASEL II), או מערכות ארגוניות חייבים להקדיש פרק לגיבוש אסטרטגיה עבור אינטגרציית הנתונים. אסטרטגיה זו צריכה לשקף:
1.      דרך וכלים להבין ביעילות את הנתונים,
2.      להפעיל תהליכי סטנדרטיזציה טיוב וביטול כפילויות,
3.      לשנע ולעבד את הנתונים
4.      ניהול הנתונים - מה משמעותם ומהיכן הגיעו, ולבסוף...
5.      לעבד ביעילות כמויות נתונים גדלות והולכות ממקורות שונים


אתגרים עסקיים ורגולציה מחייבים ארגונים לבחון תהליכים שיאפשרו "תמונה-אחת" ללקוח, מוצר או שירות (Single Version of the Truth). פרויקטים אלו, המכונים גם( Master Data Management (MDM ו-( Customer Data Integration (CDI הופכים לצורך עסקי אמיתי בקרב ארגונים שלהם אלפי לקוחות ומוצרים. החדשות הטובות הן, שתכנון אסטרטגיה מתאימה עבור אינטגרציית הנתונים, המתייחסת לאתגרים מעלה, מהווה את הנדבך המרכזי ביישום מוצלח של פרוייקטי MDM ו-CDI.