MapReduce
MapReduce הוא מודל תוכנה המאפשר ניתוח ועיבוד של Big data באמצעות אלגוריתמים של חישוב מבוזר ועיבוד מקבילי באשכול מחשבים.[1][2] התוכנה משמשת לחישוב מהיר של נתונים כבדים במשקל פטה-בייט על פני מחשבים רבים (ריבוי תהליכונים) לצורך חיפוש מהיר, גישה וניהול מידע.[3][4]
התוכנה פותחה על ידי גוגל ב-2004.[5] היא מאפשרת הרצה של נתונים וניתוח נתונים בהתבסס על פונקציות ומחולקת ל-2 תהליכים עיקריים: שלב המיפוי (Map) בו התוכנה מבצעת תהליכי משנה (Sub processes) על בסיס קלט המשתמש, כאשר כל תהליך מספק פתרון לחלק מהבעיה, ושלב הצמצום (Reduce) אשר אוסף את תוצאות העיבודים ומייצר מהן פלט בעל תוצאות.[6] ספריות של MapReduce נכתבו במספר שפות תכנות. התוכנה ידועה בכך שיש לה סובלנות תקלות גבוהה.[7][8] בהמשך התוכנה הוחלפה עם תוכנות ניתוח נתונים מודרניות יותר.
התוכנה היוותה השראה להאדופ, פרויקט קוד פתוח של מוסד התוכנה אפאצ'י, ואפאצ'י ספארק, שלד תוכנה קוד פתוח מעל מערכת מבוזרת שפותח במקור במעבדת AMPLab של אוניברסיטת קליפורניה בברקלי.
קישורים חיצוניים
[עריכת קוד מקור | עריכה]
הערות שוליים
[עריכת קוד מקור | עריכה]- ↑ MapReduce Tutorial, hadoop.apache.org
- ↑ Stephen Shankland, Google spotlights data center inner workings, cnet, 30 במאי 2008
- ↑ ליאור בר-און, מערכות מבוזרות – מבט עדכני, באתר בלוג ארכיטקטורת תוכנה, 2015-07-12
- ↑ "היכרות עם Big Data: תשתית ושיקולי רשת – איגוד האינטרנט הישראלי". איגוד האינטרנט הישראלי.
- ↑ What is Mapreduce?, Databrick
- ↑ moranr, ביג דאטה, באתר Opisoft, 2019-10-22
- ↑ מתכנת פשוט: כמה מילים על - Hadoop, HDFS, MapReduce, YARN, באתר מתכנת פשוט
- ↑ אופיר, כל מה שרציתם לדעת על האדופ (Hadoop) ברבע שעה, באתר TheMarker, 13 במאי 2012
