דף הבית: קידום אתרים - רקע > היסטוריה

ההיסטוריה של קידום אתרים ומנועי החיפוש

מנהלי-אתרים (webmasters) וספקי תוכן החלו להשתמש בקידום אתרים עבור מנועי החיפוש החל מאמצע שנות התשעים, כאשר מנועי החיפוש הראשונים שהוקמו החלו לקטלג את הרשת הצעירה.
בתחילה, כל מה שנדרש ממנהל הרשת היה להזין את דף או כתובת ה-URL של האתר שלו למנועי החיפוש השונים כדי שישלחו "זחלן" (crawler) אשר "זחל" בתוך האתר, הוציא ממנו קישורים (לינקים) לאתרים אחרים והחזיר את המידע לצורך יצירת אינדקס של אותו אתר. כחלק מתהליך זה, ה"זחלן" של מנוע החיפוש היה מוריד את האתר ושומר אותו על גבי השרת של מנוע החיפוש. בתוך השרת ישנה תוכנית נוספת, הנקראת indexer, המושכת פרטי מידע שונים אודות האתר, כגון המלים המרכיבות אותו ומיקומן, משקלם השונה של מלים מסוימות וקישורים לדפים אחרים הקיימים באתר (הקישורים מועברים ללוח זמנים הקובע מתי תתבצע "זחילה" בדפים אלו מאוחר יותר).

בשלב מסוים, החלו מנהלי האתרים לזהות את הערך הרב הטמון בקידום האתר שלהם בין תוצאות מנוע החיפוש, דבר אשר פתח פתח למשתמשים בשיטות כובע לבן וכובע שחור. על-פי האנליסט דני סאליבן, השימוש המוקדם ביותר הידוע במונח 'מנוע חיפוש' היה בהודעת זבל (spam) אשר פורסמה ב-Usenet ב-26 ליולי, 1997.

גרסאות מוקדמות של אלגוריתמים לחיפוש הסתמכו על מידע אשר סופק על ידי מנהלי האתר, כגון תגי מטא(Meta Tags) או קובצי אינדקס במנועים כגון ALIWEB. תגי מטא סיפקו נתונים על תוכנו של כל דף. אולם שימוש בנתוני מטא כדי לצור אינדקסים של דפים הוכח כלא אמין, מאחר ומאגר מילות המפתח שסיפק מנהל האתר בתגי המטא לא תאם למילות המפתח הממשיות אשר הופיעו באתר. כך החלו מנהלי האתרים "לשתול" נתונים בלתי מדויקים, בלתי מלאים ובלתי עקביים בתגי המטא של האתר, אשר גרמו להופעתו כחלק מתוצאות חיפוש שאינן רלוונטיות לחיפוש שהתבצע על ידי הגולש.

הסתמכות יתרה זו על גורמים הנמצאים תחת שליטתו המלאה של מנהל האתר, גרמה לכך שמנועי חיפוש סבלו מניצול לרעה אשר נועד לקדם את האתר בדרכים לא דרכים. על מנת להביא תוצאות מהימנות יותר, היה צורך להתאים מחדש את אופן הפעולה של מנועי החיפוש כדי לוודא קבלת תוצאות רלוונטיות לחיפוש שבוצע על ידי הגולש, זאת מאחר ובפועל מנוע החיפוש החזיר תוצאות של אתרים עמוסים במילות מפתח אשר "הושתלו" על ידי מנהלי האתרים בצורה שאינה לגיטימית. מאחר ומידת הצלחתו של מנוע החיפוש נקבע על ידי יכולתו להניב תוצאות חיפוש רלוונטיות ככל שניתן לכל חיפוש שהוא, החלו הגולשים להמנע משימוש במנועים אשר החזירו תוצאות שגויות. המענה של מנועי החיפוש לבעיה זו היה פיתוח אלגוריתמי דירוג מורכבים יותר המקשים על מנהלי האתר לבצע מניפולציות מזיקות.

בעודם סטודנטים באוניברסיטת סטאנפורד, פיתחו לארי פייג' וסרגיי ברין את "backrub", מנוע חיפוש אשר מסתמך על אלגוריתם מתמטי לצורך דירוג חשיבותם של דפי אינטרנט. המספר אשר מחושב על ידי האלגוריתם, המכונה PageRank, תלוי, בין השאר, בכמותם וערכם של קישורים נכנסים (Inbound links - הקישורים הנכנסים אל האתר מאתרים אחרים). שיטת PageRank מעריכה את הסבירות כי משתמש יגלוש אקראית לאתר כלשהו ועוקבת אחר הקישורים מאתר אחד למשנהו.
בפועל, משמעות הדבר היא שחלק מהקישורים נעשים "חזקים" יותר מאחרים, מאחר וישנה סבירות גבוהה יותר כי גלישה אקראית עתידה להוביל את הגולש לאתר בעל PageRank גבוה יותר.

פייג' וברין הקימו את Google ב-1998. מנוע החיפוש של Google הלך וביסס את מעגל המשתמשים שלו בקרב גולשי האינטרנט הודות לעיצובו הפשוט.
הדבר שאיפשר ל-Google להימנע מהמניפולציות המזיקות שחוו מנועי החיפוש האחרים, היה התחשבותם של Google הן בגורמים שאינם מצויים באתר עצמו - off-page factors - (כגון PageRank וניתוח היפר-לינקים) והן בגורמים התלויים באתר עצמו - on-page factors - (כגון תדירות מילות מפתח, תגי מטא, כותרות, קישורים ומבנה האתר).
למרות ששיטת ה-PageRank הייתה יותר קשה לתפעול, החלו מנהלי רשת לפתח כלים וסכימות לבניית קישורים על מנת להשפיע על מנוע החיפוש המבוסס על Inktomi. מאוחר יותר, שיטות אלו נתגלו כישימות לא פחות לצורך השגת PageRank גבוה יותר. בעקבות שינוי זה, אתרים רבים החלו לעסוק יותר ויותר בהחלפה, קניה ומכירה של קישורים בקנה מידה הולך וגדל.

חלק מסכימות אלו, או חוות קישורים אלו (Link farms), הובילו ליצירה של אלפי אתרים שמטרתם היחידה היא link spamming (הצפה בקישורי ספאם). בשנים האחרונות, החלו מנועי החיפוש להסתמך יותר ויותר על גורמים שאינם מצויים ברשת עצמה, כגון גיל, מין, מיקום והיסטוריית החיפוש של הגולשים המבצעים את החיפושים, על מנת למקד יותר ויותר את תוצאות החיפוש.

החל משנת 2007, החלו מנועי החיפוש לשלב כחלק מאלגוריתמי הדירוג שלהם קשת רחבה יותר של גורמים חסויים על מנת להפחית ככל האפשר מניפולציות מזיקות. ב-Google טוענים כי כאשר הם מדרגים אתרים, הם מתחשבים ביותר מ-200 קטגוריות שונות. שלושת מנועי החיפוש הגדולים כיום: Google, Yahoo ו-Microsoft's Live Search, אינם חושפים את האלגוריתמים בהם הם משתמשים על מנת לדרג אתרים. חלק מהשמות הגדולים בעולם קידום האתרים, כגון ראנד פישקין (Rand Fishkin), בארי שוורץ (Barry Schwartz), אהרון וול (Aaron Wall) וג'יל וויילן (Jill Whalen) למדו גישות שונות לקידום אתרים ופרסמו את מסקנותיהם בפורומים מקוונים ובבלוגים שונים. העוסקים בקידום אתרים יכולים גם ללמוד פטנטים של מנועי חיפוש שונים על מנת להבין טוב יותר את נושא האלגוריתמים.

המאמר הבא:  מנהלי אתרים ומנועי חיפוש
המאמר הקודם: תקדימים משפטיים