מנהיגות בהייטק #18—מטריקות

השבוע מטא שחררה את המתחרה שלהם לטוויטר, וזאת הזדמנות נהדרת לדבר קצת על מטריקות, לא רק מהבחינה התפעולית אלא גם מהבחינה הניהולית.

עד עכשיו, דיברנו פעמיים על מדידת עמידה ביעדים: בגיליון שלוש דיברנו על יעדים חכמים ובגיליון 12 הרחבנו על איזה יעדים בדיוק לקבוע. קביעת היעדים נועדה לשרת כמה מטרות, כגון לאתגר את העובד.ת, לייצר בהירות של הציפיות ואפילו לתאם עבודה בין צוותים או א.נשים. את כל אלא קבענו בפגישות אישיות עם העובדים.ות, ויש הרבה מה לקחת מכך גם לניהול ארגונים גדולים. יש כמה דגשים חדשים כשעוברים מניהול ארגון של 5 עובדים.ות לארגון של 20, 100, או 1,000 עובדים.ות.

אז בואו נחזור רגע להשקה של Threads, מתחרה הטוויטר של מטא. אני בטוח שאי שם במשרדי מטא ברחבי העולם יש צגי מחשב שמציגים באופן קבוע דשבורד עם מטריקות שנקבעו בקפידה. לפני ההשקה בוצעה עבודה הנדסית לעשות אינסטרומנטציה לקוד, בצד הלקוח ובצד השרת, כדי לאסוף את הנתונים הגולמיים שמעובדים אל תוך אותם דשבורדים. אז איזה מין מטריקות כנראה ויש שם?

1. ביצועים עסקיים. לדוגמא, כמות משתמשים שנרשמו לרשת, כמות משתמשים יומיים, כמות משתמשים שכותבים פוסטים, ועוד. יש אתגרים טכנים מרתקים בחישוב המטריקות האלה בסקייל גבוה, אבל זה נושא לניוזלטר אחר 🙂.
2. ביצועים טכניים. לדוגמא, מה זמן הטעינה הממוצע ובאחוזונים שונים כגון P99 ו-P50, מה העומס על השרתים מבחינת זיכרון, מעבד, דיסק, ותקשורת, ועוד.
3. ביצועים עסקיים ״הגנתיים״, מה שנקרא guardrail metrics. לדוגמא, מה הירידה שמוכנים לקבל בזמן שמשתמשים מקדישים לInstagram בגלל שהם עברו לThreads. כאן ״החליפו כובע״ כדי לנסות ולחשוב על כל מה שיכול להשתבש, כדי שניתן יהיה למדוד ולזהות זאת כמה שיותר מהר.
4. מידע גולמי רחב שיאפשר לבצע אנליזה מעמיקה של חששות לכשיצופו מהנתונים המעובדים. לדוגמא, לאפשר מבט של flame graph על המערכת, לצפות בcrash logs, ועוד.

אז מה ניתן ללמוד מכל זה?

ראשית כל, מאחורי כל העבודה הזאת עומדת ההבנה שכשיש לנו מיליוני משתמשים המצב הדיפולטיבי הוא שאנחנו טסים עוורים. בעולם הטיסה יש הגדרים שונים, כאשר ההגדר הבסיסי מאפשר לטוס רק בתנאי ראות טובים שבהם ניתן לראות ויזואלית את הסביבה. ההגדר המתקדם יותר נקרא הגדר מכשירים, כי כשטסים בתוך העננים חייבים להסתמך על המידע שמעובד מסנסורים שונים. כך גם בשחרור גירסא למיליוני משתמשים.

שנית, שצריך לאפשר ביצוע חקירה ע״ב הנתונים הכלליים. זאת אומרת שבוחרים מעט מטריקות שיאפשרו לנו, ברמת וודאות גבוהה, לזהות שמשהו עובד טוב או לא עובד טוב. אבל רמת הוודאות הגבוהה כמעט תמיד תלווה ברמת מיקוד נמוכה. כלומר, נדע שקיימת בעיה, אבל לא נדע איפה ולמה הבעיה קיימת. בשביל זה צריך תשתית שתאפשר לנו לבצע מחקר עוכב כדי לדבג ולזהות את מקור הבעיה.

שלישית, שגם כאן חשוב מאוד לחבוש את הכובע השחור ולחשוב מה יכול להשתבש. כמעט תמיד המקור לכך יהיה תוצאות לא צפויות של מערכת התמריצים החדשה שיצרנו, ולכן חשוב ״לשנות מוד״ ולנסות כמיטב יכולתנו לשבור את המערכת. רק לאחר השלב היצירתי הזה נבין איזה מטריקות יאפשרו לנו לזהות אם אחד מהתרחישים האלה מתממש.

לפני שנחזור לעולם הניהול, נסכם את שלושת הנקודות:

1. ככל שהסקייל גדול יותר, נצטרך יותר מספרים שיאפשרו לנו להבין איפה אנחנו נמצאים.
2. מטריקות בעלי ודאות גבוהה ילוו במיקוד נמוך, ולהיפך.
3. כל מערכת תמריצים חדשה עלולה לייצר התנהגויות לא רצויות, שאותן צריך לזהות.

ועכשיו חזרה לניהול. ככל שהארגון שעליו אנחנו אחראים גדול יותר, כך קשה לנו יותר לדעת מה בדיוק קורה. כשמנהלים צוות של ארבעה א.נשים שכולם במשרד ניתן להכיר את כולם ולדעת מה האווירה בצוות. כשמנהלים צוות של אר-ע מאות א.נשים, כנראה שאפילו לא נדע איך קוראים לכולם.ן. הוספת מטריקות ניהוליות נהיית הכרחית כדי לדעת מה מצב הארגון.

וכאשר המספרים מספרים לנו שיש בעיה, אנחנו נצטרך לקום מהכיסא ולדבג. זה אומר לאסוף נתונים נוספים, אבל זה גם אומר לצאת מהמספרים ולדבר עם א.נשים ישירות.

וכמו שאנחנו בונים תוכנית בקרה ודשבורדים בשחרור מוצר חדש, כך אנחנו צריכים לעשות כשאנחנו מבצעים שינוי ניהולי. זה יכול להיות בארגון מחדש של המבנה הניהולי או בשינוי שיטת חישוב הבונוסים. וכשאנחנו מבצעים שינוי, אנחנו צריכים להקדיש זמן ממוקד כדי לחשוב מה יכול להשתבש ואיך ניתן לזהות זאת.

הדוגמא החביבה עלי למטריקה שכל ארגון מעל 15-20 איש צריך לעקוב עליו זה הattrition rate. איזה אחוז מהעובדים עוזב כל רבעון? מתוכם, כמה היינו רוצים שישארו בארגון (regretted), וכמה לא היינו מגייסים מחדש (unregretted). זאת מטריקה שתזהה לנו כשיש בעיה ברמת וודאות יחסית גבוהה.

כמו בכל מטריקה, צריך להשוות אותה ל-baseline שנבחר בקפידה. באופן אידאלי ההשוואה תהיה לערכים היסטורים ולארגונים דומים שעושים עבודה מעולה.

וגם כאן, כאשר תהיה חריגה, צריך לקום מהכיסא ולחקור את הסיבה. לדוגמא, כשהגבלות הקורונה התחילה להשתחרר, הייתה עליה בattrition rate בארגון שבו תמכתי. השוואה הסטורית והשוואתית הראתה שא.נשים לא עברו תפקידים וחברות במהלך הקורונה, והייתה חזרה לממוצע ברחבי החברה והתעשייה המקומית כשההגבלות השתחררו.

אז מה המטריקות הניהוליות האהובות עליכם.ן?