LOGIN
התחברות או הרשמה
Avatar
להמשך הרשמה ידנית – לחץ על כפתור ההרשמה, להרשמה/כניסה מהירה בעזרת חשבון רשת חברתית – לחץ על הלוגו בכותרת

אפס סיסמה - שכחתי את שם המשתמש

שם משתמש
סיסמה
זכור אותי

he icon   en icon

סקירת כלי ניהול בדיקות ובאגים: Lean Testing

נכתב על ידי 
ראשון, 23 אפריל 2017 12:44
דרגו כתבה זו
(3 הצבעות)

LeanTestingLogo

          Lean Testing

     כלי לניהול בדיקות ובאגים:

 

טוב אז אני אתחיל ואכתוב שהסיקור הזה נולד אחרי פוסט שהעליתי בפייסבוק בחיפוש אחר כלי/מוצר שיחליף
את Lean Testing בחברה שבה אני עובד.

עכשיו אני יודע שזה נשמע רע וששאלות כמו: "למה אתה מסקר את זה אם אתה מחפש להחליף?" או משפטים כמו "אז אנחנו יודעים שמראש הסיקור שלך הולך להיות שלילי!" בטוח עוברים בראש שלכם בעודכם קוראים, אבל אם תישארו עם הסיקור עוד מספר שורות דברים יעשו ברורים מהר מאוד.


קצת על הכלי:

Lean Testing הינו כלי לניהול בדיקות ודיווח ומעקב אחר באגים.
הכלי מפותח כחלק מסל שירותים שמציעה חברת crowdsourced testing אשר כמו ששמה מציין מספקת שירותי crowd source בתחום הבדיקות.
הכלי הינו כלי חינמי כאשר בגרסה זו הוא מספק כמעט את כל השירותים הקיימים מלבד מספר אפשרויות "משחק" וקוסטמיזציה אשר נפתחות רק לאחר שמשלמים סכום חודשי שיכול לנוע בין $5 ל- $30 תלוי ברמת "חופש הפעולה" שהארגון צריך.

אז זהו עם ההקדמה, עכשיו תכלס.

בסיקור הזה, שמאוד ייתכן שהוא יהיה לא קצר במיוחד אני הולך לכסות את מה שאני מגדיר כשלושת הנקודות החשובות לי ביותר כאשר אני מחפש ובהמשך מטמיע מערכות חדשות בחברות שבהן אני עובד:

דבר ראשון: פרקטיות ושימושיות הכלי, האם הוא יתאים למה שאני (כאדם שמייצג את אינטרס החברה) מחפש.

דבר שני: כמה מאמץ יצריך הכלי מהאדם שהולך להטמיע אותו בחברה בתהליך ההטמעה וכמובן מה המהירות שבה הכלי יוצר הרגשה של "אני בבית עם הכלי הזה – איך חייתי עד עכשיו בלעדיו?" אצל המשתמשים בו.

דבר שלישי: היכולת להיות עצמאי עם הכלי לעומת קהילה אקטיבית ותמיכה טכנית.

יאללה מתחילים :)

1. פרקטיות ושימושיות הכלי, האם הוא יתאים למה שאני מחפש?

בשביל לענות על זה קודם כל צריך להגדיר מה מחפשים, ובמקרה שלי להוסיף גם "למה?".

הדרישות שעלו אצלנו כאשר התחלתי לחפש כלי חדש לעבודה היו רבות ומגוונות, ולמרות שאמרתי שזה לא יהיה סיקור קצר אני לא חושב שאני אציין את כולן אלא אתמקד באלו שהיו החשובות ביותר לטובת החברה:

  1. הכלי צריך להיות כלי שמבוסס כולו ב- cloud בעל גישה נוחה במחשבים ובטלפונים ניידים כאחד.
  2. הכלי צריך לכלול גם יכולת של ניהול בדיקות וגם של דיווח ומעקב אחר באגים ללא צורך בכלי נוסף.
  3. הכלי צריך לספק תצוגה ברורה של סטטוס, כמות וההתקדמות בעבודה על הבאגים.
  4. הגישה לכלי צריכה להיות מהירה ואינטואיטיבית, לא אמורה להיות דרך שבה משתמש יכול "ללכת לאיבוד".
  5. הממשק של הכלי חייב להיות יפה (כן....) ולספק למשתמשים חווית שימוש חיובית כאשר הם משתמשים בו.
  6. מעבר בין סטטוסים של באגים צריך להיעשות בכמה שפחות לחיצות.
  7. הכלי צריך לספק ממשק נוח ומהיר לדיווח באגים, כזה שלא ירתיע אנשים (שהם לא אנשי QA) מלדווח באגים.
  8. הכלי צריך לספק ממשק נוח ומהיר לכתיבה והרצה של בדיקות ידניות – כולל סיכום תוצאות.
  9. אינטגרציה עם Slack, Github, Bitbucket ושליחת התרעות במיילים.
  10. --עדיף אבל לא חובה-- יכולת הרצת בדיקות אוטומציה.

אז אלו הן 10 הנקודות שאני יכול לציין כחשובות ביותר שעלו מכלל עובדי החברה הכוללים את המפתחים, הבודקים ומנהלי המוצר.

אני כן אוסיף ואכתוב שכמו ששמתם לב נושא ה- traceability בין הבאגים לדרישות לא עלה בין 10 הנקודות שבחרתי לציין וזאת מאחר והנושא לא הוגדר כ- Dealbreaker בגלל האופי שבו החברה עובדת. באותו הזמן שבו אנחנו הרצנו את הפיילוט ל-Lean Testing רץ גם פיילוט לכלי נוסף אשר נועד לניהול הדרישות והספציפיקציות - "notion.so" (סיקור נפרד יבוא בהמשך).

עכשיו כדי להסביר איך הגענו למצב שבו אנחנו מחפשים כלי כמו Lean Testin,ה-"למה?" שבסיפור.

לצערי אני יכול לסכם את זה במילה אחת - Jira.

עכשיו רק רגע, אני חס וחלילה לא משמיץ את Jira – אלא רק מציין שהכלי (שהפך למפלצת של הרחבות ושנשאר כמעט עם אותו הממשק גרפי בעשור האחרון) לא התאים לצרכים שלנו בחברה ואפילו עורר אנטגוניזם מרובה אצל המשתמשים.

כמו רוב החברות שבוחרות לעבוד עם Jira גם אנחנו ניסינו את כוחנו בלרתום את Jira ו"אחותה" Confluence על מנת לנהל את כל מעגל החיים של המוצר שלנו, אך לצערנו הממשק הארכאי והמגביל, חוסר החשיבה על חווית השימוש של המשתמש (שכמו שציינתי קודם לא עודכן בצורה ניכרת בעשור האחרון) וכובדה של המערכת הכריעו כנגדה.

אני מאמין שאפשר לתאר את שמחתי הרבה כאשר אחרי חיפוש ארוכים בפורומים ושימוש בגרסאות Trial של לא קצת כלים פתאום הגעתי ל- Lean Testing, או כמו שקוראים לזה בפורומים "LT".

LT עונה על כל הדרישות שעלו בחברה, הממשק "מרהיב" ביחס לכלים אחרים בתחום וניכר שהאנשים שעומדים מאחורי העיצוב עבדו בעברם בתפקידי QA.

מה שישר מוביל אותי לנקודה השנייה...

 

2. "אני בבית עם הכלי הזה – איך חייתי עד עכשיו בלעדיו?"

כבר ברגע הראשון שנכנסים לממשק של Lean Testing נפתח ממשק יצירת פרויקט מאוד פשוט ונוח.

כשהפרויקט מוקם ובכל פעם שבה ניכנס לפרויקט בעתיד הדבר הראשון שמוצג בפני המשתמש הוא ה- Dashboard של הפרויקט אשר מציג בחלקו העליון סיכום פשוט ובחלוקה ברורה של מספר הבאגים הקיימים בפרויקט, מה הסטטוס שלהם, כמה מהם נמצאים בכל דרגת severity וכמה מהם נמצאים בכל דרגת priority.

כמו כן יש מה שנקרא בפיהם Burndown Chart שהוא בעצם שילוב של Burndown ו- Burnup המציג כמה באגים נפתחו לעומת כמה טופלו בהצלחה.
בחלקו התחתון של ה- Dashboard ניתן למצוא סיכום של ארבעת ריצות הבדיקה האחרונות שבוצעו שכולל תאריכי ריצה, אחוזי הצלחה/כישלון/סיום וכמובן כמה באגים חדשים נפתחו בכל ריצה.
כל הפרטים ב- Dashboard ברורים ונקיים, הם מוצגים בתצוגת צבעים רלוונטית בהתאם לצבעים של הסטטוסים וכמובן מצב הבדיקות.

חשוב לציין בשלב זה שכמעט כל חלק המציג פרטים ב- Dashboard הוא בעצם לינק לפילטר שמציג את המידע שנבחר ברמת פרטים גבוהה יותר (בעצם המשתמש מועבר לתצוגת הבאגים).

- הנה צילום מסך של  Dashboard מפרויקט Demo שיצרתי כ- POC לשאר מנהלי החברה:

LT Dashboard

כמו שניתן לראות בצדו השמאלי של המסך נמצא תפריט הניווט של הכלי אשר מאפשר למשתמש לדלג בכל רגע נתון בין כל השירותים הקיימים של הפרויקט.

 

- נמשיך דווקא עם מסך ניהול הבאגים (נגיע לניהול בדיקות מיד לאחר מכן) להלן צילום מסך:

LT Bugs interface

כפי שניתן לראות גם פה הקו המוביל בחשיבה היה של כמה שיותר מידע בתצוגה אחת בצורה הפשוטה ביותר שניתן.
כל באג מיוצג לפי צבע הסטטוס שבו הוא נמצא.

ניתן לראות בתמונה ארבעה סטטוסים אשר מספרתי לצורך הנוחות:

  1. Closed
  2. Resolved
  3. New
  4. In Progress

כמו כן בצדו הימני של המסך ניתן לראות את החלוקה לפי severity (הסימן העליון) וה- priority (הסימן התחתון).

 

- לחיצה על כל אחת משורות הבאגים המוצגים תפתח את מסך הצפייה/עריכה של הבאג:

LT edit bug

אני לא ארחיב יותר מדי על המסך הזה, ניתן לראות בצילום המסך את כל המידע שניתן להוסיף על מנת לספק לכל גורם אשר יעבור על באג המדווח דוח מלא ומפורט.
בשביל לדווח על באג חדש אנחנו יכולים ללחוץ על כפתור ה- "Report a new bug" במסך שבו אנחנו נמצאים או שניתן לעשות זאת ממסך ניהול הבאגים על ידי לחיצה על כפתור ה- "New Bug".

 

- בשני המקרים מסך דיווח הבאגים שנפתח הוא זהה ופשוט:

LT new bug

במסך הזה ניתן לראות הרבה מהיתרונות שהופכים אותו לנוח ואינטואיטיבי לכלל המשתמשים ולא רק לבודקים.

בגלל שיש מספר כה רב של יתרונות בחרתי להציג את אלו אשר הסבו לי את הנוחות הגדולה ביותר בעת דיווח באגים:

  • היכולת להוסיף component ומספר גרסה תוך כדי כתיבת הבאג, ללא צורך לאבד מידע או לשמור תחת תוכן לא נכון.
  • בנק עצום של דגמי מכשירים, מערכות הפעלה, ודפדפנים.
  • ממשק הוספת "צעדים לשחזור" ברור ונוח שגדל על ידי לחיצה על מקש "Enter" לצורך הוספת צעד נוסף.
  • הבחנה ברורה בין severity ו- priority.
  • היכולת לתפעל את כל הממשק דרך המקלדת ללא צורך בשימוש בעכבר.

בסיום דיווח הבאג ולאחר שמירתו יופיע הבאג במסך הצפייה/עריכה של הבאג.

חשוב לי לציין גם שתי נקודות שייתכן ואדם אחר ימצא כחסרון אך אני חייב להודות שבמקרה של LT לא הרגשתי את בחסרונן:

  • למשתמש (גם בגרסה שבתשלום) אין יכולת להוסיף שדות למסך הצפייה/עריכה של הבאג.
    קיימים שני שדות אשר מתווספים באופן אוטומטי למסך זה כאשר הסטטוס של הבאג משתנה לסטטוס Resolved (השדה Fixed in version) וכאשר הוא משתנה לסטטוס Reopen (השדה Reopened in version).
  • אין אפשרות לשמור template של דיווח באגים, אך לעומת זאת במידה ונעשה clone לבאג הדברים היחידים שנהיה צריכים לעדכן הם שדות הטקסט החופשי והצעדים לשחזור (במידה והם שונים).

 

הממשק האחרון שאני רוצה להראות בסיקור זה לפני שנעבור לחלקו האחרון הוא ממשק כתיבת והרצת הבדיקות הידניות.

- נתחיל עם ה- Dashboard של ממשק ה- Test Suites:

LT tests dashboard

גם כאן יש כמות רבה של מידע אשר מוצג בצורה ברורה ופשוטה אשר כל אדם בלי קשר לתפקידו יכול להבין מה הוא רואה, לדוגמה:

  • תוצאות של ריצות קודמות
  • שינויים אחרונים שנעשו ב-test case.
  • התחלת ריצה חדשה
  • עריכה/הוספה של בדיקות

 

- נעבור למסך ההוספה/עריכה של בדיקות:

LT test case write

גם במסך זה הממשק פשוט ונוח, עם כל האפשרויות שהתרגלנו אליהן בכלים אחרים.

חשוב לציין במסך זה שהקטגוריות שתחתיהן כותבים את הבדיקות הן למען האמת ה- components שנוצרו בשביל הפרויקט, מה שבעצם מאפשר לנו להבין כמה השקעה נדרשה בבדיקות של כל component ומה אחוזי הצלחת הבדיקות של כל אחד מהם.
דבר נוסף שחשוב לציין הוא שניתן לייבא ולייצא בדיקות בפורמט CSV באופן מהיר ונוח.

 

- נמשיך למסך יצירת Test Run:

LT test run start

נקודות חשובות:

  • הוספה ידנית של בדיקה או הוספה לפי קטגוריה (component).
  • תצוגה של ה-priority שניתן לבדיקה כשכתבו אותה (הפסים בצד ימין).
  • היכולת להוסיף גרסה חדשה גם מהממשק הזה!
  • שיוך בדיקה לאדם אחר בצוות הבודקים על-ידי שינוי הערך בשדה Create as.

 

- לסיום מסך הרצת הבדיקות:

LT test run actual

מלבד הדברים הרגילים העובדה שמדובר במערכת אחת המאחדת גם את הבדיקות וגם את הבאגים מאפשרת יצירת באגים בעלי אותו מבנה ותוכן גם כאשר מדווחים עליהם מתוך הבדיקה, כלומר כל הצעדים וה- Expected Result  שנכתבו בבדיקה באופן אוטומטי יועברו לבאג.

ישנם עוד מספר אפשרויות נוספות למשתמשים, אך מאחר וגם כך הסיקור הינו סיקור ארוך אני אשאיר את זה לכם לגלות.

אבל בשביל להיות הוגן הנה כמה כותרות:

  • יצירת קבוצות (פרויקטים) בשביל Beta Testers חיצוניים
  • הרצת בדיקות אוטומציה עם Selenium IDE
  • שילוב של Mobile SDK
  • Conversations לכל פרויקט
  • וכמובן הגדרות הארגון והמשתמש.

 

ועכשיו לחלק השלישי והאחרון...

 

3. היכולת להיות עצמאי עם הכלי לעומת קהילה אקטיבית ותמיכה טכנית...

"למה???!!!"

זאת הייתה הזעקה שלי אחרי שסיימתי לעבור על שני החלקים הראשונים ברשימה שלי.

עד שהגעתי לשלב הזה כבר הייתי מאוהב בכלי – ממשק נוח וטוב, חוות דעת מעולה מכל הגורמים בחברה שהשתתפו בפיילוט (כולל בודקים, מפתחים ומנהלי מוצר)... העתיד היה ורוד, או לפחות ירוק ואדום, תלוי בכמה באגים נפתחו...

אבל כמו שכולנו לומדים בחיים, "שום דבר הוא לא מושלם" וככה גם Lean Testing.

כשזה מגיע ליכולת להיות עצמאי בשטח עם הכלי, LT הוא באמת אחד מהכלים הטובים יותר והאמת שלא מצאתי צורך במשך חודשיים של עבודה אתו בליצור קשר עם התמיכה הטכנית – הוא בעל רמת גימור גבוהה עם אחוז נמוך של תקלות.

אבל לצערי דווקא בעולם התמיכה והקהילה LT נופלת משאר המתחרות.

"ככה זה כאשר המוצר הוא לא מה שמכניס את הכסף לחברה" אמר לי חבר ומנטור יקר.

בניסיונות ליצור קשר עם החברה על מנת לברר פרטים טכניים הקשורים לאינטגרציות שונות ואפילו אפשרויות תשלום נוספות לא היה מענה. מתוך ארבעה מיילים שנשלחו בפרק זמן של שבועיים התשובה היחידה שהתקבלה נראתה כמענה אוטומטי בלבד. נכון למועד כתיבת הסיקור עבר מעל לחודש משליחת המייל האחרון ועודני ממתין...

לגבי הקהילה זה נתון למחלוקת, אנשים כן מעלים שאלות בפורום ומדי פעם הם מקבלים תשובות ממשתמשים אחרים. אני לא ראיתי תשובה שניתנה על ידי אדם אשר מייצג את הכלי בחצי השנה האחרונה בפורום.

אבל אני כן חייב לציין שרעיונות שאנשים מעלים מיושמים על – ידי המפתחים של הכלי, אז קשה להבין את צורת החשיבה שלהם.

 

אז לסיכום:

הכלי הינו כלי טוב ונוח לשימוש אשר יענה על רוב הצרכים של חברות קטנות בשלבי ההקמה וכנראה גם בשנותיה הראשונות, אבל כתוצאה מחוסר תמיכה וקהילה אקטיבית תמיד קיים הסיכון שמשהו לא צפוי יקרה.

אני לא הייתי ממליץ את הכלי הזה לחברות גדולות או תאגידים לא רק מבחינת אבטחה (שוב מדובר ב-cloud בלבד) אלא גם מרמת הביטחון הנדרש מכלים שחברות ותאגידים כאלו דורשים.

מי שכן יחליט להשתמש בכלי הזה צריך להיות מוכן מנטלית שמיגרציה לכלי אחר היא אפשרות נדרשת בהמשך הדרך.
(ניתן לייבא ולייצא את הבאגים והבדיקות שנכתבו לפורמט CSV - כאשר באגים ניתן גם ל-xlsx).


ציונים:

מענה לצרכים של החברה: 8/10
נותן למשתמש חווית שימוש טובה: 10/10
תמיכה וקהילה: 3/10

סה"כ ציון: 7


תודה על הסבלנות בקריאה, אני מקווה שהסיקור הזה עזר למי שמתעניין במידע על Lean Testing.
במידה ויהיה ביקוש סיקורים נוספים יועלו.

שגיא וכמן - מנהל בדיקות בחברת "מרכבה".
מעל 13.5 שנים בתחום הבדיקות בתחום המובייל, דסקטופ, ווב וחניכת בודקים חדשים.
בשעות הפנאי (אם יש כאלה) כותב ספרי פנטזיה.
Linkedin Profile

meme small

שונה לאחרונה ב שני, 24 אפריל 2017 09:13

חובה להיות משתמש רשום במערכת בכדי להגיב - ההרשמה/כניסה בכותרת האתר

חדשות מעולם הבדיקות

  • How to Apply Shift-Left Testing in Continuous Testing?

    In today’s fast-paced market, the demand to deliver quality software products in a cost and time-effective manner continues to accelerate. When you get the software to market faster, you gain a competitive advantage. Shift-left testing and continuous testing is a great combination to accommodate that need. To help you better understand these two notions, in this article, we will walk you through the definition of each method, their benefits and how to implement them into your SDLC.   What is Continuous Testing? Continuous Testing is a software testing type in which the product is evaluated early, often, and throughout the entire continuous delivery process. In short, continuous testing is all about testing early and often.  You may ask why continuous testing is so valuable, the answer is saving time. Incorporating continuous testing into your organization’s testing strategy accelerates your time-to-market but keeps the quality your customers expect. Moreover, this testing type also enables constant feedback for developers to fix bugs before being released to production, and as such, make the process run much faster.  Learn more: Continuous Testing 101 | All You Need To Know What is Shift-Left Testing? Shift-left testing is an approach of bringing testing earlier into the The post How to Apply Shift-Left Testing in Continuous Testing? appeared first on Abode QA.

    20.08.2019 | 4:29 קרא עוד...
  • Mascot Memoirs — Sunderland 2 — Portsmouth 1

    Mascot Memoirs — Sunderland 2 — Portsmouth 1I have had a great weekend. For many reasons.1 — It was a looong weekend, I was off Friday and Monday 😊2 — I had a Daddy and Daughter day yesterday where we went to the farm and had a lovely day together 💕3 — The kids wanted to go out litter picking so we went yesterday together and they loved it ❤4 — Sunderland beat Portsmouth 2–1 ⚽5 — Finley got to be mascot and meet all the players and manager at Sunderland AFC for his birthday present 🎁In case you were wondering this post is going to be about numbers 4 and 5.Let’s talk about the big one, for Finley’s 8th birthday, my wife and I paid for him to be mascot for a game, for £170 you get 2 tickets to the game (1 for an adult and 1 for the mascot), a home kit, 10% off voucher for the stadium shop, autograph book, pen, bag and a program — which I didn’t think was too bad. Especially when compared to other clubs ( https://www.90min.com/posts/6264530-11-of-the-most-expensive-mascot-prices-charged-by-premier-league-clubs). We chose this game for a number of reasons, it’s always a big game against Portsmouth, we were away the other week for the first home game of the season against Oxford and with it being live on Sky meant we could record it and watch it back again and again and again as has proven the case!Finley had been mascot before, but away at AFC Wimbledon, which was a great experience for him, but this was his first time being mascot at Sunderland, so[…]

    20.08.2019 | 3:28 קרא עוד...
  • 84: CircuitPython - Scott Shawcroft

    Adafruit enables beginners to make amazing hardware/software projects. With CircuitPython, these projects can now use Python. The combination of Python's ease of use and Adafruit's super cool hardware and a focus on a successful beginner experience makes learning to write code that controls hardware super fun. In this episode, Scott Shawcroft, the project lead, talks about the past, present, and future of CircuitPython, and discusses the focus on the beginner. We also discuss contributing to the project, testing CircuitPython, and many of the cool projects and hardware boards that can use CircuitPython, and Blinka, a library to allow you to use "CircuitPython APIs for non-CircuitPython versions of Python such as CPython on Linux and MicroPython," including Raspberry Pi.Special Guest: Scott Shawcroft.Sponsored By: Patreon Supporters: Help support the show with as little as $1 per month and be the first to know when new episodes come out. Links: CircuitPython Downloads — All the products that run CircuitPython Learning Guides with CircuitPython Loading CircuitPython on Circuit Playground Express Adafruit Discord Server Scott Shawcroft (@tannewt) / Twitter Adafruit-Blinka

    20.08.2019 | 2:00 קרא עוד...

טיפים

לרשימה המלאה >>