LOGIN
התחברות או הרשמה
Avatar
להמשך הרשמה ידנית – לחץ על כפתור ההרשמה, להרשמה/כניסה מהירה בעזרת חשבון רשת חברתית – לחץ על הלוגו בכותרת

אפס סיסמה - שכחתי את שם המשתמש

שם משתמש
סיסמה
זכור אותי

he icon   en icon

בכדי להוסיף פוסט בבלוג יש להרשם או להתחבר - ההרשמה/כניסה מתבצעת מכותרת האתר.

מי מאתר תקלות טוב יותר - צוות בודקים פנימי בחברה או משתמשי בטה?

נכתב על ידי 
חמישי, 26 יוני 2014 11:34
דרגו כתבה זו
(1 הצבעה)

לפני מספר חודשים, פרסמנו מאמר על בחירת מתודולוגיות בדיקות תוכנה. מהי הטכניקה משיגה את התוצאות הטובות ביותר (כלומר הפגמים הקריטיים ביותר, הדיווחים באיכות הגבוהה ביותר, את התיקונים הקריטיים הדורשים את תשומת הלב הגדולה ביותר, באיזה מהן מחזור הבדיקות מהיר יותר, וכו')?

המאמר קיבל לא מעט תשומת לב, ואחד הקוראים העלה שאלת המשך מעניינת: "לאחר בחירת המתודולוגיה 'הכי טובה', עולה השאלה איך כדאי ליישם אותה. האם בדיקות ע"י צוות מקומי/פנימי לחברה או שמא בעזרת פתיחת התהליך לבדיקות הקהל הרחב (בטה פתוח)?"

זו שאלה נהדרת, מאחר ויש סיבות משכנעות לשימוש בכל אחת מהגישות הללו.

הבה ונבחן זאת.

בעד בדיקות תוכנה על ידי צוות בודקים

כבודקי תוכנה מקצועיים, אנחנו ב Testuff מוטים באופן טבעי לצד זה. כנראה בטוח להניח, שרובכם - הקוראים פוסט זה - גם כן.

הנה מה שאנחנו אוהבים בבדיקות תוכנה הנעשות "בבית":

· אתה יכול למנף את העוצמה של בודקים מומחים היודעים בדיוק מה לחפש.

· אתם נהנים מצוות מסור, שעובד באופן בלעדי בבדיקות (במקום בדיקה אד הוק על ידי משתמשים מפוזרים, שרבים מהם ללא כל סוג של הכשרה מקצועית).

· צוות מסור זה מכיר את הקוד, את הפונקציונליות של המוצר, ומה "צריך" להיות. הצוות מבין איך המוצר אמור להתנהג ומה לצפות ממנו.

· יש לבודקים גישה ישירה לשאר צוות הפרוייטק, בראש ובראשונה לצוותי הפיתוח אל גם לאנשי השיווק, חשבונאות, ניהול, וכל המחלקות האחרות הנדרשות להשקת מוצרים מוצלחת (כפי שצוין במאמר קודם, תקשורת זו חיונית להבטחת איכות ומסירה).

· בדיקה פנימית מייצרת פחות כפילויות. ברגע שפגם שנמצא תוקן, הפיתוח יכול להמשיך. בבדיקה 'ציבורית' פתוחה לקהל לעומת זאת, לעתים קרובות יתקבלו דיווחי תקלות חוזרות ונשנות - "טבחים רבים מדי במטבח" שיצביעו כולם על תקלה, שאפשר וצריך לדווח עליה רק פעם אחת.

בכנות, קשה לנצח את היתרונות הללו. בדיקות תוכנה מקומיות הם נכס יקר מדי לוותר עליו, מה שמסביר מדוע בדיקות תוכנה מייצגות 80% מתוך תקציבי פיתוח תוכנה.

בואו נסתכל על כמה מן היתרונות של בדיקות "בטה" פתוחות לקהל הרחב.

בעד בדיקות תוכנה על ידי קהל הלקוחות

אחת הסיבות מדוע חברות משתמשות בגרסאות בטה הוא ליצור 'באזז'. אתה יכול ליצור התרגשות ושיח ברשת, עם השקה "רכה" ולא רשמית, לפני שחרור המוצר שלך באופן מלא ורשמי.
מנקודת מבט שיווקית, זה פנטסטי. אבל האם בדיקות בטה על יד קהל המשתמשים מייצרות תוצאות טובות יותר?

או טובות בכלל?

בואו נבדוק זאת:

· תלוי עד כמה גדול "הציבור", חוק המספרים מצביע על כל ש"הם" יגלו יותר באגים מכל צוות בדיקות פנימי ובזמן קצר יותר. במילים פשוטות crowdsourcing עובד, ובדיוק בגלל זה "ויקיפדיה" מקיפה יותר מאנציקלופדית בריטניקה...

· משתמשים (הפועלים כבודקים עכשיו) יבחנו ויבדקו את המוצר מכל זווית אפשרית. הם יגיעו למקומות ומצבים, שצוות הבדיקות לא יעלה על הדעת לבדוק אותם.

· הלקוחות שלך, המשתמשים/גולשים, עובדים עם מחשבים שונים, פלטפורמות שונות, רזולוציות מסך מגווונות ומערכות הפעלה רבות. זהו יתרון משמעותי - במיוחד אם הצוות שלך פועל בסביבה אחת זהה, וכאשר התקציב שלך מוגבל (והוא תמיד מוגבל...).

· המשתמשים מסתמכים על אחת ממתודולוגיות בדיקות התוכנה הטובות ביותר שנוצרו אי פעם. הם משתמשים במוצר בפועל - ולא בתאוריה. האם אין זו תוכנה במבחן האולטימטיבי?

· לא פחות חשוב, הם משתמשים בתוכנה במגוון רחב של יישומים - לעתים קרובות מעבר להיקף שצוות הבדיקות שלך יכול לתכנן ולהכיל.

· למרות שאין למשתמשים בהכרח הכשרה בבדיקות, הם "באים" בגדלי צוות גמישים ומציעים כיסוי של 24/7 לבדיקות גלובליות, לעומת משמרות מקומיות של 8 שעות.

· אנשים מבחוץ אינם סובלים מחשיבה קבוצתית. הם יכולים להציע בדיקות מציאותיות ולתת לך תמונה טובה למדי, אם המוצר עונה על הציפיות ומצדיק המשך פיתוח (לפני שאתה משקיע משאבים נוספים בפרויקט).

· ואחרון חביב, בדיקות בטה פתוחות לציבור נעשות בחינם. אתה יכול להשתמש בצבא של בודקים, מבלי לבזבז אגורה.

כל אלה הם יתרונות משמעותיים. אבל האם הם מספיקים כדי להפוך את גרסת בדיקות הבטה למועדפת?

איזה סוג בדיקות כדאי לבחור?In House או Beta?

בדיקות בטה נעשות ללא תשלום. יש להם ערך שיווקי רב. יש להם גם את הפוטנציאל למצוא תקלות קריטיות ורבות יותר במספר מכל צוות בדיקות, אפילו הטוב ביותר.
נראה כי הבחירה ברורה.

אבל היא לא.

אנחנו מאוד ממליצים על שימוש בשני סוגי הבדיקות. והנה הסיבות.

באופן מעשי, חובה לשחרר מוצר שהגיע לרמת בשלות גבוהה דיה, בכדי להחשף ללקוחות. אם תשחרר את המוצר עם תקלות רבות מדי, תרחיק (ותרגיז) אפילו את הלקוחות הנאמנים שלך.

בדיקות בטה הם באמת חופשיות רק אם המוצר מוכן לציבור. ברור, אתה יכול להפחית באופן דרמטי את עלויות פיתוח התוכנה אם תמנף את כוחם של ה"מתנדבים". אבל יש סכנה גדולה לתדמית החברה אם המוצר מוצג בטרם עת.. הנזק האפשרי למוניטין עולה בהרבה על כל חיסכון כספי שאתה יכול ליהנות ממנו.

הגישה הטובה ביותר לפיכך היא לתת לצוות הבודקים שלך למצוא כל מה שהוא יכול, למצות את כל האפשרויות, לחקור כל זווית אפשרית, ולא להפסיק עד שלהערכתך המוצר מוכן. ואז (ורק אז) לשחרר את התוכנה שלך ולאפשר למשתמשים להמשיך את הבדיקות (ואל תדאג - הם ימצאו :-).

OneVsMany

שונה לאחרונה ב שני, 30 יוני 2014 18:59

חובה להיות משתמש רשום במערכת בכדי להגיב - ההרשמה/כניסה בכותרת האתר

חדשות מעולם הבדיקות

  • Five Blogs – 18 October 2018

    The (best) five blogs I read today. Check them out. What Is Data Democratization? A Super Simple Explanation And The Key Pros And Cons Written by: Bernard Marr What’s getting Agile down? Written by: Gary Watts Future of AI in Testing (Will You Be Replaced?) Written by: Joe Colantonio Jeff Hawkins Is Finally Ready to Explain His Brain Research Written by: Cade Metz Lower level Automation and testing? Be more precise! The Automation triangle revisited…again! Written by: Toyer Mamoojee Quote of the day: “When you’re young, being different is not cool. But when you’re older, it absolutely is.” -Lane Moore You can follow this page on Twitter

    17.10.2018 | 11:36 קרא עוד...
  • The Automated Regression Suite. Part 2 of 3. When to run the tests.

    Once you have your automated regression suite in place, you can create a scheduler to run them periodically, without any manual intervention. Mostly you will use Jenkins jobs (or some similar CI tool) to trigger them and have them running on an environment of your choice. Just because they are called “regression tests” it does not mean they are only meant to be run once before a release. They are in place to help validate your system, so you can run them as often as you want. But how often do you want to run them? That really depends on some factors like: how often are you releasing, how often are you committing, how many other services is your software dependent on, how often are those services also released, and so on. How often you are releasing determines the amount of new or changed code that needs to reach production. If you are releasing once a year, the amount of such code will be huge. If you release every two weeks you will have less such code, and in case a failure would occur in the software, it would be much easier to pinpoint the root of the problem (as compared to the one-year release cycle). If you are releasing rarely, with large amounts of time between releases, you really should run your tests at least once a week. From my experience, this test run frequency makes running these tests worth it, since you have a good amount of changed[…]

    17.10.2018 | 11:17 קרא עוד...
  • Let’s stop talking about testing, let’s start thinking about value

    Let’s stop talking about testing, let’s start thinking about value This year Alex Schladebeck and I did two keynotes titled “Let’s stop talking about testing, let’s start thinking about value” at QA Expo in Spain and TestNet in the Netherlands. This blogpost has the most important points we made in our talk. The keynote was inspired by some of our frustrations: “Testing is under appreciated” (Alex) and “Most testers are unable to explain what we do” (Huib). I wrote about my frustration back in 2016 already. This blogpost is about my frustration that most testers cannot come up with a decent definition of testing. And even worse: a big majority of the people who call themselves professional testers are not able to explain what testing is and how it works! They have trouble explaining what they are testing and why they are doing specifically the thing they are doing! How can anybody take a tester seriously who cannot explain what he is doing all day? Alex’s frustration is that testing is not valued by others. Developers are seen as the rockstars of the project because they create the software that adds value. But why are testers often not valued? Lowered expectations for testing expertise by stuff like ISO standards and ISTQB: I wrote about certification and standards before. ISTQB and standards put too much emphasis on process and documentation, rather than the real testing. By assuming there can be a standard, you say that there is one best way to organize and document your testing. But isn’t your test strategy[…]

    17.10.2018 | 5:05 קרא עוד...

טיפים

  • טיפים לאוטומציה יעילה - Dale Emery
    טיפים לאוטומציה יעילה - Dale Emery (How to Survive the Coming Test Automation Zombie Apocalypse (PDF slide deck By Dale Emery bit.ly/15XFGkp סט שקופיות מעולה המתאר את מרבית המחלות התוקפות פעילויות אוטומציה - ומדגיש כיצד לטפל בהן! על כל שקופית ניתן לפתוח…
    קרא עוד...
  • אל תחכה שיתנו לך הזדמנות
    אל תחכה שיתנו לך הזדמנות אם אתה רוצה להתפתח - אל תחכה שיתנו לך הזדמנות, קח אותה - למד, בצע והדגם הדבר בזמנך הפנוי - מישהו כבר יאמץ את זה וייתן לך את הקרדיט.   טיפים מחברי ITCB-AB
    קרא עוד...
לרשימה המלאה >>