LOGIN
התחברות או הרשמה
Avatar
להמשך הרשמה ידנית – לחץ על כפתור ההרשמה, להרשמה/כניסה מהירה בעזרת חשבון רשת חברתית – לחץ על הלוגו בכותרת

אפס סיסמה - שכחתי את שם המשתמש

שם משתמש
סיסמה
זכור אותי

he icon   en icon

בכדי להוסיף פוסט בבלוג יש להרשם או להתחבר - ההרשמה/כניסה מתבצעת מכותרת האתר.

מיישמי אוטומציה – איזו מין חיה זו?

נכתב על ידי 
שישי, 02 מאי 2014 06:10
דרגו כתבה זו
(1 הצבעה)


לפני כמה חודשים קראתי את הפוסט הקצר הזה, גירדתי קצת בראשי, אמרתי לעצמי "טוב, אני לא מסכים עם זה אפילו קצת" והמשכתי הלאה בחיי.
מאז, כבר פעמיים או שלוש (שאני זוכר) שראיתי את קובי מקשר לפוסט הזה במסגרת דיונים. בכל פעם נזכרתי שוב שצריך לפתוח את הדיון סביב השאלה "מה היא אוטומציה ואיך צריך להתייחס אליה?". ואז הייתי עסוק ושכחתי.
בגדול, יש שלוש נקודות שמפריעות לי:
1) מה שעושה "מיישם אוטומציה" *אינו* אוטומציה, וכל דבר מעבר לטווח המיידי, גם אינו יעיל.
2) ההפרדה בין התפקידים מסרבלת את המערכת ומובילה לקוד פגום שאינו מותאם לצרכים.
3) הנקודה החשובה ביותר נשמטה ממנו – מי שמתעסק באוטומציה למוצרים הוא בראש ובראשונה בודק.

ועכשיו, עם טיפ-טיפה יותר פירוט.

אוטומציה, במובנה הפשוט ביותר, היא ביצוע פעולה על ידי מכונה בלי התערבות אנושית תוך כדי הפעולה (עד כדי לחיצה על כפתור "הפעל"), בהקשר הזה אפשר עוד לקבל את הטענה שמשתמשים שיכולים רק להפעיל כלים שאחרים כתבו בשבילם עושים "אוטומציה". אבל בעולם הבדיקות יותר ויותר מקומות מבינים שאוטומציה אמורה להתקדם עם המוצר הנבדק, להיות יעילה וניתנת לתחזוק.
במובן הזה, מי שמשתמש בתשתית בדיקות וגורר "אבני בניין" כדי להרכיב מקרי בדיקה אולי חוסך לעצמו זמן כשהוא צריך להריץ את אותה בדיקה תשע פעמים, אבל ביום בו אחת מאבני הבניין שלו תצטרך להשתנות הפער בין קיצור הדרך הזה לבין אוטומציה של ממש יבלוט באופן כואב.

יש היום בשוק לא מעט כלים שמתיימרים לספק לבודק חסר יכולת התכנות את היכולת לכתוב בדיקות אוטומטיות. חלקם בעלי מוניטין מפוקפק (מישהו אמר QTP?) חלקם ממש טובים במה שהם עושים (SoapUI, למשל, די מרשים) אבל לכל אלה בהם נתקלתי, יש חיסרון אחד מובנה – ההפרדה בין תשתית בדיקות לבין הגיון עסקי מובילה לכך שהמיישמים מוצאים את עצמם עם עשרות או מאות "תרחישים" שכל אחד מהם מורכב ממספר לא קטן של אבני בניין תלויות זו בזו. חלק גדול מדי מהכלים שראיתי לוקה ביכולת ניהול הזרם (תרגום עקום שלי לflow control) - הטובים שבהם ייתנו לבודק אפשרות לומר "אם הבדיקה עברה, לך לכאן, אם היא נפלה לך לשם", אבל אם אבן בניין יכולה להיכשל בכמה דרכים שונות (למשל, ניסיון כניסה למערכת יכול להיכשל עם שגיאה בגלל סיסמה שגוייה, עם הודעת שגיאה בגלל תקלת מערכת, או עם דף שפשוט לא זז) ואני לא נתקלתי ב"תשתית" שמאפשרת ירידה לרזולוציה שנדרשת לפעמים בניהול הזרם.

בנוסף – קיומם של עשרות תרחישים גורם לכך ששינוי של אבן בניין יהיה יקר מאוד – זה אמנם לא זול לשנות API במוצר תוכנה קיים, אבל ברוב הכלים בהם נתקלתי, הניהול נעשה דרך ממשק גרפי ולא באמצעות טקסט, מה שמאריך פלאים את הזמן הנדרש לביצוע השינוי.

ודבר אחרון לגבי איכות הבדיקות שנכתבת על ידי מיישמים שמקבלים דברים מוכנים מראש - בסופו של יום, אף כלי לא יכול לעשות הכל, בטח שלא מייד. וכמו הטיפוס שקיבל ליד פטיש ופתאום כל בעיה נראתה לו כמו מסמר, גם כאן – אם התשתית מאפשרת רק פעולות מסוג מסויים, הבדיקות האוטומטיות תהיינה מהסוג הזה. אין צעד של "בדוק לוגים"? כותבים בדיקות שלא מחפשות שגיאות ומחמיצים לא מעט.

עד כאן לגבי הנקודה הראשונה. על למה מיישמי אוטומציה יתקשו מאוד לייצר משהו נורמלי. אבל, גם אם נתעלם מזה לרגע, ישנה בעיה חמורה יותר – ההפרדה מובילה למצב בו מי שכותב את התשתית לא צריך לבצע בדיקות בעצמו, לא משתמש בה ולא באמת יודע מה עושים איתה.
ומעשה שהיה כך היה – לפני בערך שנה נכנסנו למשימה בה יחס העבודה היה 3:1 בין הבודקים למפתחים (שלוש משימות בדיקה מול כל משימת פיתוח. משימה, לצורך העניין, היא משהו שאמור לקחת כיום עבודה לאדם אחד), בשל חופשות ושאר בלת"מים יחס האנשים היה 1:5 (בודק אחד, חמישה מפתחים) היה לנו ברור איפה נמצא צוואר הבקבוק הפעם. כדי להתגבר על זה, החלטנו להעביר למפתחים שתי משימות גדולות יחסית – הוספת היכולת של מערכת האוטומציה שלנו לייצר קבצי אקסל בצורה מסויימת, וייצור של קבצי XML. אפילו קיבלנו את מה שביקשנו – אלא מה? בשני המקרים, כדי שאוכל להשתמש במה שקיבלתי, הייתי צריך לבלות בין חצי יום ליומיים בעטיפה של הכלים שקיבלתי והתאמה שלהם לשימוש. זה עדיף על פני חמשת הימים שהיה לוקח לי לכתוב את הכל מאפס, אבל זה משהו שלא היה קורה אילו מישהו מהבודקים האחרים היה מייצר את הקוד הזה. זה קרה למרות שישבתי עם המפתחים והגדרנו יחד מה אני צריך ואיך אני רוצה שזה יתנהג. גם קיבלתי את מה שביקשתי.
מה לא קיבלתי? את מה שלא ידעתי לבקש מראש, או את מה שחשבתי שברור מאליו. שכחתי לבקש שאם ב90% מהמקרים רוב הפרמטרים קבועים אני לא רוצה להגדיר אותם מחדש עם כל אובייקט. ברור לי לגמרי שאם אני רוצה להכניס קבצים למערכת הבדיקות שלי לא מספיק לי לקבל .jar ואני רוצה את קבצי המקור כדי לשנות במידת הצורך. כל מיני דברים קטנים כאלה. חלק מהם אני מאמין שאפשר לפתור אם עובדים ככה לאורך זמן, חלק אחר יישאר, לדעתי, כל עוד יש פער בין כותב הכלי למשתמש.
עוד נקודה חשובה - במצב בו מישהו אחר כותב לי את התשתית, בקשות לשיפורי תשתית רלוונטיות רק במקרי קיצון, ולא תמיד אפשריות. למשל – העברנו את העבודה שלנו מול מסד הנתונים להיות מבוססת על מיפוי של כל הטבלאות לאובייקטים (Hibernate, אם להיות ספציפיים) – זה מצריך אותנו למפות כל טבלה, וחוסך לנו שכפול עצום של כתיבת אותו SQL כמעט. אם אני צריך לבדוק פעם שדה א' ובבדיקה אחרת שדה ב' לפי אותו where – אני מבקש את האובייקט ומתחקר אותו. לו כתבתי "תשתיות אוטומציה", המעבר הזה היה לא הגיוני. למה שאייצר תשעים אבני בניין, כשאני יכול לספק אחת שמקבלת מחרוזת SQL והוראות חיבור למסד הנתונים? פרוייקט הבדיקה שהיה מסתמך על התשתית שלי היה משכפל שאילתות וחורק בשיניו בכל פעם בה טבלה משתנה וצריך לעדכן את השאילתות עליה.

ולנקודה האחרונה:
ג'יימס באך טוען כאן שבודק לא חייב לדעת לתכנת, אבל אם הוא לא יודע לתכנת הוא צריך לדעת לגרום למתכנתים לכתוב בשבילו את הכלים שהוא צריך. בעוד שהאמירה הזו נשמעת לי נכונה למדי בהקשר של בדיקות ידניות מתוגברות כלים, תמונת המראה שאפשר להסיק ממנה – שמי שמתכנת בדיקות לא חייב להיות בודק – אינה נכונה בעליל.
משימת תכנות, לפחות כפי שיצא לי להיתקל בה עד כה, משמעה לבצע את המשימה במדוייק וביעילות. תכנות בדיקה, לעומת זאת, היא כמו כתיבת תסריט בדיקה: בראש ובראשונה מדובר בפעילות למידה. לומדים איך התוכנה פועלת, איך היא אמורה לפעול, ואיך אפשר לבדוק אותה. כשאני כותב אוטומציה לדף אינטרנט, למשל, אני לומד איך מוגדרים רכיבי HTML שלו. ככה גיליתי, למשל, שמה שהתייחסתי אליו בבדיקות הידניות בתור דף אחד עם רכיבים שחשופים לפי הרשאה, הוא בעצם שני דפים שונים שנראים דומה. כמו שבמהלך תסריט בדיקה מגלים לא מעט פעמים באגים, כך גם במהלך כתיבת הבדיקה האוטומטית. אם מי שכותב את האוטומציה אינו בודק, הוא ייגש למשימה כמו למשימת פיתוח. אם הוא בודק, אבל לא מכיר את המוצר היטב, היכולת שלו לאתר דרישות שאינן נכונות מבחינה עסקית קטנה יותר.

כל זה מוביל אותי לתהייה – את ההגיון שבשכירת בודקים ידניים ללא יכולת תכנות אני יכול להבין: השקעה באוטומציה דורשת לא מעט משאבים מהארגון, ולפעמים הגיוני להשקיע במקום אחר ולשמור את הבדיקות מסורבלות (וגם לשלם את הקנס שיבוא כשיחליטו להתחיל לבנות אוטומציה. את התועלת שבשכירת בודקים עם יכולות תכנות מלאות אני רואה בחיי היומיום, אבל מה ההיגיון בשכירת "מיישמי אוטומציה"? הכלים המסחריים בשוק מעודדים כתיבת בדיקות קשה מאוד לתחזוקה (וזה הגיוני, כי הכלים האלו כלליים מאוד), החזקת צוות פנימי שיפתח תשתיות אוטומציה ברמה שתאפשר לאלו שאינם מתכנתים לכתוב בדיקות חדשות דורשת את אותו סדר גודל של השקעה כמו שכירת מתכנתים לצוותי הבודקים מלכתחילה ומובילה לבדיקות מוגבלות יותר ומאורגנות פחות עם עלייה מהירה מאוד במחירי התחזוקה. למה שמישהו ירצה לשלם עבור דבר כזה?

שונה לאחרונה ב שבת, 03 מאי 2014 18:10

חובה להיות משתמש רשום במערכת בכדי להגיב - ההרשמה/כניסה בכותרת האתר

חדשות מעולם הבדיקות

  • Five Blogs – 18 October 2018

    The (best) five blogs I read today. Check them out. What Is Data Democratization? A Super Simple Explanation And The Key Pros And Cons Written by: Bernard Marr What’s getting Agile down? Written by: Gary Watts Future of AI in Testing (Will You Be Replaced?) Written by: Joe Colantonio Jeff Hawkins Is Finally Ready to Explain His Brain Research Written by: Cade Metz Lower level Automation and testing? Be more precise! The Automation triangle revisited…again! Written by: Toyer Mamoojee Quote of the day: “When you’re young, being different is not cool. But when you’re older, it absolutely is.” -Lane Moore You can follow this page on Twitter

    17.10.2018 | 11:36 קרא עוד...
  • The Automated Regression Suite. Part 2 of 3. When to run the tests.

    Once you have your automated regression suite in place, you can create a scheduler to run them periodically, without any manual intervention. Mostly you will use Jenkins jobs (or some similar CI tool) to trigger them and have them running on an environment of your choice. Just because they are called “regression tests” it does not mean they are only meant to be run once before a release. They are in place to help validate your system, so you can run them as often as you want. But how often do you want to run them? That really depends on some factors like: how often are you releasing, how often are you committing, how many other services is your software dependent on, how often are those services also released, and so on. How often you are releasing determines the amount of new or changed code that needs to reach production. If you are releasing once a year, the amount of such code will be huge. If you release every two weeks you will have less such code, and in case a failure would occur in the software, it would be much easier to pinpoint the root of the problem (as compared to the one-year release cycle). If you are releasing rarely, with large amounts of time between releases, you really should run your tests at least once a week. From my experience, this test run frequency makes running these tests worth it, since you have a good amount of changed[…]

    17.10.2018 | 11:17 קרא עוד...
  • Let’s stop talking about testing, let’s start thinking about value

    Let’s stop talking about testing, let’s start thinking about value This year Alex Schladebeck and I did two keynotes titled “Let’s stop talking about testing, let’s start thinking about value” at QA Expo in Spain and TestNet in the Netherlands. This blogpost has the most important points we made in our talk. The keynote was inspired by some of our frustrations: “Testing is under appreciated” (Alex) and “Most testers are unable to explain what we do” (Huib). I wrote about my frustration back in 2016 already. This blogpost is about my frustration that most testers cannot come up with a decent definition of testing. And even worse: a big majority of the people who call themselves professional testers are not able to explain what testing is and how it works! They have trouble explaining what they are testing and why they are doing specifically the thing they are doing! How can anybody take a tester seriously who cannot explain what he is doing all day? Alex’s frustration is that testing is not valued by others. Developers are seen as the rockstars of the project because they create the software that adds value. But why are testers often not valued? Lowered expectations for testing expertise by stuff like ISO standards and ISTQB: I wrote about certification and standards before. ISTQB and standards put too much emphasis on process and documentation, rather than the real testing. By assuming there can be a standard, you say that there is one best way to organize and document your testing. But isn’t your test strategy[…]

    17.10.2018 | 5:05 קרא עוד...

טיפים

  • אל תחכה שיתנו לך הזדמנות
    אל תחכה שיתנו לך הזדמנות אם אתה רוצה להתפתח - אל תחכה שיתנו לך הזדמנות, קח אותה - למד, בצע והדגם הדבר בזמנך הפנוי - מישהו כבר יאמץ את זה וייתן לך את הקרדיט.   טיפים מחברי ITCB-AB
    קרא עוד...
  • למדו מתי להשתמש באוטומציה ומתי לא
    למדו מתי להשתמש באוטומציה ומתי לא למדו מתי להשתמש באוטומציה ומתי לא "למדו מתי להשתמש באוטומציה ומתי לא" – תחילה – חשוב ללמוד כי למרות ההבטחות של כמה ממשווקי הכלים אין אוטומציה ללא תכנות, בסופו של דבר עם כל ההקלות שחלק מן…
    קרא עוד...
לרשימה המלאה >>