תהליכי עבודה
תהליכי עבודה הם צינורות אוטומציה לשימוש חוזר המעבדים תעבורה שנלכדה, מריצים שלבים פעילים או ממירים נתונים, בלי צורך לכתוב סקריפטים עצמאיים.
סוגי תהליכי עבודה
| סוג | מופעל בעקבות | שימוש נפוץ |
|---|---|---|
| פסיבי | תעבורה חדשה שנלכדה | סימון תבניות מעניינות, תיוג בקשות ויצירת ממצאים אוטומטית. |
| פעיל | הרצה ידנית | שליחת בקשות המשך, שרשור פעולות וביצוע בדיקות מרובות שלבים. |
| המרה | קלט בדיקה, פעולות המרה או התאמה והחלפה | המרת טקסט או בתים, כגון עיצוב JavaScript או נרמול JSON. |
תהליכי עבודה פסיביים פועלים ברקע ברציפות. תהליכים פעילים רצים לפי דרישה על קבוצת בקשות שנבחרה.
משטח תהליך העבודה
פתחו תהליכי עבודה ובחרו תהליך כדי לפתוח את המשטח שלו.
- צמתים מופיעים בלוח המרכזי. לכל צומת יש חיבורי קלט ופלט בעלי סוג מוגדר.
- חברו חיבור פלט לחיבור קלט בלחיצה ובגרירה ביניהם.
- לחצו על צומת כדי לפתוח את לוח התצורה שלו מימין.
- סרגל הכלים למעלה כולל פקדי הרצה, הפעלה והשבתה, ייבוא וייצוא.
סוגי צמתים
| צומת | תיאור |
|---|---|
| התחלה / סיום | צמתי כניסה ויציאה המתאימים לסוג תהליך העבודה: פסיבי, פעיל או המרה. |
| תנאים | אם / אחרת, אם / אחרת JS, התאמת HTTPQL, התאמת תחום, מכיל מחרוזת והתאמת ביטוי רגולרי. |
| קידוד | קידוד ופענוח Base64, URL, הקסדצימלי ו-HTML. |
| עיצוב וגיבובים | מזעור ועיצוב JSON, MD5, SHA-1 ו-SHA-256. |
| פעולות טקסט | הסרת רווחי קצה, חיבור, פיצול, התאמה והחלפה, המרת JQ וחילוץ Grep. |
| JavaScript | לוגיקה מותאמת באמצעות SDK של תהליך העבודה; יכולה לקרוא תעבורה, לפעול על קבצים וליצור ממצאים. |
| שילוב | רישום יומן, Webhook, הפעלת תהליך עבודה, שליחת בקשה וכלל התאמה והחלפה. |
השתמשו בלוח הצמתים לחיבורים ולתצורה בפועל. לחצו על חיבור כדי לעבוד על הקישור במקום למחוק צומת כדי לחבר מחדש את הגרף. שמרו באמצעות שמירה או Ctrl+S, וב-macOS באמצעות Command+S.
שיתוף ותחום
תהליכי עבודה משותפים בין פרויקטים באותה סביבת עבודה כברירת מחדל. הפעילו ייחודי לפרויקט כדי לשמור הגדרה עם הפרויקט שלה. הגדרות משותפות אינן אומרות שהתעבורה, התוצאות או ההערות של כל פרויקט הופכות למשותפות. ייצאו וייבאו JSON של תהליך עבודה בעת מעבר לסביבת עבודה או התקנה אחרת.
בדיקה לפני שימוש חי
לתהליכי עבודה פסיביים ופעילים יש סעיף בדיקת HTTP עם נתוני בדיקה ל-URL, בקשה גולמית ותגובה גולמית. הפעילו את התהליך, מלאו את השדות ולחצו על בדיקת תהליך העבודה. הבדיקה שומרת שינויים לפני הביצוע. ערכי הבדיקה נשמרים לכל תהליך כשעוזבים את העמוד וחוזרים אליו.
לתהליך המרה יש במקום זאת קלט לבדיקה ופלט. התחילו בקלט מייצג קטן, ואז בדקו משאב בגודל מציאותי. נתוני בדיקה אינם הופכים JavaScript שרירותי או צמתי שליחת בקשה לבלתי מזיקים: קוד התהליך עדיין יכול לבצע את הפעולות שהוגדרו לו.
JavaScript וקבצים
JavaScript בתהליך עבודה תומך ב-SDK של Ogma ובייבוא תואם של fs/path. השתמשו ב-sdk.fs.readFile, writeFile, appendFile, exists, readDir, mkdir ו-unlink לפעולות קבצים, וב-sdk.path לנתיבים המותאמים לפלטפורמה. אלו כלי עזר של Ogma, לא כל הספרייה הסטנדרטית של Node.js.
לייצוא משאב, קראו את response.getBody().toText(), בחרו יעד בעזרת sdk.path.join, צרו את תיקיית האב שלו ובדקו sdk.fs.exists אם אינכם רוצים לדרוס קובץ קיים. בדקו נתיבי מערכת קבצים לפני ביצוע: כלי העזר למערכת הקבצים של תהליך העבודה פועלים במארח Ogma, בניגוד ל-sdk.fs של תוסף הפועל בתיקייה הפרטית שלו. ראו SDK לתוספים לסביבת הריצה הנפרדת הזו.
ייבוא תהליך עבודה
- לחצו על ייבוא בסרגל הכלים של תהליכי העבודה.
- בחרו קובץ JSON של תהליך עבודה.
- התהליך נפתח במשטח. בדקו את תצורת הצמתים לפני הפעלתו.
- שמרו את התהליך.
ניתן לשתף קובצי JSON מיוצאים של תהליכי עבודה בין התקנות Ogma או לשמור אותם בבקרת גרסאות.
הרצת תהליך עבודה על היסטוריה שנלכדה
ניתן להריץ שוב תהליכי עבודה פעילים על בקשות שנלכדו בעבר.
- פתחו את התהליך.
- לחצו על הרצה על ההיסטוריה.
- בחלון סריקת ההיסטוריה, הזינו מסנן HTTPQL אופציונלי כדי להגביל אילו בקשות יעובדו.
- לחצו על הרצה.
בדקו את מספר ההתאמות והתחילו את המשימה. התקדמות ושגיאות מופיעות במשימת הסריקה, וכאשר רישום היומן מופעל גם בהיסטוריית ההרצות שלה. תהליכים פסיביים מציעים סריקת ההיסטוריה ו-הרצה חוזרת על בקשה לעיבוד בדיעבד.
לכמה משאבים מעניינים, בחרו שורה אחת או יותר בהיסטוריית HTTP, לחצו לחיצה ימנית, בחרו שליחה לתהליך עבודה ובחרו תהליך פעיל ומופעל. הדבר מזין אליו את הרשומות שנבחרו בלי לשנות את הגדרתו או לעבד את כל ההיסטוריה.
כפתור בינה מלאכותית לצד קלט מסנן סריקת ההיסטוריה מייצר ביטוי HTTPQL מתיאור בשפה טבעית.
הרצות ותוצאות של תהליך עבודה
הפעילו הפעלת רישום ביומן בתצורת התהליך כאשר נדרשים פרטי ביצוע. זה חל על תהליכים פסיביים, פעילים והמרות, כולל המרות בהתאמה והחלפה. כשהרישום מושבת, העיבוד עדיין מתבצע אך אינו מוסיף יומני הרצה או שלבים; הפעילו אותו מחדש וחזרו על בדיקה לאבחון בעיה.
- לחצו על הרצה לצפייה בפלט שלבים לכל צומת.
- צמתים שיצרו שגיאות מודגשים.
- ממצאים שנוצרו בהרצה מופיעים בתצוגת ממצאים.
- משתנים שחולצו בהרצה מוצגים בלוח פרטי השלב.
ניקוי הכול מסיר את היסטוריית ההרצות השמורה של התהליך שנבחר. הורידו יומנים לפני ניקוי אם נדרש לשמור ראיות לניפוי שגיאות. היומן יכול לשמור פלטים גדולים כגון גופי סקריפטים שלמים, לכן השאירו אותו כבוי להמרות בנפח גדול אלא אם הוא נדרש.
הפעלת תהליך עבודה פסיבי
- פתחו את התהליך.
- ודאו שתצורת המשטח מלאה ושאין חיבורים נדרשים שאינם מחוברים.
- שנו את המתג הפעלה בסרגל הכלים.
תהליכים פסיביים מופעלים מעבדים תעבורה חדשה אוטומטית. השביתו תהליך כדי להשהותו בלי למחוק אותו.