صحت سنجی و اعتبار سنجی در آباکوس: شبیه سازی، قوی‌ترین ابزار در فرآیند معرفی محصول جدید (NPI) در نظر گرفته می‌شود. این می‌تواند زمان عرضه محصول به بازار را تسریع کند، هزینه های صورتحساب مواد (BOM) را کاهش دهد و از اجرای موفقیت آمیز طرح هایی که رقابت را دور می‌زند اطمینان حاصل کند.
صحت سنجی و اعتبار سنجی در آباکوس
بخش جدایی ناپذیر هر تحلیل و شبیه سازی کامپیوتری، صحت سنجی (verification) و اعتبارسنجی (validation) است، غفلت از هرکدام از این دو، شبیه سازی را دچار مشکلات شدید می‌کند و به اعتقاد بسیاری از متخصصین این حوزه، عملا شبیه سازی بدون صحت/اعتبار سنجی، بی ارزش و غیر قابل اعتماد است.
همچنین انجام صحت/اعتبار سنجی، عدم اطمینان (uncertainty) شبیه‌سازی را کاهش داده و ضریب اطمینان آن را بالا می‌برد.
مدیران برنامه، در حال حاضر به شواهد رسمی در مورد “شبیه سازی مناسب برای هدف نیاز دارند تا بتوانند بر اساس آن اعتماد ایجاد کنند و تصمیم بگیرند. این صحت سنجی و اعتبار سنجی ها باید توسط تحلیلگران و مدل‌سازها (درون تیم تحلیل یا طراحی ) انجام شود تا از درست و صحیح عمل کردن مدل اطمینان حاصل شود.
تعاریف صحت سنجی و اعتبار سنجی
صحت سنجی (Verification)
صحت سنجی فرآیندی است که تضمین می‌کند که مدل بر اساس روابط متغیرهای ورودی و متغیرهای خروجی که در مدل تعبیه شده‌اند، نتایج درستی را تولید یا پیش‌بینی می‌کند.
در واقع صحت سنجی ، از درست بودن رابطه (relationship) درون مدل و اینکه مدل به درستی عمل می‌کند و نتایج را همانگونه که باید باشند، تولید می‌کند، اطمینان حاصل می‌کند.
فرآیند صحت سنجی، کاری به دنیای واقعی و تجربی و یا آزمایشگاهی یا نتایج آنها ندارد.
فرآیند صحت سنجی، به آنچه که باید در طبیعت رخ دهد، اهمیتی نمی‌دهد. صحت سنجی در واقع به دنیای بیرون از کامپیوتر ارتباطی ندارد و فرآیند صحت سنجی، در واقع، بررسی و تعیین می‌کند که مدل تولید شده توسط سازنده مدل، دقیقا همان کاری را انجام می‌دهد که مدلساز «فکر می‌کند» مدلش باید انجام دهد.
صحت سنجی اطمینان حاصل می‌کند که مدل، طوری رفتار می‌کند و کاری را انجام می‌دهد که از او خواسته شده و پیش بینی می‌شود آن‌را انجام دهد.
در واقع در صحت سنجی هدف، جلوگیری از این است که مدلساز وقتی مدل را می‌سازد و انتظار انجام کار A را از آن دارد، مدل برای خودش کار B (B≠A) را انجام نمی‌دهد و مدلساز را به تصور غلط اینکه مدل، دارد کار A را انجام می‌دهد نمی‌اندازد .
برای مثال، فرض کنید کدی (در اینجا مدل همان کد است) نوشته شده است که باید دو عدد را به هم تقسیم کرده و در صورت اعشاری بودن، آن را به سمت بالا گرد کند و عددی صحیح را گزارش کند. مثلا اگر 3 به 4 تقسیم شد باید حاصل را به سمت بالا گرد کرده و عدد 1 را چاپ کند.
صحت سنجی در اینجا بررسی می‌کند که مثلا اگر چنین تقسیمی انجام شد ، آیا کد واقعا کاری که از آن خواسته شده یعنی گرد کردن به سمت بالا را انجام می‌دهد و عدد 1 را گزارش می‌کند؟ یا اینکه مثلا عدد 0.75 را چاپ می‌کند؟ در صورت انجام دومی، یعنی مدل غلط کار می‌کند و باید خطا را یافت و مدل را اصلاح کرد. این چیزی است که صحت سنجی به ما می‌گوید.
اعتبار سنجی (Validation)
اعتبار سنجی فرآیندی است برای اطمینان از اینکه مدل تا حد ممکن دنیای واقعی را نشان می‌دهد.
فرآیند اعتبارسنجی به مدلساز کمک می کند مطمئن شود که مدل صحیح ساخته شده است.
فرآیند اعتبار سنجی به شدت بر داده‌های جمع‌آوری‌شده از دنیای واقعی، و درک مدلساز از فرآیند واقعی متکی است. فرآیند اعتبار سنجی، تضمین می‌کند که مدل در حال انجام همان کاری است که فرآیند واقعی ( و طبیعت) انجام می‌دهد یا انجام خواهد داد.
تفاوت صحت سنجی و اعتبار سنجی در آباکوس
اعتبار سنجی به شدت به داده‌های جمع آوری شده از دنیای واقعی شامل تجربه، مشاهده، آزمایش و… وابسته می‌باشد اما صحت سنجی لزوما اینگونه نیست و اکثرا (یا تقریبا همیشه؟) به داده‌های تجربی و اطلاعات دنیای واقعی ارتباط ندارد یعنی در این مورد دقیقا مخالف اعتبار سنجی است.
کدام مهم تر است؟ صحت سنجی یا اعتبار سنجی
اول صحت سنجی (verification) سپس اعتبار سنجی (Validation)
فرآیند اعتبارسنجی باید پس از تکمیل فرآیند تأیید انجام شود. فرآیند اعتبار سنجی معمولاً شامل داده های واقعی است که می تواند منابع تیم را بیشتر از فرآیند تأیید مصرف کند.
در واقع ابتدا باید معلوم شود مدل، (مطابق آنچیزی که فکر میکنیم باید باشد،) درست کار می‌کند سپس باید ببینیم آیا طبیعت نیز درست کار کردن آن را تایید می‌کند یا نه
چند روش اعتبار سنجی با سناریوهای مختلف
جدول زیر چند روش اعتبار سنجی برای هر سناریو مدلسازی را پیشنهاد می کند.
دشواری های صحت سنجی و اعتبار سنجی در آباکوس
همانطور که گفته شد شبیه‌سازی‌ها برای اطمینان بخش بودن نیاز به صحت سنجی و اعتبار سنجی دارند.
اما صحت سنجی و اعتبار سنجی به این سادگی‌ها هم نیست.
برای مثال ، برای انجام صحت سنجی، یکی از روش‌ها استقلال از شبکه می‌باشد. برای انجام این کار باید یک شبیه سازی چنین بار با تعداد المان‌های متفاوت و زیاد شونده (با رشد تعداد المان‌های حداقل 50%) تکرار شود و مطالعه روی تغییرات خروجی‌های مهم انجام شود و تغییرات نتایج با شبکه بررسی شود تا در یک محدوده ای از تعداد شبکه محاسباتی نتایج مشابه و با اختلاف کم تکرار شوند سپس باید شبکه بهینه انتخاب شود تا هزینه محاسباتی زیاد نشود. اما برای اینکار نیز حداقل یک بار باید ریزترین شبکه‌بندی‌ها را انجام دهید و شبیه سازی را بطور کامل پیش ببرید و این لزوم استفاده از سیستم‌های قوی را در بر دارد.
همچنین در اعتبار سنجی نیز، بعد از اینکه صحت سنجی را انجام دادید و مش مورد نظر بهینه را انتخاب کردید، اکنون باید نتایج خود را با نتایج واقعی آزمایشگاهی یا نتایج واقعی صنعتی، مقایسه کنید تا از واقعی بودن آن مطمئن شوید.
انجام تست‌ها نیز علاوه بر نیاز به تخصص و دانش انجام صحیح آزمایش و شناخت دستگاه‌ها ، هزینه مادی و زمانی را در بر دارد. حتی اگر به جای آزمایش نیاز، قصد مقایسه با نتایج تجربی ارائه شده در مقالات را نیز داشته باشید، نیاز دارید تا زمانی را صرف کرده و به دنبال مقاله‌ای باشید که تحلیل مورد نیاز شما را با آزمایش بدست آورده باشد و این یعنی هزینه زمانی ! .
تمام موارد ذکر شده اجتناب ناپذیر بودن هزینه برای انجام صحت سنجی و یا اعتبار سنجی را نشان می‌دهند.
همچنین انجام صحت سنجی و اعتبار سنجی ، انواع و اقسام مختلف دارد که بررسی آنها نیاز به وقت و زمان زیادی دارد و در مقالات مفصلا توضیح داده شده است . برای راحتی و انجام صحت سنجی و اعتبار سنجی می‌توان این کار را به شرکت‌های ارائه دهنده خدمات شبیه سازی سپرد.
در این حالت با صرف هزینه ای به مراتب کمتر از هزینه ای که اگر خوتان این کار را انجام می‌دادید مجبور به پرداخت آن بودید، اعم از هزینه تست آزمایشگاهی و یا هزینه زمانی، می‌توان از صحت و اعتبار شبیه سازی اطمینان حاصل کرد بدون درگیر شدن با اصول تخصصی تئوری انجام چنین فرآیندهایی و از اعتبار و اطمینان نتایج شبیه سازی خود مطمئن شده و شبیه سازی ( یا مقاله‌ای) معتبر و قابل ارجاع و دفاع داشت.
همچنین اگر قرار است نتایج چنین شبیه سازی در صنعت مورد استناد قرار گیرد یا جزئی از فرآیند تحلیل و طراحی باشد، اهمیت بررسی صحت و اعتبار شبیه سازی صد چندان می‌شود.
بنابراین اگر وقت و یا منابع، محدود باشد یکی از بهترین راه ها، سپردن صحت/اعتبار سنجی به شرکت‌های ثالثی است که معمولا خدمات شبیه سازی را نیز انجام می‌دهند و می‌توان صفر تا صد مراحل کار را به آنان سپرد.
و سخن آخر…
هیچ فرآیند صحت سنجی یا اعتبار سنجی وجود ندارد که مناسب همه سناریوها باشد. یک مدلساز باید از روش‌های موجود انجام آنها آگاه باشد. هر دو فرآیند صحت سنجی و اعتبار سنجی باید در ابتدایی ترین مرحله پروژه – و تا حد امکان به طور کامل تکمیل و انجام شوند. سؤال کلیدی برای صحت سنجی، این است که آیا مدل به درستی ساخته شده است یا خیر؟ پس از تأیید، مدل باید بدون خطا باشد. از سوی دیگر، سوال کلیدی برای اعتبارسنجی این است که آیا مدلِ صحیح، ساخته شده است یا خیر؟ پس از اعتبارسنجی، باید مشخص باشد که مدل مشابه فرآیند دنیای واقعی عمل می‌کند، بنابراین یک تیم می‌تواند در استفاده از آن برای پیش بینی رفتارهای یک فرآیند و بکار بردن آن در دنیای واقعی مطمئن باشد.