راهنمای کامل صحت سنجی و اعتبار سنجی در آباکوس

• آموزش, بلاگ

صحت سنجی و اعتبار سنجی در آباکوس: شبیه‌سازی، قوی‌ترین ابزار در فرآیند معرفی محصول جدید (NPI) در نظر گرفته می‌شود. این می‌تواند زمان عرضه محصول به بازار را تسریع کند، هزینه‌های صورتحساب مواد (BOM) را کاهش دهد و از اجرای موفقیت آمیز طرح‌هایی که رقابت را دور می‌زند اطمینان حاصل کند.

صحت سنجی و اعتبار سنجی در آباکوس

بخش جدایی‌ناپذیر هر تحلیل و شبیه‌سازی کامپیوتری، صحت سنجی (verification) و اعتبارسنجی (validation) است، غفلت از هرکدام از این دو، شبیه‌سازی را دچار مشکلات شدید می‌کند و به اعتقاد بسیاری از متخصصین این حوزه، عملا شبیه‌سازی بدون صحت/اعتبار سنجی، بی‌ارزش و غیر قابل اعتماد است.

همچنین انجام صحت/اعتبار سنجی، عدم اطمینان (uncertainty) شبیه‌سازی را کاهش داده و ضریب اطمینان آن را بالا می‌برد.

مدیران برنامه، در حال حاضر به شواهد رسمی در مورد “شبیه‌سازی مناسب برای هدف نیاز دارند تا بتوانند بر اساس آن اعتماد ایجاد کنند و تصمیم بگیرند. این صحت سنجی و اعتبار سنجی ها باید توسط تحلیلگران و مدل‌سازها (درون تیم تحلیل یا طراحی ) انجام شود تا از درست و صحیح عمل کردن مدل اطمینان حاصل شود.

تعاریف صحت سنجی و اعتبار سنجی

صحت سنجی Verification چیست؟

صحت سنجی فرآیندی است که تضمین می‌کند که مدل بر اساس روابط متغیرهای ورودی و متغیرهای خروجی که در مدل تعبیه شده‌اند، نتایج درستی را تولید یا پیش‌بینی می‌کند.

در واقع صحت سنجی ، از درست بودن رابطه (relationship) درون مدل و اینکه مدل به درستی عمل می‌کند و نتایج را همانگونه که باید باشند، تولید می‌کند، اطمینان حاصل می‌کند.

فرآیند صحت سنجی، کاری به دنیای واقعی و تجربی و یا آزمایشگاهی یا نتایج آن‌ها ندارد.

فرآیند صحت سنجی، به آنچه که باید در طبیعت رخ دهد، اهمیتی نمی‌دهد. صحت سنجی در واقع به دنیای بیرون از کامپیوتر ارتباطی ندارد و فرآیند صحت سنجی، در واقع، بررسی و تعیین می‌کند که مدل تولید شده توسط سازنده مدل، دقیقا همان کاری را انجام می‌دهد که مدل‌ساز «فکر می‌کند» مدلش باید انجام دهد.

صحت سنجی اطمینان حاصل می‌کند که مدل، طوری رفتار می‌کند و کاری را انجام می‌دهد که از او خواسته شده و پیش بینی می‌شود آن‌را انجام دهد.

در واقع در صحت سنجی هدف، جلوگیری از این است که مدلساز وقتی مدل را می‌سازد و انتظار انجام کار A را از آن دارد، مدل برای خودش کار B (B≠A) را انجام نمی‌دهد و مدلساز را به تصور غلط اینکه مدل، دارد کار A را انجام می‌دهد نمی‌اندازد .

برای مثال، فرض کنید کدی (در اینجا مدل همان کد است) نوشته شده است که باید دو عدد را به هم تقسیم کرده و در صورت اعشاری بودن، آن را به سمت بالا گرد کند و عددی صحیح را گزارش کند. مثلا اگر 3 به 4 تقسیم شد باید حاصل را به سمت بالا گرد کرده و عدد 1 را چاپ کند.

صحت سنجی در اینجا بررسی می‌کند که مثلا اگر چنین تقسیمی انجام شد ، آیا کد واقعا کاری که از آن خواسته شده یعنی گرد کردن به سمت بالا را انجام می‌دهد و عدد 1 را گزارش می‌کند؟ یا اینکه مثلا عدد 0.75 را چاپ می‌کند؟ در صورت انجام دومی، یعنی مدل غلط کار می‌کند و باید خطا را یافت و مدل را اصلاح کرد. این چیزی است که صحت سنجی به ما می‌گوید.

اعتبار سنجی Validation چیست؟

اعتبار سنجی فرآیندی است برای اطمینان از اینکه مدل تا حد ممکن دنیای واقعی را نشان می‌دهد.
فرآیند اعتبارسنجی به مدل‌ساز کمک می‌کند مطمئن شود که مدل صحیح ساخته شده است.

فرآیند اعتبار سنجی به شدت بر داده‌های جمع‌آوری‌شده از دنیای واقعی، و درک مدل‌ساز از فرآیند واقعی متکی است. فرآیند اعتبار سنجی، تضمین می‌کند که مدل در حال انجام همان کاری است که فرآیند واقعی ( و طبیعت) انجام می‌دهد یا انجام خواهد داد.

تفاوت صحت سنجی و اعتبار سنجی در آباکوس

اعتبار سنجی به شدت به داده‌های جمع‌آوری‌شده از دنیای واقعی شامل تجربه، مشاهده، آزمایش و… وابسته می‌باشد اما صحت سنجی لزوما اینگونه نیست و اکثرا (یا تقریبا همیشه؟) به داده‌های تجربی و اطلاعات دنیای واقعی ارتباط ندارد یعنی در این مورد دقیقا مخالف اعتبار سنجی است.

کدام مهم تر است؟ صحت سنجی یا اعتبار سنجی

اول صحت سنجی (verification) سپس اعتبار سنجی (Validation)

فرآیند اعتبارسنجی باید پس از تکمیل فرآیند تأیید انجام شود. فرآیند اعتبار سنجی معمولاً شامل داده‌های واقعی است که می‌تواند منابع تیم را بیشتر از فرآیند تأیید مصرف کند.

در واقع ابتدا باید معلوم شود مدل، (مطابق آنچیزی که فکر می‌کنیم باید باشد،) درست کار می‌کند سپس باید ببینیم آیا طبیعت نیز درست کار کردن آن را تایید می‌کند یا نه 

چند روش اعتبار سنجی با سناریوهای مختلف

 جدول زیر چند روش اعتبار سنجی برای هر سناریو مدلسازی را پیشنهاد می‌کند.

دشواری‌های صحت سنجی و اعتبار سنجی در آباکوس

همانطور که گفته شد شبیه‌سازی‌ها برای اطمینان بخش بودن نیاز به صحت سنجی و اعتبار سنجی دارند.

اما صحت سنجی و اعتبار سنجی به این سادگی‌ها هم نیست.

برای مثال ، برای انجام صحت سنجی، یکی از روش‌ها استقلال از شبکه می‌باشد.

برای انجام این کار باید یک شبیه سازی چنین بار با تعداد المان‌های متفاوت و زیاد شونده (با رشد تعداد المان‌های حداقل 50%) تکرار شود و مطالعه روی تغییرات خروجی‌های مهم انجام شود و تغییرات نتایج با شبکه بررسی شود تا در یک محدوده‌ای از تعداد شبکه محاسباتی نتایج مشابه و با اختلاف کم تکرار شوند سپس باید شبکه بهینه انتخاب شود تا هزینه محاسباتی زیاد نشود.

اما برای اینکار نیز حداقل یک بار باید ریزترین شبکه‌بندی‌ها را انجام دهید و شبیه‌سازی را بطور کامل پیش ببرید و این لزوم استفاده از سیستم‌های قوی را در بر دارد.

همچنین در اعتبار سنجی نیز، بعد از اینکه صحت سنجی را انجام دادید و مش مورد نظر بهینه را انتخاب کردید، اکنون باید نتایج خود را با نتایج واقعی آزمایشگاهی یا نتایج واقعی صنعتی، مقایسه کنید تا از واقعی بودن آن مطمئن شوید.

انجام تست‌ها نیز علاوه بر نیاز به تخصص و دانش انجام صحیح آزمایش و شناخت دستگاه‌ها ، هزینه مادی و زمانی را در بر دارد. حتی اگر به جای آزمایش نیاز، قصد مقایسه با نتایج تجربی ارائه شده در مقالات را نیز داشته باشید، نیاز دارید تا زمانی را صرف کرده و به دنبال مقاله‌ای باشید که تحلیل مورد نیاز شما را با آزمایش بدست آورده باشد و این یعنی هزینه زمانی !  .

تمام موارد ذکر شده اجتناب‌ناپذیر بودن هزینه برای انجام صحت سنجی و یا اعتبار سنجی را نشان می‌دهند.

همچنین انجام صحت سنجی و اعتبار سنجی ، انواع و اقسام مختلف دارد که بررسی آنها نیاز به وقت و زمان زیادی دارد و در مقالات مفصلا توضیح داده شده است . برای راحتی و انجام صحت سنجی و اعتبار سنجی می‌توان این کار را به شرکت‌های ارائه دهنده خدمات شبیه‌سازی سپرد.

در این حالت با صرف هزینه‌ای به مراتب کمتر از هزینه‌ای که اگر خودتان این کار را انجام می‌دادید مجبور به پرداخت آن بودید، اعم از هزینه تست آزمایشگاهی و یا هزینه زمانی، می‌توان از صحت و اعتبار شبیه‌سازی اطمینان حاصل کرد بدون درگیر شدن با اصول تخصصی تئوری انجام چنین فرآیندهایی و از اعتبار و اطمینان نتایج شبیه‌سازی خود مطمئن شده و شبیه‌سازی ( یا مقاله‌ای) معتبر و قابل ارجاع و دفاع داشت.

همچنین اگر قرار است نتایج چنین شبیه‌سازی در صنعت مورد استناد قرار گیرد یا جزئی از فرآیند تحلیل و طراحی باشد، اهمیت بررسی صحت و اعتبار شبیه‌سازی صد چندان می‌شود.

بنابراین اگر وقت و یا منابع، محدود باشد یکی از بهترین راه‌ها، سپردن صحت/اعتبار سنجی به شرکت‌های ثالثی است که معمولا خدمات شبیه‌سازی را نیز انجام می‌دهند و می‌توان صفر تا صد مراحل کار را به آنان سپرد.

و سخن آخر…

هیچ فرآیند صحت‌ سنجی یا اعتبار سنجی وجود ندارد که مناسب همه سناریوها باشد. یک مدل‌ساز باید از روش‌های موجود انجام آن‌ها آگاه باشد. هر دو فرآیند صحت‌ سنجی و اعتبار سنجی باید در ابتدایی‌ترین مرحله پروژه – و تا حد امکان به طور کامل تکمیل و انجام شوند.

سؤال کلیدی برای صحت سنجی، این است که آیا مدل به درستی ساخته شده است یا خیر؟ پس از تأیید، مدل باید بدون خطا باشد.

از سوی دیگر، سوال کلیدی برای اعتبارسنجی این است که آیا مدلِ صحیح، ساخته شده است یا خیر؟ پس از اعتبارسنجی، باید مشخص باشد که مدل مشابه فرآیند دنیای واقعی عمل می‌کند، بنابراین یک تیم می‌تواند در استفاده از آن برای پیش‌بینی رفتارهای یک فرآیند و بکار بردن آن در دنیای واقعی مطمئن باشد.

شرکت بنوموسی با ارائه جلسات منتورینگ آباکوس راهنمای شما عزیزان در جهت رفع و بهبود ایرادات فنی و مهندسی پروژه های صنعتی و دانشجوی تان در زمینه مدل‌سازی، تحلیل، و صحت‌سنجی نتایج می باشد. این جلسات به صورت آنلاین و حضوری برگزار می‌شود و نیم ساعت اول رایگان است. برای اطلاعات بیشتر و رزرو وقت، از صفحه منتورینگ اباکوس ما دیدن کنید.

برای استفاده از خدمات شبیه‌سازی و مشاوره رایگان ما، کافی است با ما تماس بگیرید. ما در تمام مراحل پروژه کنار شما هستیم تا بهترین نتایج را به‌دست آورید.

برای کسب اطلاعات بیشتر و دریافت منتورینگ ، لطفاً با ما تماس بگیرید یا از وب‌سایت Banumusagr بازدید کنید. تیم ما آماده است تا شما را در دستیابی به نتایج مطلوب در تحلیل‌های عددی و شبیه‌سازی‌های مهندسی یاری کند.

راه های ارتباطی با شرکت بنوموسی :

TELEGRAM : https://t.me/BanuMusaGr

ایمیل: info@BanuMusaGr.com

تلفن همراه:  388 20 55 0915

تلفن:  35424520– 51 (98+)

آدرس: مشهد – کیلومتر 12 بزرگراه آسیایی (جاده قوچان)- جاده شهرک صنعتی توس- شهرک فناوری صنایع غذایی و بیوتکنولوژی شمال شرق- معاونت صنایع کوچک- مرکز خدمات.