by Rahmandad and sterman
Published: 2012
تکرارپذیری سنگ بنای پیشرفت علمی است و پژوهش‌های مبتنی بر شبیه‌سازی نیز از این قاعده مستثنی نیستند. تنها در صورتی که نتایج یک تحقیق به طور مستقل قابل تکرار باشند، پژوهشگران مختلف می‌توانند یافته‌های یکدیگر را تأیید کنند، بر اساس آن‌ها کار خود را بنا نهند و جامعه علمی و عمومی را از صحت نتایج متقاعد سازند. با گسترش روزافزون روش‌های محاسباتی در رشته‌های مختلف، بسیاری از دانشمندان خواستار شفافیت بیشتر در مستندسازی اینگونه پژوهش‌ها هستند تا امکان تکرار آن‌ها فراهم آید.
با وجود رشد پژوهش‌های مبتنی بر شبیه‌سازی در علوم اجتماعی طی دهه‌های اخیر، هنوز مجموعه‌ای استاندارد از دستورالعمل‌های گزارش‌دهی که هم تکرارپذیری را تضمین کند و هم تبادل مؤثر ایده‌ها بین محققان را میسر سازد، وجود ندارد. درنتیجه، بسیاری از گزارش‌های تحقیقاتی فاقد اطلاعات لازم برای بازسازی مدل‌های شبیه‌سازی یا تکرار آزمایش‌های مورد بحث هستند. این مقاله مجموعه‌ای اولیه از دستورالعمل‌های گزارش‌دهی برای پژوهش‌های شبیه‌سازی در علوم اجتماعی (RGSR) را با تمرکز بر سناریوهای رایج در پویایی‌شناسی سیستم ارائه می‌دهد. این دستورالعمل‌ها در سه بخش مجزا برای گزارش مدل‌ها، گزارش آزمایش‌های شبیه‌سازی و گزارش نتایج بهینه‌سازی تدوین شده‌اند و به دو دسته **الزامات حداقلی** و **الزامات ترجیحی** تقسیم می‌شوند. این تقسیم‌بندی میان عواملی که برای بازتولید پژوهش ضروری هستند و عواملی که شفافیت را افزایش می‌دهند، تمایز قائل می‌شود. همچنین، دستورالعمل‌هایی برای بهبود شیوه‌های ارائه بصری به منظور کاهش هزینه‌های بازتولید ارائه شده است.
دستورالعمل‌های کلی برای ارائه بصری مدل
از نظر منطقی، تکرارپذیری یک پژوهش به چگونگی ارائه بصری مدل و نتایج آن وابسته نیست. با این حال، اگر هدف، تسهیل تکرار مستقل پژوهش توسط دیگران باشد، تجسم مناسب اهمیت زیادی می‌یابد. ارائه ضعیف، هزینه‌های بازتولید را افزایش می‌دهد، موجب سردرگمی و بروز خطاهای غیرضروری می‌شود و درنتیجه، دامنه و کیفیت تکرارپذیری را کاهش می‌دهد. بنابراین، در ادامه توصیه‌هایی مختصر برای رفع مشکلات رایج در تجسم مدل‌ها و نتایج شبیه‌سازی در علوم اجتماعی ارائه می‌شود:
از نمایش یک مدل پیچیده با حجم انبوهی از اطلاعات در یک نمودار واحد خودداری کنید. چنین نمودارهایی نه تنها به درک مدل کمک نمی‌کنند، بلکه بینش حاصل از آن را نیز مخدوش می‌سازند.
از شلوغی و بی‌نظمی در نمایش روابط علّی مدل پرهیز کنید. برای مثال، به جای یک نمودار واحد، از چندین نمای مختلف استفاده کنید و از تقاطع خطوط یا همپوشانی نام متغیرها جلوگیری کنید. اطمینان حاصل کنید که علائم قطبیت (+/-) به وضوح قابل مشاهده هستند.
در مواردی که به دلیل محدودیت فضا، ارائه نمودار علّی کامل مدل در مقاله ممکن نیست، از جایگزین‌هایی مانند نمودارهای زیرسیستم، نمودارهای مرزی، نمودارهای حلقه علیت یا نقشه‌های ساده‌شده جریان و انباشت استفاده کنید.
برای متون درون نمودارها از قلم‌های بدون سریف (مانند Arial یا Helvetica) استفاده کنید و از به کار بردن قلم‌های سریف‌دار (مانند Times) خودداری نمایید.
حجم اطلاعات درج‌شده در نمودارها را به داده‌های کلیدی که قصد بحث درباره آن‌ها را دارید، محدود کنید. از ترسیم خطوط شبکه پیش‌فرض و سایر عناصر تزئینی غیرضروری صرف نظر کنید.
اطمینان حاصل کنید که خطوط مختلفی که متغیرها را در نمودارهای خروجی شبیه‌سازی نشان می‌دهند، چه در نسخه چاپی (سیاه و سفید) و چه در نسخه دیجیتال (رنگی)، به وضوح از یکدیگر قابل تشخیص باشند.
حداقل الزامات گزارش مدل (MMRR)
هر مدلی که برای تولید نتایج پژوهش استفاده می‌شود، باید به گونه‌ای گزارش شود که طرف‌های مستقل بتوانند بر اساس اطلاعات ارائه‌شده، آن را بازسازی کرده و شبیه‌سازی حالت پایه آن را روی پلتفرم محاسباتی مورد نظر خود اجرا کنند. این الزامات شامل موارد زیر است:
توضیح عملیات محاسباتی: منطق مدل، معادلات، قوانین الگوریتمی، کلیه پارامترها و مقادیر اولیه باید به صورت متنی ساده و گویا در مقاله یا پیوست آنلاین ارائه شوند. این توضیحات باید به اندازه‌ای کامل باشد که امکان پیاده‌سازی و شبیه‌سازی مجدد مدل را برای یک پژوهشگر مستقل فراهم کند. واحدهای اندازه‌گیری برای تمامی متغیرها و پارامترها باید ذکر شوند.
الزامات ترجیحی گزارش مدل (PMRR)
این اطلاعات شامل موارد زیر است:
منابع داده:اشاره به منابع داده (کیفی یا کمی) که در تدوین معادلات و قوانین الگوریتمی به کار رفته‌اند.
تعاریف و منطق:تعریف واضح تمام متغیرهای به کار رفته در مدل و توضیح منطق پشت فرمول‌بندی آن‌ها.
کد منبع:ارائه کد منبع در پلتفرم اصلی پیاده‌سازی، ترجیحاً در قالب‌هایی که به راحتی قابل دسترسی و اجرا باشند (برای مثال، ارائه فایل `.vpm` یا `.mdl` برای مدل ساخته‌شده در Vensim که با نرم‌افزار رایگان Vensim Model Reader قابل اجراست).
حداقل الزامات گزارش شبیه‌سازی (MSRR)
پژوهش باید شرح مفصلی از تمامی مراحل لازم برای تکرار هر آزمایش شبیه‌سازی گزارش‌شده و بازتولید نتایج آن ارائه دهد. نتایج بازتولید شده باید با نتایج گزارش‌شده، با در نظر گرفتن خطای محاسباتی ناشی از تفاوت پلتفرم‌ها و مدل‌های تصادفی همخوانی داشته باشند. این الزامات شامل گزارش موارد زیر است:
پلتفرم: مشخصات نرم‌افزار و سخت‌افزار مورد استفاده برای شبیه‌سازی.
الگوریتم شبیه‌سازی: ذکر روش انتگرال‌گیری و گام‌های زمانی (برای مدل‌های مبتنی بر معادلات دیفرانسیل/تفاضلی)، روش شبکه‌بندی (برای مدل‌های مکانی) و طرح‌های اولویت‌بندی رویداد (برای شبیه‌سازی‌های رویداد گسسته و مبتنی بر عامل).
پیش‌پردازش: توضیح هرگونه پردازش اولیه روی داده‌های ورودی (مانند تولید ورودی‌های برون‌زا) که برای اجرای مدل پایه و تکرار آزمایش‌ها ضروری است.
تنظیمات پارامتر: مقادیر پارامترهای مورد استفاده در هر سناریوی گزارش‌شده، شبیه‌سازی‌های مونت کارلو، توزیع‌های مشترک پارامترها، معادلات تولید و ماتریس‌های همبستگی، به همراه روش نمونه‌گیری به کار رفته باید گزارش شوند.
تعداد تکرار: تعداد اجراها (تکرارها) در هر سناریو.
پس‌پردازش: تشریح تمام مراحل پردازش نتایج خام شبیه‌سازی (مانند تجمیع داده‌ها، انجام رگرسیون و…) که برای دستیابی به نتایج نهایی گزارش‌شده انجام شده است.
الزامات ترجیحی گزارش شبیه‌سازی (PSRR)
گزارش آزمایش‌های شبیه‌سازی می‌توانند شامل اطلاعات اضافی برای تسهیل ارزیابی، فراتر از حداقل الزامات باشند. این موارد شامل موارد زیر است:
تحلیل حساسیت: ارائه هرگونه تحلیل حساسیت روی پارامترها (مانند بررسی اثر گام زمانی یا روش شبیه‌سازی مختلف بر نتایج).
هزینه محاسباتی: گزارش اطلاعات مربوط به زمان شبیه‌سازی و مشخصات پردازنده، به ویژه در مواردی که هزینه‌های محاسباتی قابل توجه است.
اعداد تصادفی: ذکر الگوریتم تولید اعداد تصادفی مورد استفاده در مدل‌های تصادفی.
معیار عدم قطعیت: گزارش معیارهای عدم قطعیت (مانند انحراف معیار یا فاصله اطمینان ۹۵ درصد) برای آمارهای گزارش‌شده در مدل‌های تصادفی و تحلیل مونت کارلو.
اهمیت آماری: در مدل‌های تصادفی، هنگامی که تفاوت‌های بین سناریوها گزارش می‌شود، ذکر معناداری آماری این تفاوت‌ها و روش آزمون به کار رفته ضروری است.
ارقام معنی‌دار:توضیح روش تعیین تعداد ارقام معنی‌دار ارائه‌شده در جداول و نمودارها.
دستورالعمل اجرا: پس از ارائه کد اصلی، تهیه یک راهنمای مختصر برای چگونگی انجام آزمایش‌های شبیه‌سازی در پلتفرم اصلی.
برای دسترسی به مقاله کلیک کنید.