استفاده از مدل‌های دینامیکی، به ظرفیت‌ها و قابلیت‌های تحلیل‌گران، مدل‌سازان و کاربران وابسته است، و نبود مستندسازی کافی و مؤثر، اغلب موجب می‌شود بخش مهمی از دانش موجود در مدل‌ها یا از بین برود یا فهم آن برای دیگران دشوار گردد. در اغلب پروژه های پویایی شناسی سیستمها، کاربران یا تصمیم‌گیران فقط ورودی و خروجی مدل را می‌بینند، اما مسیر محاسبات و روابط داخلی آن برایشان آشکار نیست.  این ابهام باعث مشکلاتی مثل کاهش اعتماد به نتایج، دشواری بازبینی همتایان (Peer Review)، سختی یادگیری از مدل یا استفاده دوباره از مدل و وابستگی کامل به سازنده مدل می شود. در این راستا، مستندسازی دقیق و سیستماتیک ، به نحوی که ساختار مدل قابل پیمایش و فهم باشد، روابط بین متغیرها به‌وضوح دیده شود و  فرضیات و داده‌ها قابل ردیابی باشند، به محققان توصیه می شود. 

دکتر محمد جلالی دانشیار دانشکده پزشکی هاروارد، پژوهشگر همکار و مدرس ارشد در گروه پویایی سیستم‌های دانشکده مدیریتMIT و عضو هیئت علمی در ابتکار علم داده هاروارد (HDI) است. وی از علم داده و رویکردهای مبتنی بر شبیه‌سازی مانند پویایی سیستم استفاده می‌کند تا به سیاست‌گذاران در شناسایی و طراحی سیاست‌های اثرگذار کمک کند. دکتر جلالی در حوزه‌های سیاست‌گذاری سلامت و بهداشت، سوء مصرف مواد مخدر، امنیت سایبری و … تحقیقات متعددی دارد. ایشان تاکنون برنده‌ی جوایز معتبر بین‌المللی از جمله جایزه Dana Meadows و جایزهLupina Young Researcher بوده است. پژوهش‌های او در رسانه‌های بین‌المللی از جمله New York Times و Washington Post بازتاب یافته‌اند. ایشان دارای دکتری در رشته مهندسی صنایع و سیستم‌ها و کارشناسی ارشد مهندسی سیستمها از دانشگاه ویرجینیاتک و کارشناسی ارشد  مهندسی صنایع از دانشگاه ویرجینای غربی هستند.

در این نشست، دکتر جلالی با یک پرسش از حاضرین شروع کردند که مستندسازی را تعریف کنند. تعاریفی از سوی حضار ارائه شد و آقای دکتر، به مستند سازی و فهم ورودیها، خروجیها و فرآیندهای مدلسازی، تاکید کردند. در ادامه، شرکت کنندگان به صورت نوشتاری و صوتی سوالات خود را در جلسه طرح کردند و آقای دکتر جلالی با صبر و حوصله به تک تک این سوالات پاسخ دادند.

ایشان اظهار داشتند که تفکر کلاسیک در آمریکا در دهه های 50 و 60، مبتنی بر آن بود که ارزش کار مدلسازی من، باید برای خود من باقی بماند و به اشتراک گذاری باعث می شود که سرمایه دانشی که من با آن کسب درآمد می کنم، از دست می رود. لذا مدلها در تملک مدلساز باقی می ماندند. اکنون نیز در ایران تفکر به همین شکل است. در حالی که در دنیا، ارزش کار در اشتراک گذاری است. مستندسازی، کاغذبازی نیست و هدف آن، این است که مدل را قابل فهم، قابل استفاده دوباره و قابل اتکا کند.

امروزه اگر بخواهید مدل خوبی را در مجله خوبی منتشر کنید، مستندسازی جزو بایدهاست و خیلی جاها سردبیر در صورت کافی نبودن مستندات، مقاله را در ابتدا رد می کند.

در پروپوزال اخیری که ایشان برای NIH (که بزرگترین حامی تحقیقات حوزه سلامت در دنیا است) نوشته اند، بیشتر از ده بار به کلمه شفافیت اشاره کرده اند و ساز و کارهای ایجاد شفافیت در مدلسازی را بیان کرده اند. در واقع، شفافیت مدل و فرآیند مدلسازی، یک ارزش است و ما مدلسازان به آن افتخار می کنیم.

مستندسازی، در درجه اول برای خود مدلساز منفعت دارد. معمولا پس از مدلسازی، فرضیات هر مرحله از مدلسازی را فراموش می کنیم. در نتیجه نمی توانیم بعدا مدل را بهبود دهیم، برخی از افراد ممکن است تیم مدلسازی را ترک کنند و دیگر به آنها دسترسی نداشته باشیم که فرضیات را با آنها چک کنیم، و اغلب آنها هم فراموش کرده اند.

مثلا در مواردی مثل اینکه پارامترها از کجا آمده اند، فرمولها چرا به این شکل نوشته شده اند، توابع غیرخطی چرا به این صورت استفاده شده اند؟ همچنین برای تحلیل سناریوها هم به مشکل می خوریم.

مدل اگر خوب مستند شده باشد، می توان به صورت ماژولار آن را اجرا کرد و ترکیبی از مثلا 20 سناریو را با هم اجرا کرد. این به معنای کار بنیادین و قابلیت سازی است که اصلاح و تحلیل آن هم ساده می شود. در حالی که به طور معمول، مدلساز ترجیح می دهد مستندسازی و ماژولار کردن را انجام ندهد و تک تک سناریوها را اجرا کند. این همان کار گل انجام دادن است که بعدا اصلاح و تحلیل را هم با مشکل مواجه می کند. در واقع modular coding جزو واجبات یک پروژه مدلسازی است و دست به دست مستندسازی مدلسازی پیش می رود.

مستندسازی باعث می شود که اعتماد بین مدلساز و مخاطب، بالا برود. چرا که همه رفتار مدل، نتیجه مقادیر و فرمولهای چندین پارامتر است، که اگر معلوم نباشد از کجا آمده اند، اعتبار مدل زیر سوال می رود.

استاندارد مشخصی برای مستندسازی نداریم، ولی می توان از مقالات و مدلهایی که خوب مستندسازی شده اند، ایده گرفت. معمولا مقادیر عددی پارامترها، واحدها، مرجع مربوطه، همه اینها در قالب یک جدول ذکر می شوند و بهتر است ستونی هم به آن اضافه شود که در آن، پیشفرضهای ذهنی برای استنتاج و استخراج مقادیر را هم ذکر کنیم، چرا که در هنگام کمی سازی معمولا کار translation و تفسیر هم انجام می شود، یا مثلا تغییر واحدها هم ذکر شود. حتی این موضوع که تخمین ذهنی یا حدودی بوده یا توسط خبرگان صورت گرفته، بهتر است که ذکر شود. یکی از نمونه هایی که می توان برای مثال به آن مراجعه کرد:

در مستندسازی، حتی اگر جایی شک داریم یا نقطه ابهام و ضعف مدل است بهتر است ذکر کنیم، مثلا اینکه این مطالعه فقط برای یک شهر/منطقه است و قابل تعمیم به کل کشور نیست. در واقع ما همیشه فکر می کنیم که پنهان کردن خطاهای مدل، استفاده کننده را خوشحال می کند در حالی که الان در مقالات، بخش محدودیتها گاهی نیمی از بخش بحث و نتیجه گیری است، چرا که اعتماد ایجاد می کند. زیبایی علم در آن است که با آگاهی به کاستی ها، مطالب را بیان کنیم. فرق کار موفق و ناموفق آن است که کار موفق کاستیها را به شکل شفاف ارائه می کند، در حالی که کار ناموفق، خودش نمی داند که کاستی ها چیست.

بهتر است برای مستندسازی کارهای کمی، مقاله هژیر و استرمن را بررسی کنید

درباره مستندسازی کارهای کیفی (حلقه های علی) کاستی ها خیلی زیاد است، برای نمونه ای از مستندسازی موفق می توان به کار دکتر جلالی اشاره کرد که حتی روی حلقه های علی، مرجع گذاری می شود.

بهتر است به جای استاندارد محکم و سفت و سخت برای مستندسازی و اجبار همه اعضای تیم به رعایت آن، به صورت منعطف این کار را انجام دهیم. به این صورت که از ابتدای پروژه، به انتهای پروژه و تحویل دادنی های آن نگاه کنیم و فهرست کاملی به کمک همه اعضای تیم تهیه کنیم. در واقع فهرست تحویل دادنی ها به ما کمک می کند که چارچوبهای مدلسازی و دستاوردهای آن در هر مرحله را تعریف کنیم. همین می تواند به عنوان استاندارد مستند سازی در این پروژه با همه اعضای تیم، تبیین کرد. تجربه ایشان آن است که باید اعضای تیم را در نحوه انجام کار، آزاد گذاشت ولی انتظارات را به خوبی تبیین کرد. اینکه چه گزارشاتی باید تحویل شود، به یکسری مایلستون در طول پروژه تبدیل می شود. به نظر ایشان، اتفاقا قوانین سفت و سخت باعث می شود که افراد تیم، کارها را انجام ندهند. بهتر است ارزش شبیه سازی را، در هنگام آموختن مدلسازی و تفکر سیستمی برای افراد مشخص کنیم.

در پاسخ به یکی دیگر از سوالات شرکت کنندگان، که درباره استانداردهای چندگانه سردبیران و داوران مقالات پرسیده بودند، ایشان به مزیت استفاده از پلتفرم github اشاره کردند.  به این شکل که می توان مستندسازی مقاله را مطابق معیارهای مقالات دست بالا انجام دهیم، و لینکش را در پیوست مقاله بگذاریم، تا هم حجم مقاله زیاد نشود و هم داوران بنا به خواست خود، هر مقدار از مستندات را که مایل بودند بررسی کنند.

در پاسخ به سوال مشخص کردن مسئولیت مدلسازی در تیم، ایشان عقیده داشتند که مستندسازی جزیی از مدلسازی است و همه باید وظیفه خود بدانند، کسی که مستندسازی نکند خودش را جدای از بقیه می بیند. در عین حال، درست است که همه مسئول هستند ولی در نهایت یک نفر مسئول داریم که PI یا  Principal Investigator پروژه است و مستندات را تکمیل و یکپارچه می کند. به نظر ایشان، نقطه تکاملی در مستندسازی، که الان در حال امتحان کردن در پروژه جدید خود هستند، این است که یک نفر به کمک مستندات، مدلها را قبل از انتشار، replicate کند (فردی که در تیم مدلسازی نبوده است)

به نظر ایشان هنوز ابزارهای مستندسازی که برای این منظور وجود دارد، کامل نشده اند و باگهای زیادی دارند. بنابراین همچنان از رویکردهای دستی باید استفاده کرد. 

در جمع بندی می توان گفت که به نظر ایشان، مهمترین عامل در موفقیت مدلسازی، روحیه یادگیری و به اشتراک گذاری است. مستندسازی یکی از وظایف تک تک افراد تیم مدلسازی است و باید شامل تمام مقادیر و فرمولهای مدل، مراجع و نحوه تعیین این مقادیر و فرمولها، و نیز پیشفرضهای مربوط به مدلسازی و روابط کمی باشد. همچنین در شکل دهی به مدل ذهنی و ترسیم حلقه های علی، بایستی مراجع تک تک روابط علی و نحوه تبیین این روابط ذکر شود. مستندات در اختیار گذاشتن قابلیت بازتولید مدل، قابلیت اعتماد آن را بالا می برند و با ایجاد شفافیت در خصوص فرضیات و ساختار، امکان یادگیری و تحلیل نتایج را تسهیل می کنند.