Исследователи предлагают программные инструменты в рамках своей исследовательской работы для сбора некоторых показателей производительности приложений. Я намерен предложить инструмент с лучшими функциями и возможностями. Для сравнения я использую общедоступные инструменты других исследователей.
Трудность, с которой я сталкиваюсь, заключается в том, что другой исследовательский инструмент дает сбой для некоторых приложений тестов. Разный сбой инструмента для разных приложений. Итак, когда я сообщаю о сравнении, что мне делать? Перечислите приложения, для которых другой исследовательский инструмент не работал, или попробуйте отладить другой исследовательский инструмент, а затем сообщите о сравнении?
Тестовые приложения, используемые для тестирования инструментов, представляют собой крупные научные приложения. Инструменты написаны с использованием сложных программных фреймворков. Короче говоря, отладка любого из них потребует значительных усилий. Перед совершением я хотел бы получить несколько советов.
Вы могли бы сделать это, но тогда вы больше не занимались бы сравнительным исследованием. По сути, вы сравниваете одну вещь, которую вы создали, с чем-то другим, что вы модифицировали. Это поставило бы ваше сравнение под сомнение, даже если бы оно не сделало его недействительным.
Сообщите, что ваш инструмент производит X, а инструмент A не дает результата для таких случаев. Это верное сравнение.
Но улучшение инструментов других также может быть ценным вкладом, хотя и другого рода. Решите, чего вы добиваетесь.
Вы также можете указать на недостатки разработчикам других инструментов и посмотреть, хотят ли они их обновить. Если да, то можно сравнить с их новыми версиями.
Вы также можете, возможно, вступить в сотрудничество по созданию инструментов с некоторыми другими.