Я начал постдок около года назад. Во время моего найма мне сказали, что другой постдок готовит большой набор данных, который я в конечном итоге буду использовать. Тем временем я должен был запустить несколько образцов моделей и разработать метод на небольших тестовых данных.
Десять месяцев спустя, когда я, наконец, получил данные, это был беспорядок в электронной таблице (чрезвычайно длинные имена столбцов, отсутствие имен столбцов, опечатки, отсутствие документации), и я также сразу же начал находить в ней ошибки. Например, некоторые объединенные значения были умножены на 2, 2,5 или 2,25. Никто не мог объяснить, что произошло, поэтому я провел почти 2 месяца, переделывая эти значения.
Становится хуже. Я начал проверять другие столбцы и понял, что некоторые индикаторы «нет данных» были усреднены с измеренными значениями. Это привело к большим отрицательным значениям, которые должны были стать красным флажком для этих данных. Были и другие подобные неаккуратные ошибки в данных. Я пытался быть чрезвычайно вежливым с другим постдоком, но я не получаю от него особой помощи.
Я потратил почти 3 месяца на уборку беспорядка, и я продолжаю находить проблемы. Мой бюджет почти исчерпан (у меня осталось около 3 месяцев), и меня просят начать писать и подготовить черновик в течение следующих трех месяцев. Я беспокоюсь, что есть еще проблемы с данными, которых я не вижу, потому что человек, который их подготовил, не уделил должного внимания деталям. Он также был подготовлен вручную в Excel и плохо документирован или вообще не документирован. Я не хочу ставить свое имя в чем-то, что использует данные, которые потенциально полны ошибок, тем более, что я только начинаю свою карьеру. Я несколько косвенно высказал эти опасения моему главному руководителю, и он только обнадеживает и даже защищает данные. Другой коллега, не отвечающий за проект, согласен со мной.
Что я должен делать?
Вы усвоили важный урок исследований: если человек или организация, предоставляющие ваши данные, не несут никакой ответственности за правильность этих данных, этого не будет. Сбор и предварительная обработка новых данных — это повторяющийся процесс с большим количеством перезапусков, поскольку вы обнаружите, что общие методы необходимо адаптировать к конкретному набору данных. Если кто-то просто передаст вам данные, которые ему не нужно было нигде тестировать или проверять, то вы получите его первый неудачный результат. Если они прикасаются к данным, чтобы что-то с ними сделать, они почти наверняка делают это неправильно; если есть знак, вероятно, они создали ошибки знака; если они выполняли какую-либо сортировку, они, вероятно, не сортировали метки и значения последовательно и т. д.
Что касается дальнейших действий, здесь есть еще один неприятный урок для любого, кто занимает должность наставника-исследователя: в целом вы должны делать все, что хочет ваш руководитель. Я не имею в виду неэтичное поведение, если вас к этому принуждают. Но изменить свое внимание на то, чтобы делать все возможное с тем, что у вас есть, а не позволять идеальному быть врагом «по крайней мере, вы что-то сделали». Честно говоря, ваш руководитель, вероятно, лучше понимает общую картину. То есть получение результата, чтобы показать финансирующему агентству, что вы были продуктивны, получение отметки в вашем резюме и такие результаты являются критическими. В то время как замечательный результат исследования, который двигает мир науки по вертикали, вероятно, уже недоступен. Однако вы можете изменить способ представления данных в своей статье, например, сосредоточиться на методах, а не на результатах.
Хотя совет «Простого алгоритма» звучит разумно, я бы добавил, что на самом деле вы можете сообщить своему руководителю, что полученные вами данные «не готовы к использованию в прайм-тайм». Будьте готовы показать, почему и в чем вы видите проблемы с этим. Я надеюсь, вы получите совет, которому вам, вероятно, следует следовать, даже если вы не согласны, предполагая, что хотите сохранить отношения.
Не обязательно слепо идти вперед, не нужно кричать и разглагольствовать. Просто укажите на недостатки и почему они негативно повлияют на работу. Возможно, что руководитель имеет некоторое влияние на улучшение данных, которого нет у вас напрямую. Конечно, один из вариантов заключается в том, что вам свалят улучшение на вас, что нечестно и не идеально, но в конечном итоге это приведет к лучшей работе.
Я не хочу указывать свое имя в чем-то, что использует данные, которые потенциально полны ошибок.
Ты прав. Не публикуйте, если считаете данные неверными.
В следующий раз обратите внимание на качество данных в начале проекта.
Солнечный Майк