Я слышал, как один спикер на IJCAI жаловался, что его статья была отклонена, потому что методы, которые он использовал, были слишком простыми, несмотря на то, что результаты были очень конкурентоспособными (вдвое выше уровня техники, по крайней мере, по одному показателю). Жалобу можно послушать в этом видео в 29:30 . Выдержка:
(обращено к рецензентам) Принимайте простые статьи, если они демонстрируют то, что пытались показать.
Это был не первый раз, когда я слышал такие жалобы, поскольку упрощение существующих решений, возможно, является вкладом, но иногда его презирают.
Есть ли какое-либо исследование/исследование/опрос, в котором рассматривалось влияние сложности метода(ов), предложенного(ых) в представленной статье, на уровень его принятия?
Меня в основном интересуют области компьютерных наук > машинное обучение / NLP / интеллектуальный анализ данных и англоязычные площадки.
Я не видел никаких исследований корреляции между сложностью методов и вероятностью принятия работы, и я думаю, что провести исследование по этому вопросу относительно сложно. Во-первых, потому что простота или сложность полностью субъективны, зависят от предметной области и трудно поддаются количественной оценке. Нельзя обобщать закономерность, наблюдаемую в конкретном научном сообществе, на другие. Кроме того, информация об отклонении статей не является общедоступной или легкодоступной, что затрудняет проверку гипотезы.
При этом я видел, что в сообществе компьютерных наук, занимающихся машинным обучением, люди стремятся критиковать ненужную сложность предлагаемых методов и уделять больше внимания фактическим результатам, а не простоте или сложности методов. Есть много простых методов, которые публикуются, потому что они действительно хорошо работают. Я лично не думаю, что простые идеи, которые показывают хорошие результаты, обязательно будут отвергнуты, но противоположный аргумент (сложные методы имеют больше шансов быть принятыми) иногда верен.
В связи с этим все больше внимания уделяется объяснению идей и представлению работы в наиболее простом для понимания людям виде. Одна из причин, по которой люди пытаются все усложнить, заключается в том, что они думают, что чем труднее рецензентам понять их работу, тем выше их шансы на принятие. Я лично считаю, что идеи в статьях должны быть объяснены просто и ясно, потому что если это нельзя объяснить просто, возможно, это можно сделать лучше. И рецензенты не должны хвалить работу, которую они не понимают, потому что обязанность автора — объяснить все достаточно просто, чтобы соответствующее сообщество хорошо это поняло.
Это имеет отношение к дебатам Куна и Поппера о том, как работает наука, и здесь есть значительная литература ... Я не знаю о статистике, но я знаю, что это чрезвычайно распространено! Новый, более простой подход, как правило, сразу же отвергается власть предержащими с их сильными связями с традиционной моделью.
Кун отмечает, что исследователи застряли в парадигмах. Те, кто находится у власти (референты и редакторы, профессора и деканы), предпочитают статьи, которые продолжают их работу, используют инструменты, которые они изобрели или с которыми знакомы, цитируют свои журналы или журналы, проиндексированные их любимой компанией по цитированию. Существует также фактор рабочей нагрузки по отношению к интересу: они быстро просматривают информацию и уделяют особое внимание заголовкам, таблицам, рисункам, уравнениям и ссылкам - ищут то, что связано с ними/их интересами/их журналом. Некоторые рецензенты не предъявляют никаких доказательств того, что они действительно читали статью, особенно это касается так называемых «ведущих журналов». Если они не заинтересованы или они априори решили, что это «плохой подход», то не имеет значения, насколько хорош подход или результаты, и вы будете поражены комментариями о стиле, формате, уравнениях или ссылках (например, жалоба на отсутствие ссылок на X или недостаточные или ненумерованные уравнения, или отсутствие клея дорожной карты, сообщающего им, что есть введение, методы, результаты и Заключительные разделы). То есть парадигмы существуют не только внутри полей, в отношении того, как вы решаете проблему, или в теоретической структуре или модели, в которой вы работаете, существуют парадигмы в отношении способов представления.
Поппер, с другой стороны, поддерживает экономию и опровержение. Чем проще теория или модель, тем лучше при прочих равных условиях. Плохая теория становится все более сложной по мере того, как ее продолжают корректировать или расширять, чтобы иметь дело с новыми случаями, которые вызывают у нее трудности. Обычно плохие теории и модели не умирают до тех пор, пока не умирают их сторонники и сторонники, пока они не станут настолько сложными, что станут совершенно неуправляемыми, и в конце концов они рухнут и канут в Лету. И наоборот, простая модель будет игнорироваться до тех пор, пока не будет продемонстрировано, что она обрабатывает все, что пытались сделать старые теории, и делает новые достижения и предсказания, которые подтверждаются. Идеальный исследователь Поппера полностью отличается от догматического парадигматического исследователя Куна. Хороший исследователь делает прогнозы в неизвестном, где разные теории предсказывают разные результаты. Хороший исследователь пытается не подкрепить свои модели, а скорее опровергнуть их — найти дыры, а не затыкать дыры.
Итак, как вы справляетесь с этим? Очень хороший вопрос - рад, что вы его задали...
Вы должны столкнуться с этим лицом к лицу. Выбирайте площадки для публикаций высокого качества, но с таким форматом и ожиданиями, которые позволят вам представить свои новые более простые идеи и модели, даже если они не будут полностью проработаны и сравнены со всеми тысячами ваших конкурентов и их тысячами наборов данных или Примеры. Получите обратную связь и найдите тех, кто сочувствует, где они публикуют/рецензируют/редактируют и т. д. В конце концов, вам нужно ориентироваться на архивные традиционные журналы, бастион текущей парадигмы, и вписывать вещи в их форму, следовать их правилам, объяснять уравнения. /модели, с которыми вы конкурируете в деталях, особенно те, которые продвигаются журналом и его редакторами/авторами (по крайней мере, они получают цитирование). Четко указать на преимущества...
Пит Л. Кларк
пншваб
пользователь1220