Должны ли исследовательские работы, на разработку которых требуются миллионы долларов, оцениваться так же, как и те, которые этого не требуют? [закрыто]

Ранее я задавал много вопросов о вторжении технологической индустрии в академические исследования в последние несколько лет [1] , [2]. Я снова здесь, потому что это вторжение не только не остановилось, но и ускорилось.

Последней новостью является то, что GPT-3, разработанный Open AI, получил награду за лучшую бумагу на NeurIPS 2020. https://openai.com/

Открытый ИИ поддерживается финансированием Microsoft в размере не менее 1 миллиарда долларов. Для разработки этого программного обеспечения/программы потребовались бесчисленные миллионы долларов, такое финансирование доступно только технологическим компаниям. Исследование не является воспроизводимым и запатентованным. По оценкам, любому человеку (в академических кругах) потребуется от 12 000 000 до 1 900 000 долларов США, чтобы переработать эту модель с нуля.

Учитывая, что она получила награду за лучшую статью, возникает вопрос, смогут ли академические круги когда-либо конкурировать на том же уровне, что и эти многомиллионные компании. Эти крупные технологические компании могут постоянно вкладывать миллионы в эти проекты и добиваться все более впечатляющих результатов, оказывающих далеко идущее влияние на общество. В свете всего этого, следует ли оценивать такие исследования так же, как и обычные (скажем, теоретические) статьи с точки зрения наград и других показателей?

«вид финансирования, доступный только технологическим компаниям». Большинство национальных государств могут легко обеспечить такой уровень финансирования. Они просто предпочитают не делать этого.
На самом деле это не так много денег для научного проекта. JWST потратила 10 миллиардов долларов и пока не добилась результатов. en.wikipedia.org/wiki/…
Имхо, этические вопросы являются более серьезной проблемой для руководства частными исследованиями. Коммерческие интересы не всегда совпадают с социальным прогрессом: в приложениях ОД есть проблемы с расистской предвзятостью в заявлениях военных/полицейских, усилением социально-экономического неравенства и т. д. Более того, общее отсутствие прозрачности, которое является данностью в контексте частной экономики, часто вредит обществу.
Многие науки имеют бюджеты в этом диапазоне
Промышленный исследователь здесь. Поверьте, мало у кого из нас есть такой бюджет.

Ответы (1)

Я чувствую, что ваш вопрос подходит к этой теме с нездоровой, конкурентной точки зрения: я думаю, что самое важное, о чем следует помнить, это то, что наука связана с прогрессом , а не с справедливым распределением статей, наград или других очков NeurIPS. Мы принимаем работы, потому что они расширяют наши знания, и мы награждаем тех, кто (субъективно) делает это с наибольшим отрывом. Независимо от того, генерирует ли это знание один человек, работающий в своем офисе, или команда в компании, это знание не меняется. В этом свете глупо исключать компании из академических исследований (фактически потому, что они слишком хороши в этом).

Тем не менее, ваш конкретный вопрос касается того, должны ли быть разные «треки» (я думаю, подойдут либо фактические треки конференций, либо полностью отдельные конференции) для статей, требующих больших денежных вложений. Это, безусловно, может быть полезным, и, по моему опыту, это часто происходит довольно естественно — либо потому, что отраслевое направление создается и с годами приобретает все большее значение (как это происходит, например, в ICSE с его направлением Software Engineering in Practice), либо потому, что научная конференция вызывает все больший интерес в отрасли, пока, по сути, не станет отраслевой конференцией с академической направленностью (возможно, это произошло с WWW и, возможно, с NeurIPS, хотя я недостаточно знаю о NeurIPS, чтобы сказать об этом).

Тем не менее, вам может не очень понравиться результат — как только вы поместите все эти дорогостоящие и очень практичные материалы в отдельную ветку, вы можете обнаружить, что люди на самом деле ценят эти статьи выше, чем ваши (теперь явно предназначенные) теоретические научные статьи. Конечным результатом может быть то, что самые престижные треки или конференции — это те, где вы, как ученый, больше не являетесь даже целевой аудиторией. Топовая конференция в моей области, ICSE, еще не совсем состоялась (исследовательский трек по-прежнему более престижен, чем отраслевой), но уже сегодня можно заметить, что посещаемость отраслевых докладов выше, чем исследовательских сессий.

Тем не менее (и это возвращает меня к первому абзацу), я не уверен, в чем проблема. В конце концов, мы должны быть довольны тем, что эта область развивается и что люди интересуются тем, что производится. Пока академический вклад в эту область по-прежнему полезен и ценен, встречи и конференции будут доступны. И стоит помнить, что ученые редко напрямую конкурируют с промышленностью (скажем, в контексте рабочих мест, продвижения по службе или грантов).

Я думаю, что реальная проблема с документом Open AI заключается не в том, что его разработка стоила миллионы долларов, а в том, что код/алгоритм/результаты не являются общедоступными. Как вы сказали, мы принимаем работы, потому что они расширяют наши знания. Но без подробных описаний/кода того, что сделал OpenAI, они говорят: «Посмотрите на все удивительные вещи, которые мы можем сделать, а вы не можете» действительно расширяют наши знания?
+1 к комментарию @IanSudbery. В свете этого действительно должен возникнуть вопрос, уместно ли присуждать награды за работы, основанные на патентованных методах, которые даже не описаны в статье. При такой оценке не должно иметь значения, исходят ли эти методы из промышленности или из академического закрытого магазина.
@IanSudbery может быть, но это определенно не то, о чем спрашивал ОП.