Как подступиться к проблеме, если я новичок в этой области?

Недавно я столкнулся с проблемой, связанной с распознаванием изображений в Deep Learning. В одно прекрасное утро меня осенила мысль, что, возможно, я мог бы что-то с этим сделать, если бы объединил GAN с CNN. На данный момент я знаю только то, на что способны эти сети.

Теперь, как я должен это сделать? Должен ли я сначала выбрать стандартную книгу (скажем, «Глубокое обучение» Яна Гудфеллоу) и прочитать ее от корки до корки? Или мне сразу читать какие-то исследовательские статьи, выявлять области, в которых я слаб, а потом копаться в этих самых областях из стандартных текстов.

Другими словами, не лучше ли завершить все, до чего я могу дотянуться, прежде чем приступить к работе над этой идеей? Или я должен начать с него и заполнить пробелы по мере их появления.

PS Мой опыт прохождения курсов статистического обучения, вероятностей и исчисления гарантирует, что я могу полностью понять математику, лежащую в основе вышеуказанных тем.

Обсуждение с вашим консультантом?
@Solar Mike: Спасибо за ваш комментарий. Я бы определенно это обсудил, но у меня нет консультанта в моем колледже или кого-то, кто направляет студентов по глубокому обучению; они не специализируются на этом. Так что, к сожалению, они говорят мне, что не смогут помочь мне в этом случае.
Обычно я начинаю с поиска и чтения обзорных статей в этой области. Если, когда я попытаюсь прочитать обзорные статьи, я обнаружу, что у меня недостаточно базовых знаний, чтобы понять обзорные статьи, я буду искать более широкий обзор, например книгу. Даже в этом случае я обычно стараюсь читать избранные главы, близко относящиеся к интересующей теме, прежде чем прибегать к чтению книги от корки до корки.
@Matt Спасибо за ваш комментарий. После всех ответов и вашего комментария я тоже чувствую, что теперь будет более продуктивно следовать предложенному вами подходу. Спасибо!

Ответы (3)

Я все еще учусь, но несколько консультантов научили меня тому, как подходить к своей области.

Во-первых, поищите недавний структурированный обзор литературы по полю и таксономии. Они дают вам хорошую отправную точку, так как все соответствующие документы (в любом случае, надеюсь) перечислены там, и это дает вам идеальный указатель для изучения поданной заявки. Конечно, если его нет, вы можете быть первым, кто его создаст ;).

Затем пришло время много читать, создать стопку всех соответствующих документов — отметить все ссылки, которые выглядят полезными, и добавить их в стопку. Продолжайте, и как только ваш стек начнет уменьшаться больше, чем растет, вы должны иметь представление о поле.

Для того, чтобы сделать это в разумные сроки, вам не нужно глубоко читать каждую статью. Постарайтесь уловить идею и постарайтесь вписать их в свое понимание поля. Внимательно читайте только те документы, которые помогут вам продвинуться в вашем исследовательском вопросе, в остальных случаях просто пролистайте.

Другие испытанные методы включают в себя: Спросите своего консультанта и других коллег вокруг вас, возможно, они уже изучили это и могут указать вам на соответствующий материал.

Спасибо за Ваш ответ. Эта техника стека кажется мне крутой. Я попробую в моем следующем процессе поиска литературы.

На самом деле вы задаете вопрос, который задают большинство новых аспирантов: как мне найти, понять и повлиять на актуальную проблему в выбранной мной области обучения? Большинство аспирантов в той или иной степени являются новичками в этой области. Например, вы говорите, что у вас есть опыт работы со статистикой и т. д., поэтому вы не совсем новичок в этой области, вы просто плохо знакомы с конкретной подзадачей. Это дает вам большое преимущество перед кем-то, пришедшим из совершенно не связанной области, такой как зоология :-P

Ответ Тавалая великолепен и является основой для проведения основательного обзора литературы. Основная лежащая в основе идея заключается в том, что вы сосредотачиваетесь на том, чтобы учиться как можно больше, чтобы вы больше не были новичком в этой области. Я хотел бы добавить к нему несколько оговорок:

  1. При обзоре литературы обратите особое внимание на то, считается ли ваше решение вкладом в эту область или ее применением. Это во многом будет зависеть от того, в какой области вы решите оказать влияние. Является ли эта область глубоким обучением? Распознавание изображений? CNN? То, что является вкладом в одну область, может быть просто основным приложением в другой. Например, если вы пытаетесь повлиять на глубокое обучение, но ваш вклад состоит в том, чтобы просто «соединить эти две сети вместе и посмотреть, насколько хорошо они решают конкретную проблему», маловероятно, что вы окажете влияние. Однако, если выбранная вами область — распознавание изображений, и вы теоретически докажете, что ваша сеть обладает свойствами, решающими известную проблему, это может иметь большое значение.

  2. Остерегайтесь людей, которые думали об этом раньше. К сожалению, проблема академических исследований заключается в том, что, если вы об этом подумали, возможно, кто-то еще тоже. Посмотрите вдоль и поперек, чтобы убедиться, что ваше конкретное решение или что-то настолько похожее на него, что не имеет значения, уже было опубликовано или изучено и отброшено. Вполне возможно, что идея, которая, по вашему мнению, сработает, на самом деле ничем не лучше другой, более простой идеи. Также возможно, что кто-то проделал работу, аналогичную вашей, и их статья просто не была достаточно впечатляющей, чтобы привлечь внимание. Это может произойти из-за того, что это недостаточно интересно, или из-за того, что они были опубликованы в низкоуровневом журнале.

  3. Будьте осторожны с методами слияния. Во многих академических исследованиях недостаточно просто сложить две вещи вместе и посмотреть, что из этого выйдет. Вы должны искать, как доказать, что эти две конкретные вещи, взятые вместе, явно лучше. В вашем примере, почему, в частности, GAN и CNN должны быть объединены для решения этой проблемы? Почему бы не две другие вещи? Почему не дополнительные вещи? Как вы узнаете, что ваша сеть лучше?

В конечном счете, вам придется делать больше, чем просто изучать эту область. Вам нужно научиться различать и продавать ценность ваших исследований опытным исследователям в этой области.

Спасибо за Ваш ответ. Это было действительно полезно. Я буду иметь в виду эти моменты.
Не могли бы вы объяснить, что вы имели в виду, когда сказали, что объединение сетей для внесения вклада в глубокое обучение вряд ли окажет влияние, в то время как то же теоретическое доказательство того, что такое слияние решает проблему, может оказать большое влияние на распознавание изображений. Вы пытаетесь обсудить идею сужения фокуса исследования исследовательской проблемы — чем более сфокусирована исследовательская проблема, тем она лучше.
По сути, я имею в виду, что это не вклад в то, чтобы просто соединить две вещи и посмотреть, что получится. Это просто приложение. Проведение исследований во многих областях может включать объединение двух новых вещей, но для того, чтобы вас опубликовали, вам нужно будет объяснить, почему, конкретно и теоретически, это была хорошая идея. Обычно вам нужно доказать, что эти две вещи, а не какие-то другие две произвольные вещи, наверняка улучшат производительность и что никто никогда не думал об этом раньше. В противном случае это просто игра с программным обеспечением

Другие ранние ответы здесь были больше сосредоточены на том, как изучать поле. Это будет немного по-другому. На мой взгляд, нет причин ждать, прежде чем опробовать свои исследовательские идеи. Вы, вероятно, никогда не перестанете ждать, если зайдете слишком далеко. Но работа вслепую, скорее всего, приведет в тупик, и вам нужно распознать (или получить совет), когда вы идете в тупик.

Таким образом, возможно, лучше использовать смешанный подход. Начните с того, что потратите часть своего времени (скажем, 10–20 %), работая над своей проблемой, а остальное время изучая область и анализируя проблему на основе того, что вы узнали. Со временем увеличивайте исследовательскую часть по мере приобретения опыта и меньше тратите на чтение литературы.

Сомневаюсь, что такие "исследовательские попытки" будут потрачены впустую, даже если они и не увенчаются успехом. По крайней мере, вы узнаете много о том, что не работает.

Я думаю, что слишком многие студенты слишком долго ждут, чтобы начать работать над осмысленными задачами. Конечно, полезно иметь консультанта, который на начальном этапе подскажет, что имеет смысл и какие подходы можно попробовать (или уже исчерпали). Если у вас есть идеи, вы должны потратить на них немного времени, но критически относиться к самоанализу того, что у вас есть, и не делать поспешных выводов.

Но вам, вероятно, также будет полезен совет. Если у вас нет официального консультанта, вы все равно можете обмениваться идеями с преподавателем или другим исследователем в этой области. Практика с обратной связью — отличный способ учиться.

Я думаю, что слишком многие студенты слишком долго ждут, чтобы начать работать над значимыми проблемами. Это было моей главной заботой, которая побудила меня написать этот пост. Спасибо за Ваш ответ. Буду искать возможные источники обратной связи.