Недавно я столкнулся с проблемой, связанной с распознаванием изображений в Deep Learning. В одно прекрасное утро меня осенила мысль, что, возможно, я мог бы что-то с этим сделать, если бы объединил GAN с CNN. На данный момент я знаю только то, на что способны эти сети.
Теперь, как я должен это сделать? Должен ли я сначала выбрать стандартную книгу (скажем, «Глубокое обучение» Яна Гудфеллоу) и прочитать ее от корки до корки? Или мне сразу читать какие-то исследовательские статьи, выявлять области, в которых я слаб, а потом копаться в этих самых областях из стандартных текстов.
Другими словами, не лучше ли завершить все, до чего я могу дотянуться, прежде чем приступить к работе над этой идеей? Или я должен начать с него и заполнить пробелы по мере их появления.
PS Мой опыт прохождения курсов статистического обучения, вероятностей и исчисления гарантирует, что я могу полностью понять математику, лежащую в основе вышеуказанных тем.
Я все еще учусь, но несколько консультантов научили меня тому, как подходить к своей области.
Во-первых, поищите недавний структурированный обзор литературы по полю и таксономии. Они дают вам хорошую отправную точку, так как все соответствующие документы (в любом случае, надеюсь) перечислены там, и это дает вам идеальный указатель для изучения поданной заявки. Конечно, если его нет, вы можете быть первым, кто его создаст ;).
Затем пришло время много читать, создать стопку всех соответствующих документов — отметить все ссылки, которые выглядят полезными, и добавить их в стопку. Продолжайте, и как только ваш стек начнет уменьшаться больше, чем растет, вы должны иметь представление о поле.
Для того, чтобы сделать это в разумные сроки, вам не нужно глубоко читать каждую статью. Постарайтесь уловить идею и постарайтесь вписать их в свое понимание поля. Внимательно читайте только те документы, которые помогут вам продвинуться в вашем исследовательском вопросе, в остальных случаях просто пролистайте.
Другие испытанные методы включают в себя: Спросите своего консультанта и других коллег вокруг вас, возможно, они уже изучили это и могут указать вам на соответствующий материал.
На самом деле вы задаете вопрос, который задают большинство новых аспирантов: как мне найти, понять и повлиять на актуальную проблему в выбранной мной области обучения? Большинство аспирантов в той или иной степени являются новичками в этой области. Например, вы говорите, что у вас есть опыт работы со статистикой и т. д., поэтому вы не совсем новичок в этой области, вы просто плохо знакомы с конкретной подзадачей. Это дает вам большое преимущество перед кем-то, пришедшим из совершенно не связанной области, такой как зоология :-P
Ответ Тавалая великолепен и является основой для проведения основательного обзора литературы. Основная лежащая в основе идея заключается в том, что вы сосредотачиваетесь на том, чтобы учиться как можно больше, чтобы вы больше не были новичком в этой области. Я хотел бы добавить к нему несколько оговорок:
При обзоре литературы обратите особое внимание на то, считается ли ваше решение вкладом в эту область или ее применением. Это во многом будет зависеть от того, в какой области вы решите оказать влияние. Является ли эта область глубоким обучением? Распознавание изображений? CNN? То, что является вкладом в одну область, может быть просто основным приложением в другой. Например, если вы пытаетесь повлиять на глубокое обучение, но ваш вклад состоит в том, чтобы просто «соединить эти две сети вместе и посмотреть, насколько хорошо они решают конкретную проблему», маловероятно, что вы окажете влияние. Однако, если выбранная вами область — распознавание изображений, и вы теоретически докажете, что ваша сеть обладает свойствами, решающими известную проблему, это может иметь большое значение.
Остерегайтесь людей, которые думали об этом раньше. К сожалению, проблема академических исследований заключается в том, что, если вы об этом подумали, возможно, кто-то еще тоже. Посмотрите вдоль и поперек, чтобы убедиться, что ваше конкретное решение или что-то настолько похожее на него, что не имеет значения, уже было опубликовано или изучено и отброшено. Вполне возможно, что идея, которая, по вашему мнению, сработает, на самом деле ничем не лучше другой, более простой идеи. Также возможно, что кто-то проделал работу, аналогичную вашей, и их статья просто не была достаточно впечатляющей, чтобы привлечь внимание. Это может произойти из-за того, что это недостаточно интересно, или из-за того, что они были опубликованы в низкоуровневом журнале.
Будьте осторожны с методами слияния. Во многих академических исследованиях недостаточно просто сложить две вещи вместе и посмотреть, что из этого выйдет. Вы должны искать, как доказать, что эти две конкретные вещи, взятые вместе, явно лучше. В вашем примере, почему, в частности, GAN и CNN должны быть объединены для решения этой проблемы? Почему бы не две другие вещи? Почему не дополнительные вещи? Как вы узнаете, что ваша сеть лучше?
В конечном счете, вам придется делать больше, чем просто изучать эту область. Вам нужно научиться различать и продавать ценность ваших исследований опытным исследователям в этой области.
Другие ранние ответы здесь были больше сосредоточены на том, как изучать поле. Это будет немного по-другому. На мой взгляд, нет причин ждать, прежде чем опробовать свои исследовательские идеи. Вы, вероятно, никогда не перестанете ждать, если зайдете слишком далеко. Но работа вслепую, скорее всего, приведет в тупик, и вам нужно распознать (или получить совет), когда вы идете в тупик.
Таким образом, возможно, лучше использовать смешанный подход. Начните с того, что потратите часть своего времени (скажем, 10–20 %), работая над своей проблемой, а остальное время изучая область и анализируя проблему на основе того, что вы узнали. Со временем увеличивайте исследовательскую часть по мере приобретения опыта и меньше тратите на чтение литературы.
Сомневаюсь, что такие "исследовательские попытки" будут потрачены впустую, даже если они и не увенчаются успехом. По крайней мере, вы узнаете много о том, что не работает.
Я думаю, что слишком многие студенты слишком долго ждут, чтобы начать работать над осмысленными задачами. Конечно, полезно иметь консультанта, который на начальном этапе подскажет, что имеет смысл и какие подходы можно попробовать (или уже исчерпали). Если у вас есть идеи, вы должны потратить на них немного времени, но критически относиться к самоанализу того, что у вас есть, и не делать поспешных выводов.
Но вам, вероятно, также будет полезен совет. Если у вас нет официального консультанта, вы все равно можете обмениваться идеями с преподавателем или другим исследователем в этой области. Практика с обратной связью — отличный способ учиться.
Солнечный Майк
Нимиш Мишра
Мэтт
Нимиш Мишра