סילבוס

תוכן הקורס ומטרתו

למידה עמוקה

20% שיעורי בית. 80% פרויקט סופי

- מבני רשתות עצביות: פרספטרון רב שכבתי, רשתות קונבולוציה, רשתות חוזרות, רשתות עם זכרון, רשתות שארית.

- אלגוריתם הbackpropagation

- אלגוריתם stochastic gradient descent ותכונותיו

-פונקציות מחיר ושיטות אופטימיזציה מסדר ראשון (גודל צעד משתנה, שיטת מומנטום, שיטת נסטרוב, אלגוריתם אדם ואחרים)

-למידה עמוקה עבור בעיות סיווג ורגרסיה

-מעבר מסיווג לזיהוי עצמים: שיטת region CNN (RCNN) והרחבותיה השונות, , YOLO, SSD ושיטות מתקדמות אחרות.

- פילוח סמנטי: בנייה של רשתות קונבלוציה מלאות מרשתות סיווג לשם פתרון בעיות פילוח. שיטת mask-RCNN להמרת רשתות גילוי עצמים לרשתות פילוח.

- שדות אקראיים מותנים ושימושיהם עם רשתות עמוקות

- למידת מטריקת מרחקים - triplet loss, contractive loss, angular loss, זיהוי פנים בעזרת למידה עמוקה

- למידה עמוקה עבור מודלי שפה - הקדמה קצרה על מודלים מרקובים נסתרים ומודלי שפה, מודל n-grams, ייצוגי מילים, שיטת word2vec, תרגום מכונה, שיטת המקודד-מפענח, מנגנון הattention.

- למידה עמוקה עבור דיבור - המרת תרגום לטקסט, זיהוי דובר, ייצור דיבור (מבנה wavenet).

- מודלים יוצרים - autoencoder, variational autoencoder, רשתות יריביות יוצרות (GAN), wasserstein GAN, GAN מעגלי.

- למידה עמוקה עבור מידע גיאומטרי - למידה עמוקה ספטרלית, pointNet.



ספרות:

Book: Ian Goodfellow and Yoshua Bengio and Aaron Courville, Deep Learning, MIT press

מאמרים חדשניים מהעת האחרונה הסוקרים שיטות חדשות בלמידה עמוקה