בפרק זה, התארחנו ב weel.com, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסות את זה בבית, אבל לא כ"כ מהר על כסף אמיתי!
קישורים רלוונטיים:
The_Hummingbird_Project
2010_flash_crash
QuantConnect
Algorithmic Trading Strategies
7 Apr 2021
Episode 17: Models Discrimination
בפרק זה, נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer.
קישורים:
"What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters. Accessed 15 Dec. 2020.
"Bias in Natural Language Processing (NLP): A Dangerous But ...." 1 Sep. 2020, https://towardsdatascience.com/bias-in-natural-language-processing-nlp-a-dangerous-but-fixable-problem-7d01a12cf0f7. Accessed 15 Dec. 2020.
"Adversarial Removal of Demographic Attributes from Text Data." 20 Aug. 2018, https://arxiv.org/abs/1808.06640.
"Unsupervised Domain Adaptation by Backpropagation." 26 Sep. 2014, https://arxiv.org/abs/1409.7495.
16 Mar 2021
Episode 16: GAN - Generative Adversarial Networks
בפרק זה, נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם.
קישורים:
מאמר מקורי GAN
DCGAN
המתמטיקה של GAN
WGAN
INFOGAN
BIGAN
StyleGAN
2 Mar 2021
Episode 15: Transformers - האבולוציה של ניתוח סדרות בזמן
בפרק זה, נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers.נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR.
קישורים רלוונטיים:
Attention Models
הסבר טוב בוידאו על Transformers
Talk to Transformer
The Illustrated Transformer
End-to-End Object Detection with Transformers
16 Feb 2021
Episode 14: Graph Neural Nets - שיכון גרפים
בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec).קישורים:
Node2vec - https://arxiv.org/pdf/1607.00653.pdf, https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef
GNN - https://arxiv.org/pdf/1812.08434.pdf
Graph embeddings - https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007
2 Feb 2021
Episode 13: 3D
בפרק זה אנו נארח את פיטר נפתליאב הבלוגר ומנהל קהילת /r/2D3DAI שידבר איתנו על עולם התלת מימד.
נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud.
קישורים רלוונטיים:
/r/2D3DAI
3D Reconstruction
Points Cloud
Marching cubes
19 Jan 2021
Episode 12: Gaussian process regression/ Kriging
בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים:
https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf
Pydata nyc workshop on GPR
Conjugate prior
בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.
קישורים רלוונטיים:
Curriculum learning
מאמר ראשון בנושא (Elman)
Curriculum for Reinforcement Learning
Teacher-Student Curriculum Learning
On The Power of Curriculum Learning in Training Deep Networks
23 Dec 2020
Episode 10: Fourier Transform - אינטרו לפורייה
בפרק זה, נשוחח על מהי התמרת פורייה. מוטיבציות, שימושים, Time Series והקשר ללמידה עמוקה.קישורים רלוונטיים:
But what is the Fourier Transform? A visual introduction
Fourier Convolutional Neural Networks
9 Dec 2020
Episode 9: Adversarial Training - איך לבלבל מודלים?
בפרק זה, נדבר על Adversarial Attacks, על איך מייצרים Adversarial Examples בשיטת FGSM, על התקפות White or Black box models ונזכיר Certifiable Robustness.
FGSM
A Survey of Adversarial Machine Learning in Cyber Warfare
no need to worry about adversarial examples in object detection in autonomous vehicles
25 Nov 2020
Episode 8: הורדת מימדים
בפרק זה נדבר על הורדת מימדים - Dimensionality reduction. נעסוק במוטיבציות (קללת המימדים), ובאלגוריתמים PCA, T-SNE, AutoEncoders, SOM.
קישורים רלוונטיים:
https://onlinecourses.science.psu.edu/stat505/lesson/11
https://distill.pub/2016/misread-tsne/
11 Nov 2020
Episode 7: Clustering from a bird eye view
בפרק זה נעסוק בבעיה הכי שכיחה בעולם unsupervised, הרי היא בעיית ה-clustering - ניתוח אשכולות. נדבר על משפחות אלגוריתמים (top down - bottom up, soft-hard, metric/ graph/ distribution based), ונעסוק במדדי הצלחה קלאסיים (silhouette, dunn index, DB index, Rand index) ובמדדי הצלחה תלויי בעיה.
קישורים רלוונטיים:
Deep Learning Clustering
Clustering Metrics
Clustering assisted labeling
28 Oct 2020
Episode 06: (XAI) פרשנות מודלים
בפרק זה נעסוק באיך מפרשים מודלים ואיך מבינים את ההחלטות שלהם. תחום רחב זה נקרא Explainable artificial intelligence או Interpretable machine learning. בפרק נעסוק בטכניקות השונות שיש בתחום ובפרט ב ZF-NET, DeepDream, GradCam, Lime, Shap.
קישורים רלוונטיים:
ספר אונלייני
Visualizing CNN
ZFNet - Visualizing and Understanding Convolutional Networks
DeepDream
Lime
GradCam
DeepLift
Shap
14 Oct 2020
Episode 05: NLPH (NLP In Hebrew)
בפרק זה נדבר על עיבוד טקסט בעברית, ונציג כיצד הוא שונה משפות אחרות, ובפרט מאנגלית. נשוחח על ה-NLP Pipeline ועל למה הוא שבור בעברית, ונדבר על התחביר של עברית והתכונות הייחודיות של שפות שמיות.
רעות צרפתי
יואב גולדברג
המעבדה לעיבוד שפה טבעית בעברית
GPT
YAAP
30 Sept 2020
Episode 04: All Multi's
בפרק זה נדבר על כל ה-Multi's וננסה לעשות סדר במושגים שנוטים לבלבל:
multi class classification, multi label classification, multi task learning, Multi objective, Multiple modality.
נגדיר כל מושג, ניתן דוגמאות ונדון בסוגיות ומימושים סביב כל מושג. קישורים רלוונטיים:
https://ruder.io/multi-task/
16 Sept 2020
Episode 03: Active Learning
בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):
Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling.
לסיום נדון ב-Active Learning כבעיית Reinforcement Learning.
קישורים רלוונטים\שהזכרנו:
modAL
Snorkel
Prodigy
Active Learning Tutorial
REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION
2 Sept 2020
Episode 02: Reinforcement Learning - Introduction
בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning.
נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation.
קישורים שהוזכרו:
שיתוף פעולה בין סוכנים במשחק המחבואים
שיתוף פעולה בין סוכנים במשחק תפוס את הדגל
סדרת הרצאות של David Silver
Agent57 - מודל אחד שמשחק ברמה אנושית ב 57 משחקים
BRETT- הרובוט שמרכיב לגו
MuJoCo מנוע המדמה את חוקי הפיסיקה
19 Aug 2020
Episode 01: The Lottery Ticket Hypothesis
בפרק זה, נעסוק ב-Neural Network Pruning, כאשר נתקמד בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT.
במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק:
THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS
Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask
19 Aug 2020
Episode 00: Who are we and what do we want?
זהו פרק מבוא קצרצר בו אנו מספרים מי הוא תמיר נווה ומי הוא אורי גורן, למה החלטנו להתחיל עם הפודקאסט, ומה היינו רוצים שיהיה בפרקים הבאים.
Contact Amlek.AI: ML & AI Podcast
Guest appearances
Books guests
Based on episode analysis; this does not confirm that the show is currently accepting guests.
Host of Amlek.AI: ML & AI Podcast?
Claim your podcast to manage its listing and keep your show details accurate.
Pod Engine is an independent podcast discovery and analytics service and is not affiliated with or endorsed by this podcast. Artwork and show content belong to their owners. Full legal notice.
Explore this show Podcast research with Pod Engine
