מודלים של למידה ברשתות

ערך הסף של נוירון Sj = f ( Xj ) ; j אותות הפלט של נוירון , j אשר שווים לפונקציה ( לא ליניארית ) של מצב ההפעלה בנוירון . j פונקציה לא ליניארית משמעה שאין יחס ישר בין ערכי הקלט והפלט . כמו במערכת העצבים הביולוגית , הגירוי , או הקלט , עד לעוצמה של ערך סף מסוים , מפיק תגובה ליניארית . כלומר , מתקיים יחס ישר בין עוצמת הגירוי , או ערכי הקלט , לבין הפלט . אולם כאשר עוצמת הגירוי עוברת את ערך סף העירור , נוצרת תגובה לא ליניארית ( התפתחות דחף עצבי , או פוטנציאל הפעולה , ( שהיא צורת התקשורת השכיחה יותר במערכת העצבים . ההתנהגות מקורה , ברובה , בתגובות לא ליניאריות של הנוירונים . מודלים של למידה ברשתות מודל הנוירון הממוחשב של מקלוק ופיטס קיבל את הכינוי "מסנן הסתגלותי" כאשר צורף לו מרכיב של למידה . מרכיב הלמידה מתבטא בשינוי המשקלות של הקשרים בעקבות נסיונות הפעלה חוזרים , ומבטא את הסתגלות הרשת למצבים חדשים . אחד הרעיונות המוקדמים בדבר היכולת של רשת ללמוד הוצג על ידי הב . ( Hebb , 1949 ) בהתייחסו למערכות עצביות ביולוגיות , קבע הב את החוק הבא : "כאשר אקסון של נוירון A קרוב דיו לעורר את נוירון B ונוטל ח...  אל הספר