?國外研究發展的過程

神經網絡誕生半個多世紀以來，同其他事務一樣發展不是一帆風順的，大體上經歷了以下5個階段：

（1）奠基階段。

早在20世紀40年代初，神經解剖學、神經生理學、心理學以及人腦神經元的電生理的研究等都有一定的成果。其中，神經生物學家McCulloch提倡數字化具有特別的意義。他同青年數學家Pitts合作，從人腦信息處理觀點出發，采用數理模型的方法研究了腦細胞的動作和結構及其生物神經元的一些基本生理特性，提出了第一個神經計算模型，即神經元的閾值元件模型，簡稱為MP模型，他們認識到了模擬大腦可用于邏輯運行的網絡，有一些結點，及結點與結點之間相互聯系，構成一個簡單神經網絡模型。其主要貢獻在于，結點的并行計算能力很強，為計算神經行為的某此方面提供了可能性，從而開創了神經網絡的研究。這一革命性的思想，產生了很大影響。

（3） 第一次高潮階段。

在1958年計算機科學家Rosenblatt基于MP模型，增加了學習機制，推廣了MP模型。他證明了兩層感知器能夠將輸入分為兩類，首先假如這兩種類型是線性并可分，也就是一個超平面能將輸入空間分割，其感知器收斂定理：輸入和輸出層之間的權重的調節正比于計算輸出值與期望輸出之差。

他提出的感知器模型，首次把神經網絡理論付諸工程實現。例如，1957年到1958年間在他的帥領下完成了第一臺真正意義上的的神經計算機，即：Mark Ⅰ的感知器。他還指出了帶有隱含層處理元件的3層感知器這一重要的研究方向，并嘗試將兩層感知器推廣到3層。但是他沒有能夠找到比較嚴格的數學方法來訓練隱含層處理單元。這種感知器是一種學習和自組織的心理學模型，其結構體現了神經生理學的知識。當模型的學習環境含有噪音時，內部結構有相應的隨機聯系，這種感知器的學習規則是突觸強化律，它可能應用在模式識別和聯想記憶等方面。可以說，他的模型包含了一些現代神經計算機的基本原理，而且是神經網絡方法和技術上的重大突破，他是現代神經網絡的主要構建者之一。Rosenblatt的行為激發了很多學者對神經網絡研究的極大興趣．美國的上百家有影響的實驗室紛紛投入到這個領域，軍方給予巨額資金資助，比如，對聲納波識別，迅速確定敵方的潛水艇位置，經過一段時間的研究終于獲得了一定的成果。這些事實說明，神經網絡形成了首次高潮。

（4） 堅持階段。

神經網絡理論那些遙遠的但是并非不可達到的目標著實吸引著很多人的目光，美國軍方認為神經網絡工程應當比“原子彈工程”更重要，并且對它的投資興趣巨大，而對它的實踐效果也比較滿意。這時，Minsky比較關心的是人工智能的發展與前途問題。以順序離符號推導為其基本特征與神經網絡大相徑庭。他引發學術界的爭議，導致對人工智能投資的增加。他從感知器的功能及局限性入手，在數學上進行了分析，證明了感知器不能實現XOR 邏輯函數問題，也不能實現其它的謂詞函數。他認識到感知器模式的簡單神經網絡對于認知群不變性無能為力。1969年Minsky

和Papert在MIT出版了一本論著Percertrons，對當時與感知器有關的研究及其發展產生了十分負面的影響，使得有些學者把研究興趣轉移到人工智能或數字電子計算機有關的理論和應用方面。這樣，推動了人工智能的發展，使其占了主導地位。美國在此后15年里從未資助神經網絡研究課題，致使前蘇聯有關研究機構也受到感染，終止了已經資助的神經網絡研究的課題。

（5） 第二次高潮階段。

1981年芬蘭Helsink大學的T.Kohonen提出了自組織映射網絡模型（Self-Organizing feature Map，簡稱SOM），又稱Kohonen網。Kohonen認為，一個神經網絡接受外界輸入模式時，將會分成不同區域，各個區域對輸入模式有著不同的響應特征，而且這一過程是自動完成的。映射具有拓撲性質，對一維、二維都是正確的，并在計算機上進行了模擬，通過實例所展示的自適應學習，學習效果顯著。他認為有可能推廣到更高維的情況。但是當時，他的自組織網絡的局部與全局穩定性問題還沒有得到解決。值得一提的是，Hinton和Anderson的著作Para llel Models of Associative Memory產生了一定的影響。由于理想的神經元連接組成的理論模型也具有聯想存儲功能，因此具有特別有意義。這類神經網絡從40年代初期就有學者在研究。 當然，不同時期的研究總有新的認識。1982年生物物理學家Hopfield詳細闡述了它的特性，他對網絡存儲器描述得更加精細，他認識到這種算法是將聯想存儲器問題歸結為求某個評價函數極小值的問題，適合于遞歸過程求解，并引入Lyapunov函數進行分析。在網絡中 ，節點間以一種隨機異步處理方式相互訪問，并修正自身輸出值，可用神經網絡來實現，從而這類網絡的穩定性有了判據，其模式具有聯想記憶和優化計算的功能。并給出系統運動方程，即Hopfield神經網絡的神經元模型是一組非線性微分方程。

（6） 新發展階段。

從神經網絡理論簡短的發展歷史來看，它們的高潮階段是十分容易度過的。IJCNN91大會主席Rumelhart意識到這一點，在他的開幕詞中有一個觀點，神經網絡的發展已到了一個新的轉折的時期，它的范圍正在不斷擴大，其應用領域幾乎包括各個方面。半個世紀以來，這門學科的理論和技術基礎已達到了一定規模，但是神經網絡到新發展階段，需要不斷完善和突破，使其技術和應用得到有力的支持。

?國內神經網絡發展的歷史

國內最早涉及人工神經網絡的著作是涂序彥先生等于1980年發表的《生物控制論》一書，書中將“神經系統控制論”單獨設為一章，系統地介紹了神經元和神經網絡的結構、功能和模型。隨著人工神經網絡20世紀80年代在世界范圍內復蘇，國內也逐步掀起了研究熱潮。1989年10月和11月分別在北京和廣州召開了神經網絡及其應用學術討論會和第一界全國信號處理－神經網絡學術會議。1990年2月，由中國八個學會聯合在北京召開“中國神經網絡首屆學術大會”。收到了來自全國的300多篇論文，從而開創了中國神經網絡及神經計算機方面科學研究方面的新紀元。

?神經網絡發展現狀

幾十年的發展使得神經網絡上升到了一個新的高度，國外的發展十分迅速而且富有成果，在信息領域、自動化領域、工程領域、醫學領域、經濟領域都取得了豐碩的成果，特別是美蘇軍方對神經網絡的投入大大刺激了神經網絡的發展，吸引了一大批有識之士加入到這一行列，經歷了第二次高潮階段之后，神經網絡的發展更加迅速帶來了新的技術成果。如：手寫輸入、語音識別、聯想記憶、節能、衛星動作監測、信貸分析等等。

經過多年的發展，國內學術界和工程界在人工神經網絡的理論研究和工程應用方面也取得了豐碩成果，學術論文、應用成果和研究人員的數量逐年增長。醫療、中藥、病人分類等方面尤其在石油工業神經網絡的發展十分迅速，物探的儲層識別等方面應用十分突出。這方面的學術論文迅速增加，并取得了一定的成果，為物探的發展開辟出一個新的方向。