The Informational Complexity of Learning: Perspectives on Neural Networks and Generative Grammar

در میان موضوعات دیگر، پیچیدگی اطلاعاتی یادگیری:دیدگاه‌های شبکه‌های عصبی و گرامر تولیدی دو مشکل یادگیری مهم اما بسیار متفاوت را در چارچوب تحلیلی یکسانی گرد هم می‌آورد. اولین مورد به مشکل یادگیری نگاشت های عملکردی با استفاده از شبکه های عصبی و به دنبال آن یادگیری گرامرهای زبان طبیعی در اصول و پارامترهای سنت چامسکی مربوط می شود.
این دو مشکل یادگیری به ظاهر بسیار متفاوت هستند. شبکه‌های عصبی نگاشت‌هایی با ارزش واقعی، بی‌بعدی و پیوسته هستند. از سوی دیگر، گرامرها نگاشتهای گسسته (نمادین) با ارزش بولی، محدود بعدی هستند. علاوه بر این، جوامع تحقیقاتی که در این دو حوزه کار می کنند تقریباً هرگز با هم همپوشانی ندارند.
هدف کتاب پر کردن این شکاف است. از تکنیک های رسمی توسعه یافته در تئوری یادگیری آماری و علوم کامپیوتر نظری در دهه گذشته برای تجزیه و تحلیل هر دو نوع مشکل یادگیری استفاده می کند. با پرسیدن همین سوال - چه مقدار اطلاعات برای یادگیری لازم است؟ - از هر دو مشکل، شباهت ها و تفاوت های آنها را برجسته می کند. نتایج خاص شامل انتخاب مدل در شبکه‌های عصبی، یادگیری فعال، یادگیری زبان و مدل‌های تکاملی تغییر زبان است.
پیچیدگی اطلاعاتی یادگیری: دیدگاه‌هایی بر شبکه‌های عصبیو گرامر مولد یک کار بسیار بین‌رشته‌ای است. هر کسی که علاقه مند به تعامل علوم کامپیوتر و علوم شناختی است باید از این کتاب لذت ببرد. محققان در هوش مصنوعی، شبکه‌های عصبی، زبان‌شناسی، علوم کامپیوتر نظری و آمار آن را به ویژه مرتبط می‌دانند.

Among other topics, The Informational Complexity of Learning:Perspectives on Neural Networks and Generative Grammar brings together two important but very different learning problems within the same analytical framework. The first concerns the problem of learning functional mappings using neural networks, followed by learning natural language grammars in the principles and parameters tradition of Chomsky.
These two learning problems are seemingly very different. Neural networks are real-valued, infinite-dimensional, continuous mappings. On the other hand, grammars are boolean-valued, finite-dimensional, discrete (symbolic) mappings. Furthermore the research communities that work in the two areas almost never overlap.
The book's objective is to bridge this gap. It uses the formal techniques developed in statistical learning theory and theoretical computer science over the last decade to analyze both kinds of learning problems. By asking the same question - how much information does it take to learn? - of both problems, it highlights their similarities and differences. Specific results include model selection in neural networks, active learning, language learning and evolutionary models of language change.
The Informational Complexity of Learning: Perspectives on NeuralNetworks and Generative Grammar is a very interdisciplinary work. Anyone interested in the interaction of computer science and cognitive science should enjoy the book. Researchers in artificial intelligence, neural networks, linguistics, theoretical computer science, and statistics will find it particularly relevant.