پردازش رایانه‌ای زبان

رایانه و زبان فارسی - ۲۱

۰۶ آذر ۱۴۰۰ | ۱۴:۵۱ کد : ۲۳۹۱۵ اینجا فارسی زبان بین‌المللی است
تعداد بازدید:۱۰۹
رایانه و زبان فارسی - ۲۱

رایانه و زبان فارسی - ۲۱
کاربردهای پردازش رایانه‌ای زبان: تکمیل خودکار متن 
دکتر هادی ویسی
...................................................
اگر بتوان در زمان تایپ یک متن، کلمه/کلمات بعدی را پیش‌بینی کرد، سرعت تایپ بیشتر شده وکار تایپ آسان‌تر می‌شود، این همان کاری است که شما نمونه آن را در زمان تایپ یک عبارت در جستجوگر گوگل و یا نوشتن یک پیام در گوشی تلفن همراه خود مشاهده کرده‌اید. این کار به لطف قابلیت پیش‌بینی کلمات و تکمیل خودکار متن در رایانه که به آن «مدل زبانی» می‌گوییم، انجام می‌شود.
 روش‌ها: همه آنچه در پیش‌بینی کلمات بعدی صورت می‌گیرد این است رایانه محتمل‌ترین کلمه/عبارت بعدی را بر اساس اطلاعات آماری‌ای که از پیکره متنی استخراج شده است، به شما پیشنهاد می‌دهد. برای این کار، روش‌های آماری مدل‌سازی زبانی مانند N-Gram یا روش‌های مبتنی بر یادگیری عمیق مانند RNNها، از  یک پیکره متنی احتمال رخداد هر دنباله از نویسه‌ها/کلمه‌ها را بعد از هر نویسه/کلمه دیگر حساب کرده و در حین تایپ چند مورد (معمولا 3 تا 5 مورد) از محتمل‌ترین‌ها شناسایی می‌شود. اگر شما به نرم‌افزار تایپ پیام در گوشی خود، اجازه استفاده از متون نوشته شده توسط خودتان را داده باشید، مدل زبانی پایه نرم‌افزار بر اساس نوشته‌های شما به‌روز شده و بعد از مدتی، در حین تایپ پیامک، کلماتی به شما پیشنهاد می‌دهد که بر اساس نوشته‌های قبلی شماست (تکیه‌کلام‌های شما)، مانند پیشنهاد کلمه «عزیزم» بعد از تایپ کلمه «سلام».
...................................................
پی‌نوشت: امروزه با همه‌گیر شدن نقش رایانه‌ها در ابعاد مختلف زندگی انسان، حوزهٔ زبان (نوشتاری و گفتاری) نیز از فناوری‌های مرتبط با رایانه بی‌بهره نبوده و رشد شتابان هوش مصنوعی منجر به خلق ابزارهای مدرنی در این حوزه شده است. «رایانه و زبانِ فارسی» یادداشت‌های کوتاهی در مورد نقش رایانه در زبان و یا نحوه استفاده از آن برای پردازش زبان، با تاکید بر زبان فارسی، است. این یادداشت‌ها را آقای دکترهادی ویسی، معاون علمی مؤسسهٔ لغت‌نامهٔ دهخدا (دانش‌آموختهٔ رشتهٔ دکترای هوش مصنوعی از دانشگاه صنعتی شریف و عضو هیأت علمی دانشکده علوم و فنون نوین دانشگاه تهران)، تهیه کرده و هر هفته یکی از آنها در وب‌گاه و شبکه‌های اجتماعیِ مؤسسهٔ لغت‌نامهٔ دهخدا منتشر می‌شود.

کلید واژه ها: رایانه و زبان رایانه و زبان فارسی آموزش زبان فارسی موسسه دهخدا دکتر هادی ویسی پردازش رایانه‌ای زبان تکمیل خودکار متن مدل‌سازی زبانی روش‌های آماری N-Gram


نظر شما :