LSTM عمیق با لایه یادگیری تقویت برای پیش بینی روند مالی در سیستم های تجارت فرکانس بالا FX

تجارت با فرکانس بالا روشی برای مداخله در بازارهای مالی است که از ابزارهای نرم افزاری پیشرفته و گاهی اوقات سخت افزاری استفاده می کند ، که با استفاده از آنها می توان مذاکرات با فرکانس بالا را هدایت کرد ، با هدایت الگوریتم های ریاضی ، که در بازارها برای سهام ، گزینه ها ، اوراق قرضه ، مشتق عمل می کنندابزارها ، کالاها و غیره. استراتژی های HFT به حجم قابل توجهی از ترافیک تجاری رسیده است ، به حدی که تخمین زده می شود که آنها مسئولیت بیشتر ترافیک معامله برخی از بورس اوراق بهادار را بر عهده دارند ، با درصدی که در برخی موارد ، بیش از 70 ٪ از کل هستند. یکی از مهمترین موضوعات سیستم های HFT پیش بینی روند کوتاه مدت کوتاه است. به همین دلیل ، بسیاری از الگوریتم ها در ادبیات ارائه شده است. نویسنده در این کار استفاده از یک الگوریتم مبتنی بر یادگیری عمیق تحت نظارت و الگوریتم یادگیری تقویت را برای پیش بینی روند کوتاه مدت در بازار فارکس ارز (ارز خارجی) پیشنهاد می کند تا بازده سرمایه گذاری را در یک الگوریتم HFT به حداکثر برساند. با دقت متوسط حدود 85 ٪ ، الگوریتم پیشنهادی قادر به پیش بینی روند کوتاه مدت یک صلیب ارز بر اساس روند تاریخی این و با استفاده از داده های همبستگی با سایر صلیب ارز با استفاده از تکنیک های شناخته شده در زمینه مالی است. با اصطلاح داوری. قسمت نهایی خط لوله پیشنهادی شامل یک موتور بازرگانی شبکه است که بر اساس پیش بینی های روند فوق ، عملیات فرکانس بالایی را به منظور به حداکثر رساندن سود و به حداقل رساندن کاهش می دهد. سیستم معاملاتی طی چندین سال مالی و در صلیب یورو/USD تأیید شده است که عملکرد بالای آن را از نظر بازده سرمایه گذاری (98. 23 ٪) علاوه بر کاهش کاهش یافته (15. 97 ٪) تأیید می کند که پایداری مالی آن را تأیید می کند.

1. معرفی

کلید شناسایی صحیح روند بازار ، تخمین صحیح هر دو روند میان مدت و بلند مدت است. با تجزیه و تحلیل سری زمانی مالی ، می توانیم ببینیم که بسیاری از روندها از پویایی به خوبی تثبیت شده پیروی می کنند که در آن می توان الگوهای گرافیکی مکرر را شناسایی کرد. با این حال ، اغلب سیستم های تجاری نه تنها به شناسایی روند فعلی علاقه مند هستند بلکه در شناسایی آن "سیگنال های نهفته" تولید شده توسط بازار و این در واقع اولین اعلامیه های تغییر روند را تشکیل می دهند. معمولاً ، تغییر روند در هر بازار مالی قبل از یک دوره به اصطلاح انتقالی از مدت نامحدود پیش می رود اما در هر صورت کوتاه که معکوس روند دنبال خواهد شد [1]. بدیهی است ، اگر این امر در مورد سهام یا بازار اوراق قرضه صادق باشد ، حتی بیشتر از بازار ارز (FOREX) نیز بیشتر است ، که بدیهی است که حجم بسیار بیشتری از معاملات مالی نسبت به سهام را شامل می شود [2،3،4،5]. بسیاری از الگوریتم های معاملاتی سعی می کنند روند فعلی را شناسایی کنند و بنابراین سیگنال های وارونگی از طریق یک مطالعه همبستگی بین ابزار مالی مورد تجزیه و تحلیل و سایر موارد مربوط به آن ، زیرا در همان بخش بازار یا به دلایل دیگر ماهیت مالی ذکر شده است. یکی از راه هایی که بسیاری از معامله گران از این همبستگی ها سوء استفاده می کنند مربوط به به اصطلاح "داوری" است. در بازارهای مالی ، داوری می تواند در هنگام تلاش برای به دست آوردن مزیت اختلاف در قیمت واحد ارز مربوط به سوء استفاده های کوتاه مدت بین ارز معامله شده با موارد مرتبط رخ دهد [2]. در بازار ارز ، به نظر می رسد این رویکرد شایسته تحقیقات بیشتر است زیرا ذکر شده است که بسیاری از تغییرات ارز با پویایی بسیار همبسته نیز از نظر به اشتراک گذاری نرخ ارز انجام می شود (به عنوان مثال EUR/USD CROSS CORNRY با EUR/مراجعه کنید. GBP یا EUR/USD با GBP/USD). شکل 1 نمونه ای از سری زمانی مالی مرتبط (EUR/USD با GBP/USD) را نشان می دهد.

به موارد فوق این مشاهدات را اضافه می کنیم که بازار ارزی پویایی متقاطع غیر خطی و غیر ثابت را تحت تأثیر عوامل کلان اقتصادی ، سیاست های پولی ملی و بین المللی ، درگیری های نظامی و غیره ارائه می دهد. این عوامل ، بیشتر از آنچه غیرقابل پیش بینی نیست ، تولید می کنندسطح خاصی از عدم اطمینان و پیش بینی بودن که بدیهی است تأثیر بیشتری در بلند مدت خواهد گذاشت و در کوتاه مدت بیشتر در صورتی وجود دارد اگر سیاست سیستم معاملاتی الگوریتم های مناسب برای جبران مالی یا ضرر و زیان را بر اساس استفاده محتاطانه از ضرر پویا متوقف کند. بشربه همین دلایل ، نویسنده پیشنهاد اجرای یک الگوریتم معاملات فرکانس بالا (HFT) را پیشنهاد می کند که اجازه می دهد معاملات مالی سریع و سریع با مزیت بدون شک حاوی ضررها در مورد معاملات نادرست انجام شود ، اگرچه این امر با یافته نتیجه ای متعادل استحتی سود فقط می تواند موجود باشد. بدیهی است که این جنبه آخر نیز با اجرای تعداد زیادی از معاملات و با یک استراتژی تجاری دقیق بر اساس شناسایی قوی روند کوتاه مدت کوتاه جبران می شود. نویسنده قبلاً از طریق روشهای یادگیری عمیق مبتنی بر استفاده از معماری های یادگیری تحت نظارت مانند شبکه های حافظه کوتاه مدت (LSTM) ، توسعه الگوریتم های HFT را هم در بورس و هم در بازار ارز بررسی کرده است. نتایج به دست آمده نیز به دلیل هر دو ماهیت پیش بینی کننده الگوریتم پیشنهادی و استراتژی شبکه اعمال شده در بازار فارکس رضایت بخش بود [1،2].

با این حال ، در ادبیات ، چندین نویسنده به منظور ساختار سیستم های تجاری کارآمد ، استفاده از روشهای یادگیری عمیق و یادگیری تقویت (RL) را بررسی کرده اند. در زیر برخی از مشارکتهای علمی وجود دارد که مزایایی را که می توان از استفاده از یادگیری عمیق تحت نظارت و الگوریتم های مبتنی بر RL به دست آورد ، نشان می دهد.

1. 1یادگیری عمیق (LSTM) و سیستم های تجاری مبتنی بر RL: بررسی ادبیات

در [6] ، نویسندگان یک رویکرد تجاری جالب را بر اساس استفاده از یادگیری تقویت عمیق پیشنهاد کردند. نویسندگان یک عامل بازرگانی را بر اساس یادگیری تقویت کننده عمیق پیشنهاد کردند تا با استفاده از یک رویکرد اصلاح شده Q-Network (DQN) و بازیگر-انتقادی (A3C) به طور مستقل تصمیمات تجاری بگیرند. آنها یک چارچوب عمیق را بر اساس استفاده از یک AutoEncoders Denoising انباشته (SDAES) و LSTM) به منظور طراحی مکانیسم های قوی برای کاربرد بیشتر نماینده تجارت در محیط تجارت واقعی اجرا کردند. نتایج اثربخشی رویکرد پیشنهادی را تأیید کرد [6].

در [7] ، یک روش معاملاتی چند منظوره در داخل ارائه شده است. ایده اصلی رویکرد پیشنهادی ، استفاده از روش یادگیری تقویت عمیق چند هدف برای بازنمایی و تجارت سیگنال مالی داخلی است. نویسندگان در [7] یک شبکه عصبی عمیق را برای استخراج ویژگی های عمیق بازار اجرا کردند و به دنبال آن یک چارچوب یادگیری تقویت کننده (با LSTM های AD-HOC) قادر به تصمیم گیری مداوم در تجارت بودند. به منظور دستیابی به یک تجارت خوب بین سود و ریسک ، نویسندگان یک رویکرد بهینه سازی چند هدف را پیشنهاد کردند که شامل دو عملکرد عینی (یکی برای سود و دیگری برای ریسک) با وزنهای مختلف است. نتایج تجربی تأیید کرد که رویکرد گزارش شده در [7] حتی اگر یک تجزیه و تحلیل کشش در مقاله گنجانده نشده باشد.

در [8] ، چن و همکاران. یک روش نوآورانه را بر اساس مفهوم "تجارت انرژی" ارائه داد. از طریق یک الگوی ریاضی موقت از استراتژی های تجارت انرژی یک پروسومر در مدل بازار جامع پیشنهادی ، فرایند تصمیم گیری Prosumer به عنوان یک فرایند تصمیم گیری مارکوف مورد تجزیه و تحلیل قرار می گیرد تا مشارکت بازار محلی با استفاده از فناوری یادگیری تقویت کننده عمیق حل شودمکانیسم پخش مجدد را تجربه کنید. این رویکرد را می توان به راحتی در بازارهای مالی با مراجعه خاص به سهام شرکت ها در زمینه مدیریت انرژی گسترش داد. یکی از شاخص های مورد مطالعه در امور مالی کمی مطمئناً نوسانات مالی است. روش های مختلفی برای محاسبه اکتشافی نوسانات یک ابزار مالی خاص وجود دارد. چندین سیستم معاملاتی مبتنی بر تخمین فاکتور نوسانات ابزار مالی است به طوری که داشتن یک روش قوی و کارآمد برای پیش بینی نوسانات بسیار مهم است.

در [9] ، نویسندگان خط لوله ای را برای پیش بینی نوسانات چنین جفت ارز (INRUSD) پیشنهاد دادند. با استفاده از معماری های عمیق LSTM اخیر ، نوسانات جفت ارز INR/USD با موفقیت تخمین زده شده است. تحقیقات گزارش شده در [9] یک رویکرد نوآورانه برای پیش بینی روند صعودی یا پایین آمدن حرکت نوسانات روزانه ارائه داده است. نویسندگان الگوریتم مبتنی بر LSTM را با شبکه های عصبی رگرسیون کلاسیک ، SVM ، جنگل تصادفی ، الگوریتم های رگرسیون ، درختان تصمیم گیری و تکنیک های تقویت مقایسه کردند. رویکرد مبتنی بر LSTMS به عنوان بهترین عملکرد تأیید شد.

در [10] ، نویسندگان چندین استراتژی معاملاتی را بر اساس رویکردهای مبتنی بر یادگیری عمیق که برای تجارت شاخص کامپوزیت شانگهای اعمال شده است ، تجزیه و تحلیل کردند. نتیجه این نظرسنجی در [10] تأیید کرد که بهترین استراتژی تجارت بر اساس استفاده از شبکه عصبی عمیق ، مواردی است که دقت پیش بینی بالایی را در بازار نوسانات پایین نشان می دهد ، زیرا می تواند به سرمایه گذاران در کاهش ریسک ضمن بدست آوردن بازده رضایت بخش کمک کند. در [11] ، چن و همکاران. ایده بسیار جالبی را ارائه داد: کلون کردن استراتژی معاملاتی قبلی که در سوابق مالی ذخیره شده است تا سیستم معاملاتی سودآور ایجاد شود. به هر حال ، با توجه به مقادیر زیادی از داده های مالی که شامل منطق تصمیم گیری آن است و روشهای اصلی استراتژی های معاملاتی مجری به ویژه دشوار است. به همین دلایل ، نویسندگان در [11] پیشنهاد کردند که از یک سیستم یادگیری تقویت (RL) برای تقلید استراتژی های معاملاتی مجری حرفه ای استفاده کنند. نویسندگان محیط RL (ایالات ، اقدامات و پاداش ها) را به منظور استفاده از روش شیب خط مشی موقت قادر به تقلید از استراتژی های معاملاتی متخصص طراحی کردند. نتایج تجربی نشان می دهد که خط لوله RL پیشنهادی قادر به تولید مثل حدود 80 ٪ از تصمیمات تجاری خوب در جلسات آموزش و اعتبار سنجی است.

1. 2سیستم های معاملاتی مبتنی بر محاسبات عمیق: بررسی ادبیات

در [12] ، نویسندگان یک رویکرد جالب را به نام بر اساس سیستم تجارت A (سیستم چند عامل برای تجارت سهام) پیشنهاد کردند. نویسندگان استفاده از رویکردهای یادگیری عمیق در چارچوب تجارت A را برای ایجاد استراتژی های معاملاتی سودآور در بازار فارکس مورد تجزیه و تحلیل قرار دادند. به نظر می رسد الگوریتم یادگیری عمیق H20 با توجه به نتایج تجربی گزارش شده در [12] انجام می شود. در [13] ، نویسندگان چنین رویکردهای یادگیری ماشین را با موارد جدیدی که توسط نویسندگان ارائه شده و بر اساس استفاده از شبکه عصبی 1D (CNN) تجزیه و تحلیل و مقایسه کرده اند ، تجزیه و تحلیل و مقایسه کردند. لایه های حلقوی یک بعدی پیشنهادی داده های مالی مختلف مانند قیمت و حجم را پردازش می کنند و به جای آن ، ویژگی های عمیق را برای ساخت استراتژی های معاملاتی مورد استفاده قرار می دهند. نویسندگان عملکرد روش خود را با جلسه آزمایشی کامل از خط لوله معاملات پیشنهادی در مورد داده های تاریخی شش آینده از ژانویه 2010 تا اکتبر 2017 ارزیابی کردند. نتایج به نظر می رسد بسیار امیدوار کننده است [13]. سالهاست که چندین نویسنده رفتار هرج و مرج چنین پدیده هایی از جمله پویایی بازار مالی را مورد مطالعه قرار داده اند [14].

لی در [14] یک شبکه هرج و مرج از نوع 2-fuzzy-fuzzy عصبی عمیق (CT2TFDNN) را برای پیش بینی داده های مالی در سراسر جهان از جمله ارزهای اصلی رمزنگاری ، فارکس ، کالاهای اصلی و چندین شاخص مالی ارائه داد. نویسنده مفهوم جدید نوسان سازهای عصبی هرج و مرج را معرفی کرد که به عنوان "نورون های ورودی گذرا-فازی" از شبکه عصبی عمیق استفاده شده خدمت می کند. این شبکه عمیق پیشنهادی توسط نویسنده برای پیش بینی روند ابزار معامله شده استفاده شده است. نتایج تجربی تأیید کرد که رویکرد پیشنهادی بسیار امیدوار کننده است.

در [15] ، نویسندگان استفاده از روش "دنباله دار" را برای ساخت استراتژی های تجاری کارآمد تجزیه و تحلیل کردند. در جزئیات بیشتر ، نویسندگان در [15] با توجه به مشکل تجارت به عنوان یک مشکل کنترل ، یک روش جدید قیمت گذاری قیمت را پیشنهاد کردند. روش پیشنهادی عوامل قوی را اجرا می کند که می تواند مقادیر زیادی از سر و صدای سری زمانی را تحمل کند و روند قیمت را به منظور انجام عملیات سودآور مشخص می کند. منحنی P& L گزارش شده در [15] تأیید کرد که رویکرد پیشنهادی در بازار مالی بسیار خوب عمل می کند. به هر حال ، طبق بیشتر استراتژی های معاملاتی که در ادبیات ارائه شده است ، رویکرد گزارش شده در [15] و همچنین بسیاری از موارد فوق ، اگرچه بسیار خوب عمل می کنند ، اما آنها فاقد تجزیه و تحلیل دقیق از حداکثر و پویا هستند [1،2] ، که برای ارزیابی صحیح استراتژی تجاری پیشنهادی لازم است ، زیرا این امکان را می دهد تا علاوه بر قرار گرفتن در معرض سرمایه لازم ، ریسک قرار گرفتن در معرض سرمایه گذار را نیز تعیین کند تا به اجرای استراتژی پیشنهادی مراجعه کند.

در این مقاله ، نویسنده خط لوله ای را پیشنهاد می کند که از مزایای استفاده از روشهای یادگیری عمیق و یادگیری عمیق در ترکیب با مطالعه همبستگی ابزار استفاده می کند ، به منظور پیش بینی روند کوتاه مدت کوتاه و بنابراین انجام عملیات سریع (HFT) به منظور انجامسود (سود) را به حداکثر برسانید و ریسک را به حداقل برسانید. این روش ابتدا در بخش بعدی (مواد و روشها) و همچنین مجموعه داده مورد استفاده برای آزمایش و اعتبار سنجی رویکرد پیشنهادی توضیح داده می شود. در بخش 2. 4 ، سیستم معاملات شبکه بر اساس پیش بینی های روند انجام شده توسط یادگیری عمیق و بلوک RL نشان داده می شود. بنابراین ، نتایج در بخش 3 ارائه می شود که در آن آنها در مورد مزایای برجسته و تحولات آینده خط لوله پیشنهادی اظهار نظر می شود.

2. مواد و روشها

روش ارائه شده در این مقاله به دنبال سوء استفاده از همبستگی بین صلیب ارز مجزا به منظور پیش بینی روند میان مدت مواردی از آنها خواهد بود. برای این منظور ، نویسندگان در زیر خط لوله ای را که مبتنی بر استفاده از مجموعه صرافی های ارز متقابل است که یک فرصت داوری در بازار فارکس را توصیف می کند ، توصیف می کنند. همانطور که در بخش اول معرفی شده است ، یک داوری از اختلاف در قیمت واحد پول منفرد مربوط به سوء استفاده های کوتاه مدت بین ارز معامله شده با موارد مرتبط استفاده می کند [16]. یک نمونه بارز داوری ، به اصطلاح داوری مثلثی است که به سه ارز اشاره دارد که یکی از آنها از ترکیب قیمت دو صلیب دیگر قابل دستیابی است. در این مقاله به صلیب EUR/USD ، GBP/USD و EUR/GBP مراجعه خواهیم کرد. یک رویکرد مشابه می تواند به هر سه گانه دیگر از ارزهای مرتبط گسترش یابد. ارز که برای انجام عملیات معاملاتی در آن انجام می شود EUR/USD است [13]. قیمت صلیب EUR/USD برای اهداف داوری در بازار ارز همیشه باید از دو جفت دیگر EUR/GBP و GBP/USD با رابطه قابل دستیابی باشد

در معادله (1) ، ما با P بیان شده ایم_x(t_k) قیمت ارز. بنابراین ، در یک بازار متعادل مالی ، به طوری که یک سرمایه گذار نتواند از شرایط داوری استفاده کند و به تبع آن یک سود سیستماتیک بدست آورد ، معادله (1) همیشه باید تأیید شود ، یعنی باید یک همبستگی زمانی بسیار دقیق بین صلیب ارز خاص وجود داشته باشد. در واقعیت ، سوء استفاده های کوتاه مدت کوچک همیشه در بازارهای فارکس یافت می شود و این اغلب فرصت های عالی برای مشاوران ربات مالی است که به طور خودکار بسیاری از عملیات را انجام می دهند و از این سوء استفاده از بازار کوتاه مدت استفاده می کنند. نویسنده در حال تحقیق در مورد طراحی و استفاده از ویژگی های خاص دست ساز (که نویسنده قبلاً در زمینه پزشکی از آن استفاده کرده است) که از نمودار سری زمان ارز استخراج شده است و به نظر می رسد که زود نشان دهنده سوء استفاده های احتمالی بین قیمت ارز متقابل استکه از آن استخراج می شوند [17،18،19،20،21].

به دلایل ذکر شده در بالا ، نویسنده خط لوله ای را طراحی کرده است که برای تعیین روند میان مدت یک ارز معین ، همبستگی بین ارزهای مرتبط را در زمینه یک داوری مثلثی مورد تجزیه و تحلیل قرار می دهد. در مورد خاص ، بدون از دست دادن تعمیم ، نویسنده به ارز EUR/USD مراجعه می کند که در آن می توان عملیات معاملاتی مالی و ارزهای EUR/GBP و GBP/USD را برای تعیین داده ها برای یک آربیتراژ مثلثی احتمالی تعیین کرد. ملاحظات مشابه می تواند به هر مجموعه دیگری از ارز با همان ویژگی های مالی گسترش یابد.

با تأسیس این فرضیه لازم ، نویسنده خط لوله پیشنهادی را در زیر شرح می دهد. شکل 2 در زیر نمودار بلوک خط لوله الگوریتمی را نشان می دهد که در این مقاله در نظر گرفته شده است:

بندهای زیر هر یک از بلوک های موجود در نمودار کامل خط لوله پیشنهادی را نشان می دهد و در شکل 2 نشان داده شده است.

2. 1داده بلوک پیش پردازش داده

هدف از این بلوک پیش پردازش داده های سری زمانی مالی ورودی است. به طور خاص ، در این بلوک داده های سری زمانی ورودی در محدوده عادی می شوند [0 ، 1]. شکل 3 نمونه ای از سری زمانی مالی عادی مربوط به سه ارز متقاطع مورد تجزیه و تحلیل در این مقاله را نشان می دهد. به این ترتیب ، هرچه قیمت ارز متقاطع وارد سیستم ما شود ، خط لوله همیشه داده ها را در محدوده [0 ، 1] پردازش می کند ، و ثبات الگوریتم پیشنهادی را تا حد زیادی بهبود می بخشد.

به منظور آموزش و اعتبارسنجی خط لوله پیشنهادی ، نویسنده مجموعه داده مناسبی از داده های قیمت گذاری مالی را ترتیب داده است. به طور خاص ، داده های مالی تاریخی (با دقت 99. 9 ٪) EUR/USD ، GBP/USD ، EUR/GBP برای سالهای 2004-2018 جمع آوری شده است. مجدداً با اشاره به دوره زمانی فوق الذکر ، برای هر ارز متقاطع داده های تاریخی که به قیمت های باز و بسته شدن اشاره دارد ، علاوه بر زمان هر نقل قول (زمان CET) بالاتر و پایین تر است. این مجموعه داده به درستی به منظور سازماندهی مجموعه ای از داده ها که می تواند برای مرحله آموزش سیستم پیشنهادی و باقی مانده برای جلسه آزمایش و اعتبار سنجی استفاده شود ، به درستی تقسیم شده است. به طور خاص ، چنین شبیه سازی های آموزشی و اعتبار سنجی سالانه انجام شده است ، تقسیم مجموعه داده ها به شرح زیر است: 70 ٪ از مجموعه داده های ذکر شده برای آموزش خط لوله استفاده شده است ، در حالی که از 30 ٪ باقی مانده برای اعتبارسنجی و آزمایش روش پیشنهادی استفاده شده است. هر دو مجموعه آموزش و اعتبار سنجی مورد تجزیه و تحلیل قرار گرفته است که می دانند آیا روند ممکن (طولانی ، کوتاه ، تهی) به طور مساوی در هر دو مجموعه داده نشان داده شده است تا از مسائل بیش از حد برای سیستم یادگیری عمیق جلوگیری شود.

بنابراین داده های مالی که به این ترتیب سازماندهی شده است به عنوان ورودی به سیستم پیش پردازش شرح داده شده در این بخش ارائه می شود که خروجی آن توسط بلوک یادگیری عمیق بعدی پردازش می شود.

2. 2بلوک یادگیری عمیق

هدف از این بلوک تعیین اولین پیش بینی از روند کوتاه مدت کوتاه برای معامله ارز است ، در مورد این مقاله ، ما به صلیب EUR / USD اشاره خواهیم کرد. معماری که نویسنده می خواست در این کار از آن استفاده کند ، مبتنی بر استفاده از شبکه های حافظه کوتاه مدت کوتاه مدت (LSTM) است. شرح جامع معماری LSTM را می توان در [22،23] یافت. معماری LSTMS اساساً انواع خاصی از شبکه های عصبی مکرر (RNN) با توانایی مشخصی در یادگیری وابستگی های طولانی مدت است. LSTM ها تغییرات زیادی دارند. واحد اساسی یک شبکه LSTM سلول است. یک سلول از سه پورت داده (ورودی ، فراموش ، خروجی) تشکیل شده است که داده ها را با استفاده از یک عملکرد فعال سازی نوع سیگموئید "σ" پردازش می کند در حالی که ورودی و وضعیت سلول با فعال سازی "TANH" تبدیل می شود [22]. سلول قادر به ذخیره (فراخوان) در فواصل زمانی دلخواه است در حالی که در بالای دروازه ها قادر به مدیریت جریان داده های ورودی/خروجی سلول هستند.

شکل 4 ساختار LSTM کلاسیک با جزئیات خاص در مورد واحد سلول ساده را نشان می دهد.

شکل 5 سلول LSTM معمولی را که در معماری ارائه شده در این مقاله استفاده می شود ، گزارش می کند.