Applying machine learning approach to start-up success prediction

Abstract

Predicting the success of a new venture has always been a topical issue for both investors and researchers. Nowadays, it has become even more relevant concerning start-ups-young innovative and technology enterprises aimed at scaling their businesses. The purpose of this study is to create a model for predicting start-ups’ success based on their descriptive characteristics. A model that connects such start-up features as the period from foundation to the first financing, the area of activity, type, and amount of the first financing round, business model, and applied technologies, with the start-up investment success, which refers to re-investment, has been developed using data from the Dealroom platform on statistics of start-ups activity and their description. The final sample included 123 start-ups that are founded or operate in Ukraine. Three machine learning algorithms are compared: Logistic Regression, Decision Tree, and Random Forest. Acceptable results were obtained in terms of Accuracy, Sensitivity, and F-score, despite the limited data. The best model concerning start-up success prediction is determined by a Decision Tree, with an average effectiveness of 61%, 55%, and 52%, respectively. The AUC level for the Decision Tree achieved 58%, which is lower than the Logistic Regression and Random Forest scores (65%). But the last models had done so well by better predicting start-up failures, while more practical is the ability to predict their success. All models showed an acceptable level of AUC to confirm with confidence their effectiveness. The decision support system for the investment object can be helpful for entrepreneurs, venture analysts, or politicians who can use the built models to predict the success of a start-up. This forecast, in turn, can be used to drive better investment decisions and develop relevant economic policies to improve the overall start-up ecosystem.

Прогнозування успіху новоствореного підприємства завжди було актуальною задачею як для інвесторів, так і для дослідників. У теперішній час вона набула ще більшою актуальності стосовно стартапів – молодих інноваційних технологічних підприємств, спрямованих на масштабування свого бізнесу. Дане дослідження спрямоване на створення моделі прогнозування успіху стартапу на основі його описових характеристик. Використовуючи дані платформи Dealroom стосовно статистики фінансування стартапів та їх опису, розроблена модель, яка пов’язує такі характеристики стартапу як: період від заснування до отримання першого фінансування, сфера діяльності, тип і сума першого раунду фінансування, бізнес-модель і застосовані технології із інвестиційним успіхом стартапу, під яким розуміється отримання повторного фінансування. У фінальну вибірку увійшло 123 стартапи, які засновані або ведуть свою діяльність в Україні. Порівняно три алгоритми машинного навчання – логістичну регресію, дерево рішень і випадковий ліс. Незважаючи на обмеженість доступних даних, отримані прийнятні результати з точки зору Accuracy, Sensitivity та F-score. Найкращою моделлю з точки зору передбачення успіху стартапу визначено – дерево рішень, із показниками середньої точності 61 %, 55 %, і 52 % відповідно. Оцінка AUC для дерева рішень встановилася на рівні 58 %, що нижче показників логістичної регресії та випадкового лісу (65 %), але останні моделі досягли таких високих результатів за рахунок кращого передбачення провалів стартапів, у той час коли ж більш практично-значущим є можливість передбачення їх успіху. Всі моделі показали прийнятний рівень точності класифікації AUC, що з впевненістю дозволяє стверджувати про їх ефективність. Система підтримки прийняття рішень стосовно об’єкту інвестування може бути корисною для підприємців, венчурних аналітиків або політиків, які можуть використати побудовані моделі для прогнозування успіху стартапу. Цей прогноз, зі свого боку, може використовуватися для прийняття більш ефективних інвестиційних рішень і розробки релевантної економічної політики, спрямованої на поліпшення загальної екосистеми стартапів.