智慧型计算在大数据分析之应用

　　【智慧型计算在大数据分析之应用】在数据爆炸量、多样化以及数据升级快速的时代下，大数据分析之应用日益受到重视，在商业智慧领域也无法避免;过去所处理的数据大都是属于结构性，亦为传统数据库用于协助解决商业行为的数据结构;近年来，由于数据产生的多维性，数据的产生有‘4V’特性，即数据量大(Volume)、数据多样性(Variety)、高误差性(Veracity)、输入和处理速度快(Velocity)，尤其非结构数据(如Text, image, video等)的大量形成，强烈冲击传统数据库的技术与应用;同时，因为大数据数据类别多、形成速度快，因此云端技术的支援与数据传输速度的充足与否，便是其能否顺利运作的重要关键，如订票系统、观看影片等，当数据都上传至云端时，除了有大量的数据存取空间外，带宽也必需充足，才能让用户可及时下载所需数据。

　　但就因为数据产生越来越多、瞬间产生越来越快、样式越来越大，而且有不正确性、杂讯等干扰因素存在，因此软、硬件设备都需要升级，才能因应庞大且迅速产生的数据量。幸而Hadoop分散式并行处理系统的开发，让数据在够快的网络速度下可进行多个CPU的平行运算;此外，固态硬碟亦为大量数据储存的重要硬件设备;换句话说，CPU的平行运算、固态硬碟、及网络速度，在大数据的数据处理上，三者缺一不可。本校张百栈教授所带领的商业智慧团队，其核心技术就在于处理大数据下之非结构性数据，利用智慧运算(Computational Intelligence, CI)技术，对非结构性数据进行数据探勘(Data Mining)，而主要应用的领域在于股价讯号判定以及心跳数据判定，尤其是在股价讯号判定部分，该团队可进一步利用机器学习(Machine Learning)的方式进行股价预测。

　　智慧型计算技术应用在病例数据之判读

　　张百栈教授所带领的团队一直以来致力于顶广智慧型计算，并结合各领域知识(Domain Knowledge)来解决不同类型之问题，包括工厂排程问题、股市预测与医疗信息三大领域。过去多年之研究在于结合四项智慧型计算技术：即探勘策略、(类)神经计算、演化式计算与自然计算，提出创新的Hybrid Model in Computational Intelligence (CI)，利用SOM (Self-Organizing Maps) 或K-means 先将数据做分群，再将分群后的数据找出其模糊数据规则，来进行新的预测，所得到的正确率比没有分群高出许多。这是因为分群后的数据同质性更高，从而求得之模糊数据规则也更具有代表性。此一模型也被国际上许多学者接受与引用。

　　该团队亦将此一模式进行改良，并应用于医疗领域中生理讯号处理与病例辨识等问题。首先，将数据以案例式顶理方法分群，之后以模糊决策树与基因演算法，分别建立子群体之模糊规则，藉此判断是否为肝脏疾病与乳腺癌的病例，此项研究成果已发表在着名的Applied Soft Computing期刊上。近年更发展出多导程心电图之心脏疾病辨识，主要着重在心电讯号的处理：先将译码后的心电讯号除去杂讯，并进行波型取样，再以隐藏式马可夫模型训练方式，找出患病与健康病例之机率模型，最后结合高斯混合模型的训练，来进行病例判读。目前台湾已有知名医院将患者的心电图信息上传至云端，让医师可以从智慧型装置直接做判读，但由于心电图的判读颇费心力，部份医院会将这部分的工作外包，由具专业知识的全球人才进行心电图的分析，然后再以机器学习演算法(Machine Learning )的方式进行病历数据判读与建立数据库，这也就是大数据的应用。

　　分群技术与 TSK 模糊技术之股价指数预测

　　此一团队亦运用各种软性计算技术，建立股价指数预测之模型。其预测步骤是先将数据分群，而后运用TSK 模糊技术找出影响股价指数的重要因素，再以机器学习演算法或类神经网络分析，进行台湾加权指数预测，并从中判定低客人、高客人的讯号，预测准确率达到9成以上。目前此一预测模式仅纳入两个影响因子，分别为基本面和技术面;但如政治、经济、心理等‘大环境’因素是最难控制的，因此未来可将出现在各在线新闻网站或社群媒体等之政经新闻中的文字，经处理、过滤后转换成影响股价波动的情感讯号，准确率将可望再提高，有助于降低投资风险，并提高投资报酬。

　　个股股价转折客人及利润赚取预测

　　图一、方法流程图

　　此一团队另一项股市预测技术，在于个别股价投资时客人之研究。先将所欲投资的个股，其近半年至一年来的股价波动讯号，从非线性转成线性后，在高、低客人时之相关技术面指针如KD、RSI、成交量等作为输入变量(input)，并将股价转化为交易讯号(Trading signal)以作为输出变量(output)，进而从中找出具代表性的变量;之后再将筛选出的因子，输入类神经网络中训练，也就是Machine Learning，进而预测股价之高、低客人转折处。此部份可说是股价指数预测部份之延伸，由于已可成功预测股价指数，因此进一步探讨如何在股票市场中赚取利润便相当重要，预测出个股价格转折客人(Turning Point)，便可让投资者能逢低买进、逢高卖出，提升投资报酬率;此部份之技术基础在于结合线段切割(Piecewise Linear Representation, PLR)系统与类神经网络预测(Back-propagation Neural Network, BPN)等技术，而以 PLR 作为判断原始数据转折客人之预测工具。研究流程主要分为三个步骤：首先，为了增加投资报酬率，我们将提出选股原则，并以这些原则选出具有投资效益的个股;第二步骤，利用预测模型及事先交易决策分析个股买卖客人，输入变量为技术指针值，输出变量为买卖时客人;第三步骤，预测每日交易讯号，以获得最佳买卖时机客人，即股价转折客人(如图一)。

　　综上所述，张百栈教授所率领的商业智慧运算团队，除了基础分析技术超卓外，所应用分析的领域涵盖面极广并切合实际应用，尤其是对于生理信息的判定方面，对于人类社会将会有长足的贡献，研究成果相当值得期待。