本专栏往期文章曾讨论过，在外生刺激复杂多变的条件下，时间序列数据会发生结构变化，使得过时数据不再适用于当前时间序列建模。一般时间序列计量建模方法本身，并不兼备识别结构变化参数和变化时间点功能；而常用结构稳定性计量检验方法也需要较多的人工干预或计算资源投入，此问题在处理大量时间序列建模需求时尤其突出。为了解决量化研发过程中处理大量时间序列建模需求时遇到的结构变化问题，本人琢磨了一系列处理时间序列结构变化的建模方法，分别适用于不同场景的时间序列分析。本期介绍第1种需求场景及其建模方法。

场景描述

（1）需要敏感识别时间序列当前趋势状态，即敏感识别时间序列当前n阶差分正负偏向

（2）对时间序列当前趋势状态的判定需要足够的时间步数据进行验证

（3）区分趋势明确的部分和趋势模糊的部分

（4）对时间序列的未来估计只考虑符合当前趋势的最新信息

（5）对未经足够时间步数据验证的数据突变持保守态度

（6）对趋势模糊的部分进行假设检验判定趋势状态

（7）环境多变，数据稀疏，结构相同时期的数据样本经常未能满足经典计量方法参数估计需要

建模方法

依据上述场景，研究满足需求的建模方法：

第一步，针对第（1）点需求，计算时间序列的n阶差分序列。因为实际应用过程中，时间序列趋势变化一般以线性变化为主（例如往期上市公司利润表历史数据研究案例），除随机变化情况外，差分序列偏向大多出现在1阶和2阶，极少出现3阶以上的差分偏向。所以，本期的建模方法根据时间序列的1阶和2阶差分序列的正负偏向分析时间序列当前趋势状态，即计算分析时间序列 的1阶差分  和2阶差分 。

第二步，针对第（2）点需求，设置判定时间序列当前趋势状态需要的最小时间步MS，即与最新时间点数据连续的最少数据样本量。

第三步，针对第（3）点和第（4）点需求，从1阶差分的最新时间点开始向前回溯： 

（a）若全大于0，

        且 ，

        且（ 或 ），

        则判定当前趋势状态1阶明确为正（+），且为当前趋势状态1阶序列；

（b）若全小于0，

        且 ，

        且（ 或 ），

        则判定当前趋势状态1阶明确为负（-），且为当前趋势状态1阶序列；

（c）若 既有大于0也有小于0，

        且，

        且不存在使得( 全大于0或全小于0)，

        且[或( ) 全大于0或全小于0)]，

        则当前趋势状态1阶待定，且为当前趋势状态1阶序列；

（d）满足第（5）点需求，若且 ，

      且不存在使得( 全大于0或全小于0)，

      且[或( ) 全大于0或全小于0)]，

      则当前趋势状态1阶为无（n），且为当前趋势状态1阶序列。

第四步：除当前趋势状态1阶状态为无的情况外，进一步分析当前趋势状态1阶状态和当前趋势状态1阶序列：

（a）满足第（6）点需求，若当前趋势状态1阶待定，则将当前趋势状态1阶序列按显著性水平 分别进行偏向正和偏向负的单尾假设检验，最终判定当前趋势状态1阶为正（+）、负（-）或无（n）。不再进行2阶差分 分析。

（b）若当前趋势状态1阶明确为正（+）或负（-），则对2阶差分 进行相同的分析步骤，识别当前趋势状态2阶状态和当前趋势状态2阶序列。但不再进行3阶以后差分 分析。

至第四步结束，已经解决了第(1)(2)(3)(5)(6)点需求，并且完成时间序列当前趋势结构-即当前趋势状态和当前趋势序列的识别。建模者可结合识别结果和习惯使用的参数估计方法进行后续工作，也可按接下来的步骤进行参数估计。

第五步：满足第(4)(7)点需求，建立以下时间序列推演模型（预测模型）：

（a）当前趋势状态2阶为正（+）或负（-），计算当前趋势状态2阶序列的均值为2阶变化值G，取1阶差分最新值为1阶变化值D，取时间序列最新值 为基期值A。将A、D、G作为时间序列推演模型参数，基期 ，则模型的未来推演序列（预测序列）的计算公式为：

（b）当前趋势状态1阶为正（+）或负（-），计算当前趋势状态1阶序列 的均值为1阶变化值D，取时间序列最新值 为基期值A。将A、D作为时间序列推演模型参数，基期 ，则模型的未来推演序列（预测序列）的计算公式为：

（c）当前趋势状态1阶为无（n），取时间序列最新值为基期值A。将A作为时间序列推演模型参数，则模型的未来推演序列（预测序列）的计算公式为：

为了方便记忆及与后续介绍的建模方法进行区分，称该方法为严格状态更新模型Strict Latest Status Model，可以直接使用Python库valuequant实现，分析者可在终端执行命令pip install valuequant安装该模块。

代码实现和实际应用的简单示例

首先构建一个存在趋势结构变化的时间序列作为简单的测试序列。

>>> #创建简单的测试序列 
>>> import numpy as np 
>>> import pandas as pd 
>>> series=pd.Series(np.arange(1,13)+1+np.random.normal(0,0.1,12),index=pd.date_range(start='2010-01-01',periods=12,freq='Q-DEC')) 
>>> aseries=pd.Series(series[-1]+np.random.normal(0,0.1,12),index=pd.date_range(start='2013-01-01',periods=12,freq='Q-DEC')) 
>>> series=pd.concat((series,aseries)) 
>>> aseries=pd.Series(np.arange(1,21)*1.2+series[-1]+np.random.normal(0,0.1,20),index=pd.date_range(start='2016-01-01',periods=20,freq='Q-DEC')) 
>>> series=pd.concat((series,aseries)) 
>>> #绘图直观演示时间序列形态 
>>> plt.plot(series) 
>>> plt.show()

如上图，测试时间序列出现了两次趋势结构变化。接下来valuequant实现当前趋势结构-即当前趋势状态和当前趋势序列的识别以及参数估计。

>>> #调用valuequant并登录账号，登录账号可在https://www.boomevolve.com注册获得 
>>> import valuequant as vq 
>>> vq.login(name=<账户名称>,pswd=<账户密码>) 登录成功 
>>> #构建严格状态更新模型，minstep参数是判定时间序列当前趋势状态需要的最小时间步，significance参数是假设检验的显著性水平 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3) 
>>> #获取建模结果 
>>> model.model() 
{'method': 'l1', 'step': 21, 'params': {'l1_diff': 1.201133, 'value_latest': 36.725542}, 'status': {'l1': '+', 'l2': 'n'}} 
>>> #结果显示当前趋势状态status为1阶正2阶无，当前趋势状态序列为最后21步，使用1阶变化值进行未来序列推演 
>>> #可使用model.fit()命令获取样本内拟合数据，使用model.forecast(t=<需要预测的步数>)获取样本外推演数据 
>>> #绘图展示结果 
>>> plt.plot(model.data()) 
>>> plt.plot(model.fit()) 
>>> plt.plot(model.forecast(t=12)) 
>>> plt.show()

​以上是严格状态更新模型Strict Latest Status Model的简单代码实现。

注意事项：valuequant在建模过程中，会自动进行异常样本过滤。分析者也可根据建模需要，在使用前自行多加异常处理流程。

含季节项时间序列的应用示例

该方法的主要功能是识别时间序列的趋势结构变化，对含有季节项的时间序列，需要先分解时间序列季节项。该需求可以通过设置valuequant相关模型的seasonal参数满足。在上述测试时间序列的基础上，增加季节乘数，构建含季节项的测试序列，以作演示阐述。

>>> #构建含季节项的测试序列 
>>> series=series*pd.Series(np.tile([1.05,1.1,0.95,0.9],int(np.ceil(len(series)/4)))[:len(series)], index=series.index) 
>>> #绘图演示测试序列 
>>> plt.plot(series) 
>>> plt.show() 
>>> 设置seasonal=True（默认为False），分离时间序列季节项 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3,seasonal=True) 
>>> model.model() 
{'method': 'l1', 'step': 22, 'params': {'l1_diff': 1.19459, 'value_latest': 37.077803}, 'status': {'l1': '+', 'l2': 'n'}, 'seasonal': {'12': 0.899668, '3': 1.049939, '6': 1.099923, '9': 0.949162}, 'qorder': ['3', '6', '9', '12']} 
>>> #模型结果增加了关于季节乘数'seasonal'的估计 
>>> #绘图展示建模结果 
>>> plt.plot(model.data()) 
>>> plt.plot(model.fit()) 
>>> plt.plot(model.forecast(t=12)) 
>>> plt.show()

​

参数突变问题和实际处理方法

需要注意，对于存在参数突变的情况，该方法并未提供直接识别的功能。构建一个存在参数突变但趋势方向不变的测试序列，以作阐述。

>>> #构建参数突变但趋势方向不变的测试序列 
>>> series=pd.Series(np.arange(1,13)+1+np.random.normal(0,0.1,12),index=pd.date_range(start='2015-01-01',periods=12,freq='Q-DEC')) 
>>> aseries=pd.Series(np.arange(1,13)*3+series[-1]+np.random.normal(0,0.1,12),index=pd.date_range(start='2018-01-01',periods=12,freq='Q-DEC')) 
>>> series=pd.concat((series,aseries)) 
>>> plt.plot(series) 
>>> plt.show()

​>>> # 设置anneal参数，在假设检验和均值计算中使用时间权重 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3,anneal=0.9) 
>>> model.model() 
{'method': 'l1', 'step': 24, 'params': {'l1_diff': 2.564423, 'value_latest': 48.890396}, 'status': {'l1': '+', 'l2': 'n'}}

​以上左图为设置anneal=0.9的建模示例，右图为未设置anneal的建模示例，可以直观的观察到，设置anneal的模型参数估计更趋向参数突变后的时间序列特征。但是未能彻底解决参数突变的问题。

使用保守估计参数

另外，由于严格状态更新模型基于1、2阶差分变化值估计，在1阶差分方向与2阶差分方向不一致时，模型的未来推演序列（预测序列）将在有限步数内出现1阶差分方向反转。如果分析者对该反转持保守态度，可以设置valuequant相关模型的参数conservative=True（默认为False），使得模型不再使用2阶变化值，而使用1阶差分变化率g，模型的未来推演序列（预测序列）的计算公式改为

具体代码实现如下：

>>> #构建存在2阶变化，且1、2阶差分方向不一致的序列 
>>> series=pd.Series(8-6*pow(0.9,np.arange(1,13))+np.random.normal(0,0.001,12),index=pd.date_range(start='2018-01-01',periods=12,freq='Q-DEC')) 
>>> #设置严格状态更新模型参数conservative=True 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3,conservative=True) 
>>> model.model() 
{'method': 'l2smooth', 'step': 12, 'params': {'l1_latest': 0.18683799999999984, 'value_latest': 6.304831, 'l2smooth_rate': 1.0}, 'status': {'l1': '+', 'l2': '-'}, 'smooth': True} 
>>> #绘图展示结果 
>>> plt.plot(model.data()) 
>>> plt.plot(model.fit()) 
>>> plt.plot(model.forecast(t=12)) 
>>> plt.show()

​这样可以使得未来推演序列的1阶差分绝对值趋于0而非发生方向反转。

严格状态更新模型Strict Latest Status Model的局限性

局限1：该模型不适用于波动幅度较大的时间序列，细微的趋势结构变化容易被波动掩盖。如下图示例，时间序列趋势结构实际出现了多次变化，但由于波动较大，模型会将其归为同一波段且只进行一次假设检验。

​

>>> #构建测试序列 
>>> series=pd.Series(20-np.arange(1,13)+np.random.normal(0,1,12),index=pd.date_range(start='2010-01-01',periods=12,freq='Q-DEC')) 
>>> aseries=pd.Series(series[-1]+np.random.normal(0,1,12),index=pd.date_range(start='2013-01-01',periods=12,freq='Q-DEC')) 
>>> series=pd.concat((series,aseries)) 
>>> aseries=pd.Series(np.arange(1,21)*1.2+series[-1]+np.random.normal(0,1,20),index=pd.date_range(start='2016-01-01',periods=20,freq='Q-DEC')) 
>>> series=pd.concat((series,aseries)) 
>>> #构建严格状态更新模型 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3) 
>>> model.model() 
{'method': 'random', 'step': 44, 'params': {'value_mean': 14.749896}, 'status': {'l1': 'n'}} 
>>> #结果显示，该方法把整个时间序列归为同一个趋势模糊的波段而并未识别趋势结构的实际变化

局限2：在处理同时存在乘数季节项和高阶差分变化的时间序列时，分离季节项乘数难免产生的误差容易导致异方差问题，进而影响分离季节项后的趋势状态识别。

>>> #构建二阶趋势序列 
>>> trends=pd.Series(pow(np.arange(1, 40 + 1),2)*(-0.1)+np.arange(1, 40 + 1) * 10 +10 + np.random.normal(0, 0.01, 40), index=pd.date_range(start='2012-03-31',freq='Q-DEC',periods=40)) 
>>> #构建二阶趋势序列的严格状态更新模型 
>>> tmodel=vq.Models.strict_latest_status_model(series=trends,minstep=8,significance=0.3) 
>>> tmodel.model() 
{'method': 'l2', 'step': 40, 'params': {'l2_diff': -0.200825, 'l1_latest': 2.0771250000000236, 'value_latest': 249.980014}, 'status': {'l1': '+', 'l2': '-'}} 
>>> #在上述趋势序列基础上增加季节项进行对比 
>>> series=trends*pd.Series(np.tile([1.05,1.1,0.95,0.9],int(np.ceil(len(series)/4)))[:len(series)], index=series.index) 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3,seasonal=True) 
>>> model.model() 
{'method': 'l1', 'step': 40, 'params': {'l1_diff': 5.899722, 'value_latest': 250.011994}, 'status': {'l1': '+', 'l2': 'n'}, 'seasonal': {'12': 0.899885, '3': 1.048498, '6': 1.102457, '9': 0.953143}, 'qorder': ['3', '6', '9', '12']} 
>>> #对比两个建模结果，增加季节项后严格状态更新模型并未能识别趋势的二阶变化 
>>> plt.plot(tmodel.data()) 
>>> plt.plot(tmodel.fit()) 
>>> plt.plot(tmodel.forecast(12)) 
>>> plt.show() 
>>> plt.plot(model.data()) 
>>> plt.plot(model.fit()) 
>>> plt.plot(model.forecast(12)) 
>>> plt.show()

​如以上左图，在无乘数季节项的情况下，模型能够识别时间序列的2阶变化；但如以上右图，在时间序列乘季节项之后，再进行测试，此时只能识别时间序列的1阶变化。接下来分析原趋势序列和含季节项序列分离估计季节项后的序列的数据特征，找出原因。

>>> #计算含季节项序列分离估计季节项后的序列的值序列 
>>> pseries=series/pd.Series(np.tile([1.048498,1.102457,0.953143,0.899885],int(np.ceil(len(series)/4)))[:len(series)], index=series.index) 
>>> #对比原趋势序列和含季节项序列分离估计季节项后的序列的1阶差分序列和2阶差分序列 
>>> plt.plot(trends.diff()) 
>>> plt.show() 
>>> plt.plot(pseries.diff()) 
>>> plt.show() 
>>> plt.plot(trends.diff().diff()) 
>>> plt.show() 
>>> plt.plot(pseries.diff().diff()) 
>>> plt.show()

​如上左图趋势序列1阶差分对比右图含季节项序列分离估计季节项后序列1阶差分，右图在分离季节项后仍存在因季节性波动形成的误差。

再对比如下左图趋势序列2阶差分和右图含季节项序列分离估计季节项后序列2阶差分，右图显示了明显的异方差。因此，在季节项分离存在误差的情况下，模型容易出现高阶误判的情况。

​局限3：容易忽视长期趋势方向。

>>> #构建长期周期序列以作阐述 
>>> series=pd.Series(np.tile(np.append(np.linspace(10,1,10),np.linspace(0,9,10)),4)+np.random.normal(0, 0.2, 80), index=pd.date_range(start='2001-01-01',periods=80,freq='Q-DEC')) 
>>> #构建严格状态更新模型 
>>> model=vq.Models.strict_latest_status_model(series=series,minstep=8,significance=0.3) 
>>> model.model() 
{'method': 'l1', 'step': 10, 'params': {'l1_diff': 0.991741, 'value_latest': 9.284276}, 'status': {'l1': '+', 'l2': 'n'}} 
>>> #如以上结果，模型误判时间序列为1阶增长序列 
>>> plt.plot(model.data()) 
>>> plt.plot(model.fit()) 
>>> plt.plot(model.forecast(12)) 
>>> plt.show()

​如上图，该模型只识别时间序列一部分短期波段，但是忽略了长期规律。

局限4：如前文所述，该模型不能直接识别参数突变的情况。

如分析者需要解决上述问题或需要应对与该模型不同的需求场景，请阅读本专栏后续文章其他相关建模方法的介绍。