具体实施方式

以下，通过发明的实施方式说明本发明，但以下的实施方式不限定权利要求书的发明。另外，实施方式中说明的特征的组合不一定全部都是发明的解决方案所必须的。

[1.系统1]

图1表示本实施方式的系统1。系统1具备生物反应器2和装置3。

[1.1.生物反应器2]

生物反应器2是制造制造对象物的制造系统的一例。生物反应器2可以对具有特定功能(作为一例，生成特定的蛋白质的功能)的细胞进行培养，并将其作为制造对象物制造出来。生物反应器2根据从外部输入的动作内容进行动作，使该生物反应器2的状态、进而使细胞的状态变化。

动作内容表示在生物反应器2中进行的动作的内容，在本实施方式中，作为一例，动作内容表示在基准时间内持续进行的动作内容。动作内容可以具有对生物反应器2可主动地设定的至少一个种类(在本实施方式中为多个种类)主动变量。各动作内容中包含的主动变量可以相互为相同种类，也可以至少一部分不同。主动变量可以包含工艺值(processvalue)的设定值(set point，目标值)、操作变量(Manipulate Variable)、用于制造的设备要件、及处理顺序(顺序，程序)中的至少一项。作为一例，工艺值的设定值可以是温度设定值或pH设定值等。作为一例，操作变量可以是向加热器的供给电力或培养基投入量、酸碱溶液投入量、用于搅拌培养液或内部气体的搅拌翼的转速、反应槽的通气量等。作为一例，设备要件可以是反应槽的结构或材质、用于搅拌培养液的搅拌翼的形状、反应槽的通气方法等。

作为一例，生物反应器2的状态可以是培养液的温度或pH、培养液的流速、培养液中的氧浓度、二氧化碳浓度、营养素的浓度、存在于生物反应器2内的异物的量、反应槽的压力等。细胞的状态可以是被培养的细胞的收率、均质性、功能性(作为一例，生成特定的蛋白质的性能)、浓度、个数、分布、尺寸、重量、生产量(增加量)、由于对培养液进行搅拌等而施加于细胞的剪切应力、存在于细胞内的异物的量等。异物的量可以是绝对的量，还可以是相对于整体量的相对的量(作为一例为比例)。

[1.2.装置3]

装置3辅助生物反应器2的细胞培养。装置3具有第一存储部300、设定部302、参数取得部304、算出部306、环境信息取得部308、参数输入部310、一个或多个控制模型312、学习处理部314、动作内容取得部316、控制部318、输出部320、第二存储部322、预测部324、第三存储部326和检测部328。

[1.2.1.第一存储部300]

第一存储部300存储多个动作内容的变动模式。作为一例，所存储的变动模式可以是已知的变动模式。

[1.2.2.设定部302]

设定部302对生物反应器2设定动作内容。设定部302可以按照基准时间设定动作内容。设定部302可以将从动作内容取得部316供给的动作内容设定于生物反应器2。在对于一个基准时间从动作内容取得部316供给多个动作内容的情况下，设定部302可以基于第一存储部300内的变动模式选择一个动作内容并设定于生物反应器2，对此详见后述。设定部302可以将设定的动作内容供给至学习处理部314、第二存储部322及第三存储部326。

[1.2.3.参数取得部304]

参数取得部304是第一取得部及第二取得部的一例，获取表示生物反应器2及细胞中的至少一方的状态的状态参数集。状态参数集可以表示被获取的时刻(作为一例为当前)的状态。在利用设定部302设定了动作内容后的时刻获取状态参数集的情况下，状态参数集可以被称为事后状态参数集，在利用设定部302设定动作内容之前的时刻获取状态参数集的情况下，状态参数集可以被称为事前状态参数集。状态参数集中可以包含至少一个表示生物反应器2及细胞中的至少一方的状态的状态参数。

参数取得部304可以通过观测生物反应器2而获取状态参数集，也可以从设置于生物反应器2的传感器(未图示)获取状态参数集，也可以从确认生物反应器2或传感器的操作员获取状态参数集，还可以通过将组合它们而获取的多个状态参数汇总来获取状态参数集。从操作员获取的状态参数可以是数值范围。另外，从操作员获取的状态参数中可以包含所培养的细胞的种类。参数取得部304可以将获取的状态参数集供给至算出部306、参数输入部310、学习处理部314、第二存储部322及第三存储部326。

[1.2.4.算出部306]

算出部306根据参数集(作为一例为事后状态参数集)中包含的至少一个状态参数(作为一例为事后状态参数)算出奖励值。算出部306可以将算出的奖励值供给至学习处理部314。

奖励值是通过预先制定的奖励函数确定的，可以用于学习处理部314进行的控制模型312的强化学习。奖励值可以是所谓的KPI(Key Performance Indicater)，例如可以表示从生物反应器2得到的收益、所培养的细胞的品质、生物反应器2动作时的安全性、及环境负荷的高低程度中的任一项，也可以是对它们中的多个进行综合评价的值。奖励值可以是单一的状态参数的值本身。

此外，算出部306可以根据事后状态参数集算出KPI，并检测其是否达到目标值，也可以算出其相对于目标值的实现比例。算出部306可以将这些结果输出至装置3的外部。此外，就输出至装置3的外部而言，可以利用显示屏(未图示)显示，也可以利用打印机(未图示)印刷，还可以存储于存储介质。

[1.2.5.环境信息取得部308]

环境信息取得部308获取表示生物反应器2的外部环境的环境信息。外部环境可以是生物反应器2的设置环境的气温及湿度中的至少一项。取而代之，或者在此基础上，外部环境可以包含供给至生物反应器2的原材料的特性。环境信息取得部308可以从设置于生物反应器2的设置位置的传感器(未图示)获取环境信息，也可以从操作员获取环境信息，还可以使它们组合来获取环境信息。环境信息取得部308可以将获取的环境信息供给至参数输入部310及学习处理部314。

[1.2.6.参数输入部310]

参数输入部310对控制模型312及预测部324输入由参数取得部304获取的状态参数集(作为一例为事后状态参数集)。参数输入部310可以将从环境信息取得部308获取的环境信息一并输入控制模型312及预测部324。

[1.2.7.控制模型312]

控制模型312是用于控制生物反应器2的模型，其根据状态参数集的输入，输出提高奖励值的动作内容。在从参数输入部310除了输入状态参数集之外还输入环境信息的情况下，控制模型312可以输出与输入的状态参数集及环境信息对应的动作内容。所输出的动作内容可以是在由状态参数集表示的状态下应该设定的动作内容。控制模型312可以将动作内容供给至动作内容取得部316。

控制模型312可以接受学习处理部314进行的学习处理。在学习为初始阶段的情况下，控制模型312可以根据一个状态参数集的输入而输出相互不同的多个动作内容。

此外，本实施方式中，作为一例，装置3具备根据所培养的细胞的种类或外部环境而不同的多个控制模型312。所谓控制模型312根据外部环境而不同，可以是在环境信息中包含的至少一个参数超过基准范围而不同的情况下，控制模型312相应地不同。

[1.2.8.学习处理部314]

学习处理部314使用被输入的学习数据，执行控制模型312的学习处理。学习数据可以包含从设定部302供给的动作内容的数据和从参数取得部304供给的事后状态参数集的数据。学习数据可以还包含从参数取得部304供给的事前状态参数集的数据，也可以还包含事前状态参数集和事后状态参数集的差值数据。

学习处理部314可以进一步使用由算出部306算出的奖励值执行学习处理。换句话说，学习处理部314可以进行强化学习。

在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，且根据表示其结果的状态的事后状态参数集算出的奖励值满足目标条件的情况下，学习处理部314可以执行控制模型312的学习处理以根据该一状态参数集的输入输出该一动作内容。由此，相对于由一个状态参数集表示的状态，唯一地确定奖励值满足目标条件的动作内容(也称为适当的动作内容)。学习处理部314可以使该一状态参数集和相对于该状态参数集唯一地确定的适当的动作内容相对应地供给至输出部320。

此外，目标条件可以是奖励值比基准值高，也可以达到最大值。所谓奖励值达到最大值，在相对于一状态参数集的输入从控制模型312输出多个动作内容的情况下，可以表示在分别设定该多个动作内容的情况下得到的多个奖励值中最大的值。

学习处理部314可以根据所培养的细胞的种类进行各个控制模型312的学习处理。另外，学习处理部314可以根据外部环境进行各个控制模型312的学习处理。例如，在来自环境信息取得部308的环境信息中包含的至少一个参数超过基准范围变动的情况下，学习处理部314可以在变动前后进行各个控制模型312的学习处理。此外，在控制模型312不按照外部环境分别设置的情况下，学习处理部314可以使环境信息也包含于学习数据并对单一的控制模型312进行学习处理。

在按照外部环境进行学习处理的情况下，在相对于一外部环境下的由一状态参数集表示的状态，唯一地确定了奖励值满足目标条件的适当的动作内容的情况下，学习处理部314可以进一步使表示该一外部环境的环境信息与一状态参数集和一动作内容相对应地供给至输出部320。学习处理部314可以使用对于一外部环境执行了学习处理的控制模型312进行迁移学习，执行对于其它外部环境的学习处理。

[1.2.9.动作内容取得部316]

动作内容取得部316为第三取得部的一例，其获取控制模型312根据状态参数集向控制模型312的输入而输出的一个或多个动作内容。动作内容取得部316可以将获取的一个或多个动作内容供给至设定部302。

[1.2.10.控制部318]

控制部318至少控制设定部302、参数取得部304、参数输入部310及动作内容取得部316。例如，控制部318可以依次重复执行由参数取得部304进行的状态参数集的获取、由动作内容取得部316进行的动作内容的获取和由设定部302进行的动作内容的设定，从而使生物反应器2培养细胞。此外，为了简化图示，图中省略了从控制部318输出的控制信号的路径。控制部318可以进一步控制装置3内的其它结构。

[1.2.11.输出部320]

输出部320使一状态参数集和相对于该一状态参数集唯一地确定的适当的动作内容相对应地输出。在自学习处理部314相对应地供给了一环境信息、一状态参数集和一动作内容的情况下，输出部320可以将它们相对应地输出。输出部320可以将动作内容输出至装置3的外部。

[1.2.12.第二存储部322]

第二存储部322存储奖励值满足目标条件的情况下的学习履历。在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2并获取一事后状态参数集，且基于该一事后状态参数集算出的奖励值满足目标条件的情况下，第二存储部322可以将该一动作内容、该一状态参数集和该一事后状态参数集相对应地累积存储起来。第二存储部322可以根据来自参数取得部304或环境信息取得部308的输入，按照所培养的细胞的种类或外部环境存储学习履历，也可以与细胞的种类或外部环境无关系地存储学习履历。

[1.2.13.预测部324]

预测部324预测从由参数取得部304获取的状态参数集所表示的状态起逐次设定奖励值满足目标条件的动作内容的情况下的、至少一个事后状态参数所对应的值的推移。

预测部324可以基于第二存储部322的存储内容进行预测。例如，预测部324可以对于由参数取得部304获取的状态参数集检测第二存储部322中相对应的第一事后状态参数集，对于与第一事后状态参数集相同内容的状态参数集检测第二存储部322中相对应的第二事后状态参数集，以后同样对于与第n-1事后状态参数集(其中，n为2以上的整数)相同内容的状态参数集顺序地检测第二存储部322中相对应的第n事后状态参数集。预测部324可以通过确定从这些第一事后状态参数集到第n事后状态参数集各自中包含的至少一个事后状态参数所对应的值的推移，进行推移的预测。在学习履历按照细胞的种类或外部环境存储于第二存储部322的情况下，预测部324可以根据从参数输入部310输入的细胞的种类或环境信息，基于第二存储部322内的存储内容中与该细胞的种类及外部环境对应的存储内容预测推移。

预测推移的值可以是事后状态参数的值(作为一例，是细胞的生产量)本身，也可以是上述的奖励值或KPI。预测部324可以进一步预测与所预测的推移对应的其它评价指标，作为一例，可以根据细胞的生产量的推移预测培养目标数的细胞所需的所需时间。预测部324可以将预测结果输出至装置3的外部。

在对存在于生物反应器2及细胞中的至少一方的异物的量进行预测的情况下，在预测为异物的量超过上限值的情况下，预测部324可以将该情况通知给操作员。此外，异物根据压力条件而混入生物反应器2内，并根据温度条件而增殖，因此从设定这些条件的动作内容可预测异物的量。

[1.2.14.第三存储部326]

第三存储部326累积存储学习数据。第三存储部326可以累积存储将设定于生物反应器2的动作内容和表示设定该动作内容后的状态的事后状态参数集建立对应关系而成的组。第三存储部326可以根据来自参数输入部310或环境信息取得部308的输入，按照所培养的细胞的种类或按照外部环境存储学习数据，也可以与细胞的种类或外部环境无关系地存储学习数据。

[1.2.15.检测部328]

检测部328检测第三存储部326内的多个事后状态参数集中特定的两个以上的事后状态参数集所对应的动作内容之间的共同内容。检测部328可以检测不满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容。取而代之，或者在此基础上，检测部328可以检测满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容。在按照细胞的种类或外部环境向第三存储部326存储学习数据的情况下，检测部328可以根据从参数输入部310或环境信息取得部308输入的细胞的种类或环境信息，利用第三存储部326的存储内容中与该细胞的种类及外部环境对应的存储内容进行检测。检测部328也可以与细胞的种类无关系地进行检测。在该情况下，可检测在各个细胞的培养中用于学习的动作内容之间的共同内容。检测部328可以将检测结果输出至装置3的外部。

所谓事后状态参数集不满足基准条件，可以是事后状态参数集内的任一事后状态参数或由事后状态参数集内的任一事后状态参数确定的KPI不包含在其允许范围内。作为一例，所谓事后状态参数集不满足基准条件，可以是细胞的生产量不包含在1.1倍以上这一允许范围内。动作内容之间的共同内容例如可以是向加热器的供给电力为某个值以上。

[1.2.16.通过装置3可得到的效果]

根据以上的装置3，由于使用包含生物反应器2的动作内容和设定动作内容后的事后状态参数集的学习数据，执行控制模型312的学习处理，该控制模型312根据状态参数集的输入，输出提高奖励值的动作内容，因此，通过输入状态参数集，能够得到奖励值变高的动作内容。因此，不需要由熟练的操作员进行试误，就能够可靠地得到适当的动作内容。

另外，由于生物反应器2为细胞的培养系统，因此能够在制造对象物的制造中持续获取与收率及生产量对应的奖励值。因此，与未完成制造就不能确定收率及生产量的其它制造领域相比，能够有效地进行学习。

另外，按照外部环境执行控制模型312的学习处理，因此，即使在外部环境变化的情况下，也能够得到适当的动作内容。

另外，由于使用对一外部环境执行了学习处理的控制模型312进行迁移学习而对其它外部环境执行学习处理，因此能够提前完成学习。

另外，由于对生物反应器2设定根据状态参数集向控制模型312的输入而输出的动作内容，因此，能够使生物反应器2以与状态参数集对应的动作内容进行动作，从而重复执行学习处理。

另外，由于依次重复执行状态参数集的获取、动作内容的获取和动作内容的设定并培养细胞，因此能够使用控制模型312进行细胞的培养。因此，在完成了控制模型312的学习的情况下，能够使用从控制模型312输出的适当的动作内容自动地进行细胞的培养。另外，在未完成控制模型312的学习的情况下，能够以从控制模型312输出的动作内容进行细胞的培养，并自动地重复执行学习处理。

另外，预测从由所获取的状态参数集表示的状态起逐次设定奖励值满足目标条件的动作内容的情况下的事后状态参数所对应的值的推移。因此，能够使生物反应器2的管理较为容易。

另外，由于在预测为异物的量超过上限值的情况下通知该情况，因此能够在异物量变高的情况下中断培养而提高品质。

另外，由于根据事后状态参数集中包含的至少一个事后状态参数算出奖励值，并使用算出的奖励值执行学习处理，因此与将在装置3的外部算出的奖励值向装置供给的情况相比，能够提高学习处理的速度。

另外，在根据一状态参数集的输入而从控制模型312输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件的情况下，根据该一状态参数集的输入执行学习处理以输出一动作内容。因此，能够完成输入该一状态参数集的情况下的学习处理，并防止无效地重复进行学习处理。

另外，由于与满足目标条件的奖励值对应的动作内容和应该设定该动作内容的状态的状态参数集相对应地输出，因此能够在装置3的外部确认各状态下的适当的动作内容。

另外，由于检测多个事后状态参数集中不满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容，因此能够掌握引起不适当的状态的动作内容的内容。另外，由于检测多个事后状态参数集中满足基准条件的两个以上的事后状态参数集所对应的动作内容之间的共同内容，因此能够掌握引起适当的状态的动作内容的内容。

[2.控制模型312的输入输出]

图2表示在学习的初始阶段的控制模型312的输入输出。

在本实施方式中，作为一例，状态参数集中包含状态参数I_A的值和作为KPI的状态参数I_B的值。另外，动作内容中包含主动变量O_A的值和主动变量O_B的值。在同一栏内列举的主动变量(例如O_A1，O_A2’，…)是可供选择的主动变量的候补。所输出的动作内容可以从各栏以任意组合选择主动变量。如该图所示，在学习为初始阶段的情况下，根据一状态参数集的输入，输出相互不同的多个动作内容。

此外，状态参数I_A1，I_A2，…，I_AN表示关于状态参数I_A的各值。另外，主动变量O_A1，O_A1’，O_A1”，O_A2表示关于主动变量O_A的各值。在此，状态参数I_A、I_B的可取值的个数不限于N，可以是相互不同的个数。

图3表示完成学习后的控制模型312的输入输出。如该图所示，在完成学习后，根据一状态参数集的输入，输入单一的动作内容。

[3.第二存储部322的存储内容]

图4表示第二存储部322的存储内容。第二存储部322可以存储多个使事前状态参数集、通过在由该事前状态参数集表示的状态下进行设定而使奖励值满足目标条件的动作内容、设定该动作内容后的事后状态参数集建立对应关系而成的组。由此，在预测部324中，可进行事后状态参数集的推移(在本图中作为一例是事后状态参数集(I_A2，I_B2)→(I_A4，I_B4)→(I_AN，I_BN))、进而是与某一事后状态参数对应的值的推移的预测。

[4.控制部318的控制]

图5表示控制部318的控制内容。控制部318可以依次重复执行由参数取得部304进行的状态参数集的获取、由动作内容取得部316进行的动作内容的获取和由设定部302进行的动作内容的设定，从而使生物反应器2培养细胞。在相对于一状态参数集的输入而从控制模型312输出多个动作内容的情况下，控制部318可以对由该一个状态参数集表示的状态的生物反应器2，利用设定部302分别设定该多个动作内容，从而进行适当的动作内容的探索。控制部318也可以根据外部环境进行适当的动作内容的探索。

[5.动作]

[5.1.学习时的动作]

图6表示装置3的动作。装置3通过进行步骤S11～S23的处理，利用生物反应器2培养细胞且使控制模型312学习。此外，该动作可以按照所培养的细胞来进行。

在步骤S11中，参数取得部304获取状态参数集。参数取得部304可以获取当前时刻的状态参数集、例如由设定部302设定动作内容之前的事前状态参数集。此外，步骤S11中，环境信息取得部308也可以进一步获取环境信息。

在步骤S13中，参数输入部310将获取的状态参数集输入到控制模型312。在利用环境信息取得部308获取了环境信息的情况下，步骤S13中，参数输入部310可以将该环境信息一并输入到控制模型312。

由此，从控制模型312输出提高奖励值的动作内容。在此，所谓提高奖励值的动作内容，可以是使与设定该动作内容后的事后状态参数集对应的奖励值(也称为事后奖励值)比与设定该动作内容前的事前状态参数集对应的奖励值(也称为事前奖励值)高的动作内容。

在步骤S15中，动作内容取得部316从控制模型312获取动作内容。

在步骤S17中，设定部302对生物反应器2设定所获取的动作内容。由此，生物反应器2进行与动作内容对应的动作，其结果，推进细胞的培养，生物反应器2及细胞中的至少一方的状态变化。

在步骤S19中，参数取得部304获取在步骤S17中设定动作内容后的事后状态参数集。

在步骤S21中，算出部306根据事后状态参数集中包含的至少一个事后状态参数算出奖励值。

步骤S23中，学习处理部314使用包含在步骤S17中设定的动作内容的数据和在步骤S19中获取的事后状态参数集的学习数据，执行控制模型312的学习处理。学习处理部31也可以执行与在步骤S11中获取的外部环境对应的控制模型312的学习处理。学习处理部314也可以进一步使用在步骤S21中算出的奖励值执行学习处理。

例如，在设定步骤S17中的一动作内容，且根据表示其结果的状态的事后状态参数集算出的奖励值的增加幅度低于基准幅度的情况下，学习处理部314可以执行控制模型312的学习处理，以便在通过步骤S13输入的一状态参数集被重新输入到控制模型312时，不输出该一动作内容。所谓与设定一动作内容的结果对应的奖励值的增加幅度，可以是从设定该一动作内容之前的事前奖励值到设定该一动作内容之后的事后奖励值为止的增加幅度。基准幅度可以是任意的正值。

另外，在根据一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件的情况下，学习处理部314可以完成关于由该一状态参数集表示的状态的学习。此外，在学习处理部314根据外部环境执行学习处理的情况下，在根据一外部环境下的一状态参数集向控制模型312的输入而输出的一动作内容被设定于生物反应器2，其结果是奖励值满足目标条件时，学习处理部314可以完成关于该一外部环境下的由该一状态参数集表示的状态的学习。

此外，在本实施方式中，作为一例，控制模型312是递归型或延时型等的神经网络，但也可以是包含随机森林、梯度提升、逻辑回归以及支持向量机(SVM)等的其它的机械学习算法。例如，控制模型312也可以使与学习数据的各要素对应的节点包含于输入层，且使与推荐的动作内容的各主动变量对应的节点包含于输出层。输入层相对于学习数据的一个要素的节点可以是一个，也可以是多个。在输入层及输出层之间，也可以夹设包含一个或多个节点的中间层(隐藏层)。学习处理部314可以通过调整将节点之间连接的边缘的权重以及输出节点的偏差值，而执行学习处理。

如果步骤S23的学习处理结束，则装置3将处理转移至上述的步骤S13。由此，重复进行步骤S13～S23的处理。

在此，在未完成控制模型312的学习的情况下，在步骤S13～S15的处理中，根据一状态参数集向控制模型312的输入，可获取多个动作内容。在该情况下，在步骤S17中，设定部302也可以以使第一存储部300内的各变动模式与由该设定部302设定的动作内容的变动模式不一致的方式，设定所获取的多个动作内容中的任一个动作内容。

所谓由设定部302设定的动作内容的变动模式，可以是将到目前为止在步骤S17中设定的动作内容和接着在步骤S17中设定的动作内容并列的变动模式。所谓设定的变动模式和第一存储部300内的变动模式一致，可以是两者的变动模式完全一致，也可以是至少局部一致。所谓设定的变动模式和第一存储部300内的变动模式局部一致，可以是所设定的变动模式中的最近的至少两个动作内容的变动模式与第一存储部300内的变动模式中连续地包含的至少两个动作内容的变动模式一致。

另外，通过反复进行步骤S13～S23的处理，可多次产生由一状态参数集表示的同一状态。而且，在未完成控制模型312的学习的情况下，根据该一状态参数集向控制模型312的输入，可输出仅一主动变量的值不同的第一动作内容及第二动作内容。在这种情况下，在由该一状态参数集表示的状态下设定第一动作内容后有一事后状态参数集，根据该一事后状态参数集算出一事后奖励值，在由该一状态参数集表示的状态下设定第二动作内容后有另一事后状态参数集，根据该另一事后状态参数集算出另一事后奖励值，在该一事后奖励值与另一事后奖励值的差值低于基准幅度的情况下，在步骤S23中，学习处理部314执行控制模型312的学习处理，以根据该一状态参数集的输入而输出不包含多个种类的主动变量中的该一主动变量的动作内容。

作为一例，向控制模型312输入一事后状态参数集(I_A1，I_B2，…)而输出第一动作内容(O_A1，O_B1，…)及第二动作内容(O_A2，O_B1，…)，第一动作内容和第二动作内容之间仅主动变量O_A的值不同，在事后奖励值的差值低于基准幅度时，可以执行学习处理，以根据一状态参数集(I_A1，I_B2，…)的重新输入而输出不包含主动变量O_A的动作内容。

而且，通过反复进行步骤S13～S23的处理，对于在步骤S11中获取的一状态参数集确定一适当的动作内容，并对于设定了该一适当的动作内容的情况下的事后状态参数集确定另一适当的动作内容。以后，同样地，依次确定适当的动作内容。在该情况下，输出部320可以将在步骤S11中获取的状态参数集和一系列的适当的动作内容相对应地输出。在学习处理部314按照外部环境执行学习处理的情况下，输出部320可以在以相同的外部环境确定了一系列的适当的动作内容的情况下，将在步骤S11中获取的状态参数集及外部信息和一系列的适当的动作内容相对应地输出。输出部320可以还输出存储于第二存储部322的学习履历和控制模型312本身。

根据以上的动作，在根据一状态参数集向控制模型312的输入而输出的一动作内容的设定结果所对应的奖励值的增加幅度低于基准幅度的情况下，执行控制模型312的学习处理，以便不根据该一状态参数集的输入而输出该一动作内容。因此，能够防止设定对于提高奖励值而言不需要的动作内容。因此，能够提高奖励值且简化制造顺序。

另外，在向控制模型312输入一状态参数集，输出仅一主动变量的值不同的第一动作内容及第二动作内容的情况下，在根据由该一状态参数集表示的状态分别设定第一动作内容和第二动作内容后，可能出现事后奖励值的差值低于基准幅度的情况。在该情况下，执行控制模型312的学习处理，以根据该一状态参数集的输入而输出不包含该一主动变量的动作内容。因此，能够防止设定对于提高奖励值而言不需要的主动变量，能够从生物反应器2省下设定不需要的主动变量的作为对象的设备(作为一例为多个加热器中的一个)。因此，能够提高奖励值且简化生物反应器2。

另外，在根据一状态参数集向控制模型312的输入而获取了多个动作内容的情况下，以使存储于第一存储部300的各变动模式和所设定的动作内容的变动模式不一致的方式，设定任一个动作内容。因此，能够通过将应该避开的变动模式(例如，原有的变动模式)预先存储于第一存储部300，来探索与这些变动模式不同的新的变动模式。

此外，上述的动作既可以在外部环境不变化的期间内进行，作为一例，可以在一天中的相同时间(作为一例为夜间的0时到4时等)内分周期地进行，还可以在通过操作员的指示而指定的期间内进行。另外，上述的动作可以是每当外部环境变化时进行。

取而代之，上述的动作也可以在外部环境变化的期间持续地进行。在该情况下，环境信息取得部308可以在步骤S11、S19中获取环境信息，在步骤S11中获取的环境信息和在其之后的步骤S19中获取的环境信息可能不同。另外，通过重复进行步骤S13～S23，在步骤S19中获取的环境信息和在其之后的步骤S19中获取的环境信息可能不同。在连续获取的环境信息不同的情况下，学习处理部314可以对与前后各自的环境信息对应的各个控制模型312中的至少一方的控制模型312执行学习处理。取而代之，学习处理部314也可以在连续获取的环境信息不同的情况下不执行学习处理，而是结束步骤S23的处理，仅在连续获取的环境信息相同的情况下，执行与该环境信息对应的控制模型312的学习处理。

[5.2.运用时的动作]

图7表示装置3的另一动作。装置3通过进行步骤S31～S37的处理，使用完成学习的控制模型312在生物反应器2中培养细胞。

在步骤S31中，参数取得部304获取状态参数集。参数取得部304可以获取当前时刻的状态参数集、例如利用设定部302设定动作内容之前的事前状态参数集。此外，步骤S31中，环境信息取得部308也可以进一步获取环境信息。

在步骤S33中，参数输入部310将获取的状态参数集输入到控制模型312。在利用环境信息取得部308获取了环境信息的情况下，在步骤S33中，参数输入部310也可以将该环境信息一并输入到控制模型312。由此，从控制模型312输出与状态参数集对应的适当的一动作内容。

在步骤S35中，动作内容取得部316从控制模型312获取动作内容。

在步骤S37中，设定部302对生物反应器2设定所获取的动作内容。由此，生物反应器2进行与动作内容对应的动作，其结果，推进细胞的培养，生物反应器2及细胞中的至少一方的状态变化。

如果步骤S37的处理结束，则装置3将处理转移至上述的步骤S31。以后，通过重复进行步骤S31～S37的处理，完成细胞的培养。此外，本实施方式中，作为一例，在步骤S37中对生物反应器2设定动作内容，但也可以通过向操作员进行显示而使操作员进行对生物反应器2的设定。

根据以上的动作，通过输入状态参数集，能够得到奖励值变高的动作内容。因此，不需要由熟练的操作员进行试误，能够得到适当的动作内容。

[6.变形例]

此外，在上述的实施方式中，说明了装置3具有第一存储部300、设定部302、参数取得部304、算出部306、环境信息取得部308、参数输入部310、一个或多个控制模型312、学习处理部314、动作内容取得部316、控制部318、输出部320、第二存储部322、预测部324、第三存储部326和检测部328。但是，装置3既可以不具有设定部302、参数取得部304及学习处理部314以外的至少一个结构，也可以不具有参数取得部304、参数输入部310及动作内容取得部316以外的结构。另外，说明了装置3具有控制模型312，但控制模型312也可以为装置3的外部装置所具备。

另外，说明了为了避开存储于第一存储部300的变动模式，设定部302以使第一存储部300内的各变动模式和由该设定部302设定的动作内容的变动模式不一致的方式设定从控制模型312获取的多个动作内容中的任一个动作内容，但也可以通过其它的方法来避开。例如，可以是：多个动作内容中，对于在由设定部302设定的情况下呈与第一存储部300内的任一变动模式一致的变动模式的动作内容，将其奖励值计算为比呈与第一存储部300内的任一变动模式不一致的变动模式的动作内容的奖励值低。该情况下也能够避开存储于第一存储部300的变动模式来探索新的变动模式。

另外，将第一取得部及第二取得部作为单一的参数取得部304进行了说明，但可以设为获取状态参数的各个结构。

另外，说明了生物反应器2培养细胞，但也可以通过生物工艺制造食品及酶等。另外，将制造系统设为生物反应器2进行了说明，但也可以设为饮料或金属(作为一例为铁)、LNG、石油、化妆品、纸、纸浆等的制造设备。

另外，本发明的各种实施方式可以参照流程图及框图来记载，在此，框可以表示：(1)执行操作的工艺的阶段；或者(2)具有执行操作的作用的装置的分区。特定的阶段及分区可以通过专用电路、与储存于计算机可读介质上的计算机可读指令一起供给的可编程电路和/或与储存于计算机可读介质上的计算机可读指令一起供给的处理器来安装。专用电路可以包含数字和/或模拟硬件电路，也可以包含集成电路(IC)和/或分立电路。可编程电路可以包含包括逻辑AND、逻辑OR、逻辑XOR、逻辑NAND、逻辑NOR、及其它的逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等的存储器要素等的可重构硬件电路。

计算机可读介质可以包含可存储由适当的器件执行的指令的任意的有形器件，其结果，具有储存于此的指令的计算机可读介质所具备的产品包含为了实现用于执行流程图或框图中指定的操作的方案而被执行的指令。作为计算机可读介质的例子，可以包含电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的例子，可以包含FLOPPY DISC(软磁盘)(注册商标)、软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、电可擦除可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、蓝光光盘(RTM)、记忆棒、集成电路卡等。

计算机可读指令可以包含汇编程序指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设定数据、或通过包含Smalltalk、JAVA(注册商标)、C++等之类的面向对象编程语言、以及“C”编程语言或同样的编程语言之类的现有的程序型编程语言在内的一个或多个编程语言的任意组合编写的源代码或目标代码中的任一种。

计算机可读指令在本地或者经由局域网(LAN)、因特网等之类的广域网(WAN)提供给通用计算机、特殊目的的计算机、或其它可编程数据处理装置的处理器或可编程电路，为了实现用于执行流程图或框图中指定的操作的方案，可以执行计算机可读指令。作为处理器的例子，包含计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。

图8表示可以整体或局部地具化本发明的多个方式的计算机2200的例子。安装于计算机2200的程序能够使计算机2200作为与本发明的实施方式的装置相关联的操作或该装置的一个或多个分区发挥作用、或者能够使计算机2200执行该操作或该一个或多个分区，和/或能够使计算机2200执行本发明的实施方式的工艺或该工艺的阶段。为了使计算机2200执行与本说明书所记载的流程图及框图的框中的几个框或全部框相关联的特定的操作，可以利用CPU2212执行这种程序。

本实施方式的计算机2200包含CPU2212、RAM2214、图形控制器2216及显示器件2218，它们利用主机控制器2210相互连接。计算机2200还包含通信接口2222、硬盘驱动器2224、DVD-ROM驱动器2226及IC卡驱动器之类的输入/输出单元，它们经由输入/输出控制器2220与主机控制器2210连接。计算机还包含ROM2230及键盘2242之类的传统的输入/输出单元，它们经由输入/输出芯片2240与输入/输出控制器2220连接。

CPU2212根据储存于ROM2230及RAM2214内的程序进行动作，由此控制各单元。图形控制器2216获取向RAM2214内提供的帧缓冲等或在其本身中由CPU2212生成的图像数据，并在显示器件2218上显示图像数据。

通信接口2222经由网络与其它的电子器件进行通信。硬盘驱动器2224储存由计算机2200内的CPU2212使用的程序及数据。DVD-ROM驱动器2226从DVD-ROM2201读取程序或数据，并经由RAM2214向硬盘驱动器2224提供程序或数据。IC卡驱动器从IC卡读取程序及数据和/或将程序及数据写入IC卡。

ROM2230在它之中储存在激活时由计算机2200执行的引导程序等和/或依存于计算机2200的硬件的程序。另外，输入/输出芯片2240还可以将各种输入/输出单元经由并行端口、串行端口、键盘端口、鼠标端口等与输入/输出控制器2220连接。

程序由DVD-ROM2201或IC卡之类的计算机可读介质来提供。程序被从计算机可读介质读取出来，安装于硬盘驱动器2224、RAM2214或ROM2230，并由CPU2212执行，硬盘驱动器2224、RAM2214或ROM2230也是计算机可读介质的例子。编写在这些程序内的信息处理被计算机2200读取，带来程序和上述各种类型的硬件资源之间的协同。装置或方法可以以随着计算机2200的使用而实现信息的操作或处理的方式构成。

例如，在计算机2200及外部器件之间执行通信的情况下，CPU2212可以执行向RAM2214中载入的通信程序，基于通信程序中编写的处理对通信接口2222指令通信处理。通信接口2222在CPU2212的控制下，读取RAM2214、硬盘驱动器2224、DVD-ROM2201或IC卡之类的存储介质内提供的发送缓冲处理区中储存的发送数据，并将所读取的发送数据发送至网络，或者将从网络接收的接收数据写入存储介质上提供的接收缓冲处理区等。

另外，CPU2212可以使储存于硬盘驱动器2224、DVD-ROM驱动器2226(DVD-ROM2201)、IC卡等之类的外部存储介质的文件或数据库的全部或必要部分读取到RAM2214，并对RAM2214上的数据执行各种类型的处理。接着，CPU2212将经过处理的数据回写于外部存储介质。

各种类型的程序、数据、表以及数据库之类的各种类型的信息被储存于存储介质，并可以接受信息处理。CPU2212可以对从RAM2214读取的数据，执行本公开的各处所记载的、包含根据程序的指令顺序指定的各种类型的操作、信息处理、条件判断、条件分支、无条件分支、信息的检索/置换等在内的各种类型的处理，并对RAM2214回写结果。另外，CPU2212可以检索存储介质内的文件、数据库等中的信息。例如，在分别具有与第二属性的属性值相关联的第一属性的属性值的多个条目被储存于存储介质内的情况下，CPU2212可以从该多个条目中检索被指定第一属性的属性值的与条件一致的条目，读取储存于该条目内的第二属性的属性值，由此，获取与满足预先制定的条件的第一属性相关联的第二属性的属性值。

以上说明的程序或软件模块可以储存于计算机2200上或计算机2200附近的计算机可读介质中。另外，与专用通信网络或因特网连接的服务器系统内提供的硬盘或RAM之类的存储介质能够用作计算机可读介质，由此，经由网络向计算机2200提供程序。

以上使用实施方式说明了本发明，但本发明的技术范围不限定于上述实施方式所记载的范围。可以对上述实施方式进行各种变更或改良，这一点对于本领域技术人员来说不言自明。从权利要求书的记载可知，进行了该各种变更或改良的方式也可包含于本发明的技术范围中。

注意，对于权利要求书、说明书及附图中所示的装置、系统、程序及方法的动作、流程、步骤及阶段等各处理的执行顺序，只要未特别明示为“更前”、“之前”等，且只要未将前一处理的输出用于后一处理，就可以按任意顺序实现。关于权利要求书、说明书及附图中的动作流程，即使为了方便起见而使用了“首先”、“接着”等进行说明，但并非意味着必须按该顺序实施。