天眼查App显示，北京金山云网络技术有限公司近日公开了一项名为“推理计算方法和装置、电子设备和存储介质”的发明专利。该专利旨在解决现有技术中数据传输成本高及推理速度慢的问题，通过优化大语言模型的推理过程来提升效率。具体而言，该方法首先获取待推理的目标文本并进行预处理，提取所有第一token。然后，通过限定最近处理的N个第二token的参数，并对大语言模型的前馈神经网络层的行列数据进行统一存储，从而制定目标数据加载策略。从持久化存储介质中加载用于推理的目标参数，这些参数包括第一token及其推理得到的token。最终，通过目标参数对整数ID进行推理计算，完成新第二token的推理。此发明显著提升了大语言模型的推理效率，降低了数据传输成本。
风险警告：本文根据网络内容由AI生成，内容仅供参考，不应作为专业建议或决策依据。用户应自行判断和验证信息的准确性和可靠性，本站不承担可能产生的任何风险和责任。内容如有问题，可联系本站删除。
