3月22日,特斯拉前人工智能和Autopilot负责人安德里杰·卡尔帕西分享了他在GPT-2训练配置中的新发现。卡尔帕西在数月的手动调试后,让一个自主智能体接管了训练过程,结果智能体仅用一个晚上就找到了他忽略的精细调优参数,这些参数之间存在相互作用,人类容易遗漏,但对系统性搜索却十分明显。
卡尔帕西认为,研究人员应该在存在客观指标的领域中从流程中抽离自己,以充分利用现有工具。他指出,AI实验室的研究者过于依赖直觉,而他们的工作正在被系统性地自动化。尽管AI模型在编程等容易验证的任务上不断进步,但卡尔帕西认为这些进展难以迁移到更难量化的领域。他强调,尽管模型进步显著,但在某些领域的应用仍面临挑战。
