他的代码在NASA上天，在港科广落地
“港科广er说”
信息枢纽人工智能学域 2023级博士生邱迪聪
随着AIGC的普及，人们对于AI的未来也产生了更多的讨论。英伟达创始人黄仁勋曾表示，AI下一个浪潮将是“具身智能”。创业者们争相进场，而在香港科技大学（广州）信息枢纽的人工智能学域里，去年入学的博士生邱迪聪凭借一款具身智能商超机器人屡次斩获创业比赛奖项，他的公司成立仅4个月即完成种子轮融资，投资者包括百度前COO、YC中国创始人陆奇。这款具身智能机器人展示了最前沿的技术如何在商超零售的场景中得以应用：语音控制机器人补货和拣货。
在这期“港科广er说”中，邱迪聪将为我们介绍他在港科大（广州）进行具身智能机器人创业的想法和经历。
在港科广创业是一种什么样的体验？
Q: 请简单地做个自我介绍吧！
邱迪聪：我是土生土长的广州人，之前在中山大学读本科，后来去了美国卡内基梅隆大学攻读机器人研究生，也是雅可比机器人 Jacobi.ai 的创始人兼CEO，致力于结合多模态机器人AI与跨形态运动控制技术，打破机器人场景与形态的边界，让智能机器人走进各行各业、千家万户，把AGI（通用人工智能）带到物理世界。我的研究方向主要在 AI/AGI 与机器人的结合上，包括具身智能、机器人行为决策与规划、不确定性与非线性控制等，在 RSS、AeroConf 等会议和 SCI 期刊上发过表多篇论文，并有多项国内、美国和国际专利。曾经在 ISEE AI、美国宇航局喷气动力实验室（NASA JPL）、大疆创新（DJI）、PIX Moving 等公司和研究机构担任过高管或工作过，有多年的技术与产品研发经验，参与过广州市政府自动驾驶商业化运营、L4级自动驾驶系统全技术栈研发、火星探测车开发等项目与工作。
Q: 你在机器人和人工智能的学习道路上不乏名校大厂，为什么最后选择在港科广读博和创业？
邱迪聪：选不选择创业，这是一个很慎重的事情，创业是要天时地利人和，缺一不可。
可以这样去理解，我们要做严谨的创业，就必须要考虑到很多的因素，但是，我本身也非常希望去创造一些新的东西，所以我选择加入的这些公司都很有创新性，甚至都是创业公司。
来到了港科广后，港科广本身对于产学研结合，对于技术要用到实际处，对社会产生效益和对这个行业产生实际价值这一点，是与很多其他大学为了纯粹做学术研究发论文很不一样，从我的感触来说，学校非常希望师生能够产生对社会有益的研究，这一点是我觉得非常独特，而且也非常适合我们的。港科广也对我们这个项目有很多支持，所以就能以非常良性的正循环一直走下去。
目前学校给我们团队提供了一个在红鸟创客空间的实验室，主要是用来做研发和技术验证的，叫研发模块化的验证。有整机的验证、机器人的搭建调试，以及对整个系统在实验室环境下的全流程的验证等等。同时也会结合学校产学研和其他学校团队的研究进行很多项目合作。
在实验室里，我们会设置不同的元素，例如，超市里面肯定有货架，实验室可以通过货物和机器人的搭建来做这种实验，从分模块的验证到整合整个系统的验证，再到实验室级别的全流程推进，我们全都放到创客空间的实验室里面去做，以后就可能需要更大的地方，才能够去做更好的实验室验证和持续迭代了。
而且我们现在的实验场地，已经不止是学校给我们提供的红鸟创客空间里面的一个实验室，还有在真实场景里面的实验。比如在校内超市，我们也有做在真实场景的技术验证。
学校的知识转移办公室创业中心非常支持学生创业，之前他们在了解和洽谈周边地区的产业孵化中心，以达成合作，不只是帮助我这一个创业项目，还有对学校的其他所有创业团队进行入驻，给到场地上的支持。这一块一直在持续地推进中。
现在每次港科广，包括港科大，对外说科大体系下的创业项目时，我们也算是一个每次都会被拎出来的项目之一，这一点我也挺荣幸的。
Q: 目前你的团队规模是什么样的呢？公司处于一个什么样的阶段？
邱迪聪：除了我以外，公司还有两位联合创始人，分别是同样于卡内基梅隆大学获得博士学位的人工智能学域助理教授梁俊卫，也就是我的博士生导师，和在机器人运营和商业化方面拥有丰富经验的汤安。包括在港科广，我也认识到了一些其他领域志同道合的同学，他们都陆续地加入了我们的团队。
我长期专注于 AI 和机器人技术的结合。梁俊卫老师则在视频大模型和具身智能两方面拥有深厚积累，汤安曾具备数百台量级的无人车车队运营和落地经验。
团队核心成员的结合，给公司提供了前沿的技术积淀和良好的商业化能力，进而推动上述具身智能解决方案的诞生。不过，目前公司还处于初创阶段，团队规模在 10 人左右，我们正在基于如上所说的种子轮融资，布局以下两方面的事务。
第一，提升“大脑”J-Mind 的能力，让机器人可以更加通用地理解开放场景，并将其转化为抽象的行为执行过程。
第二，基于共创模式，与来自商超、药企、餐饮等领域的客户共同打磨场景，以大幅地提升面向未来的具身智能机器人的行为能力，并走向真正的落地。
读博，为创业赋能
Q: 你的博士研究方向和产品研发是怎样结合在一起的？
邱迪聪：超市并不是我们天花板，而是我们的一个切入点，也就是说，我们要做的事情其实是具身智能，它能够用在各种各样的场景，包括超市、餐厅，甚至是一些办公场所。
之前像Mobile Aloha火了一把，就是因为它给所有人看到了机器人可以进入到我们日常生活中的可能性。这一点是让我，还有全世界很多人，包括我的导师梁俊卫教授，都倍感兴奋的事情。我和梁老师也是非常希望能够让具身智能机器人进入到家庭和生活场景之中的。当然，我们会从一个能够有PMF（产品市场契合度）的点优先去切入。
所以我的其中一个研究方向，是怎么才能够唤醒大语言模型以及多模态大模型的潜在能力，让机器人可以自主推理，并想出一些新的技能去有效地解决遇到的问题，让机器人拥有开放的认知、推理和决策能力。
第二个方向的研究是在全开放场景之下的机器人任务执行能力，以及是在面向更复杂的环境下机器人的操纵能力。这个也是我在港科广的主要方向之一，也就是在具身智能体系之下，面向未来的机器人要在开放场景去执行任务，研究机器人的智能和运动模态能力上的结合。
Q: 可以说说你们是怎么在公司刚成立4个月的时候就拉到种子轮融资的过程吗？
邱迪聪：我们这个项目发起的时候，其实是自己投了一些钱，想做这个方向，后来我们也在思考具体怎么做。我们希望能够找到一个非常有行业眼光的人，跟我们一起去聊一聊，但这种人其实一般很难找得到。刚好那个时候，我们其中一名最早期的合伙人有一些奇绩创坛（YC中国）的人脉，我就跟他讨论了很多相关的想法。他说要不你就写一个策划案投给陆奇（Y Combinator中国CEO），如果成功进面，你就能够跟陆奇聊一聊。我们就抱着这样的一个目的去把我们的想法写了一个一、两页的A4纸。
我们也是通过了一轮轮的面试，最终见到了陆奇和他的合伙人，也跟他聊了我们的想法，不仅实现了我们最初的目的，而且他还说我们团队的这些想法都很好，我们就觉得这是一个意外之喜。他后来投资我们的种子轮，包括他的另外三位合伙人，在他的创业营和其他各方面都帮了我们很多。
Q: 那你现在作为一个创业者的日常是什么样的呢？
邱迪聪：作为一个创业者，肯定要承受比正常的工作、学习更多的压力和责任，以及需要做很多方面的努力。这些还远远不够，还要有团队的各个小伙伴一起去共同的创造和创新。这个说实话肯定不是我一个人的努力能做到的。
很重要的一点是，其实工作也好，学习也好，是人家给了一张卷子，你去想办法给一个答案，我们是要自己给自己出一张卷子，自己给一个答案，而这张卷子出的对不对，就是一个很大的考究了。这张卷子对于投资人来说，得是一张对的卷子，对于市场来说，得是一张对的卷子，之后你的回答才有意义。不然的话你努力了非常多，给了一张完美的答卷，但你自己的问题出错了，就等于打水漂。
嗯，我的代码确实上天了。
Q: 在你的过往经历里还参与了美国航空航天局（NASA）的火星探测车的相关工作，这应该很少人能有这样的经历，当时是做了什么样的工作呢？
邱迪聪：我当时在卡内基梅隆大学所做的项目与火星车有些相关。我们的项目是为了让星球探测车（Planetary Rovers）在没有人类协助的情况下进行操作。简单来说，就是如果一个星球探测车被卡住了，另一个星球探测车可以自动前去救援。比如说，月球车被卡在石头上或者陷入坑里，另一辆车可以通过我们称为“系统”的协同系统相互合作、自救和救援。同时，我们在项目中进行了大量的强化学习和机器学习方面的工作。
在NASA实习时，我的工作就是让星球探测车，例如月球车或火星车，能够自主理解所看到的内容，并通过自然语言描述出来。更重要的是，科学家能够直接输入一段话，告诉火星车要找什么样的地理特征或者高价值数据，火星车就能够根据科学家的话自主探索、优先寻找相关的地理地貌特征，并把这部份数据以高优先级传回地球。我们通过AI驱动的方式让星球探测车能够实现自主的地外探索。我的工作也被成功地部署到了多个火星车上，我的算法在2020年的时候应该也跟着 “火星2020”（Mars 2020）的任务一起飞到火星上去了。
我做的系统除了可以在星球探测车上用，也用在了NASA的数据库上。科学家能够直接输入一段话，告诉它想要找什么样的数据，有什么样的特征，我的算法搜索图像内容，直接就帮他把这些数据排序给找出来。所以就相当于给NASA做了一个NASA版的Google Image。这个工作大大节省了科学家做数据分析、历史数据回访的时间，极大提高了他们的效率，所以挺有意义的。这个工作也成功地被延展到其他一些成果上，发了几篇论文。
所以那个时候很多人说，你的代码上天了。嗯，我的代码确实上天了。
十年磨一剑迎接时代风口
Q: 你从高中就开始接触机器人，在这将近十年的时间里从机器人到现在大热的具身智能机器人，你有预想过吗？
邱迪聪：我认为这种智能技术跟机器人的结合肯定是一个必然会发生的事情。十年之前，我就认为：机器人和AI就应该结合在一起。那个时候我就开始研究强化学习等一系列的技术了，我认为AI的发展在那时看来已经是一个很明显的趋势，因为它能够拓展我们通过编程没办法得到的边界，它能够有自主的学习能力，所以我一直以来都是人工智能的一个有信念者，我也坚定不移地选择了AI和机器人结合的道路。
我只是看上去幸运而已，其实每一步的选择都做了很多思考。像我现在的创业项目，为什么要选择这种大小脑的一个架构？为什么要选择我们能够有数据迁移的能力，而不是直接做端到端的模型去指导机器人这种看着很流行的方式，其实都是通过非常多的调研、思考、讨论、论证得到的结果，还要结合未来科技发展整个市场的动态，其他公司要怎么去做，他们下一步肯定会怎么做，用这些信息去推演出一个最适合我们生存和发展的最高效的路径。
其实包括我自己的人生，每一步的选择也都是要经过很多很费神或者是彻夜难眠的考虑，这个东西不容易的，一方面运气的成分肯定是挺重要的，但这个事情并不是人可以把握的，只能说谋事在人，成事在天，但是你首先得谋好，不然给机会又会抓不住。
那么怎么能够把每一步要做的事情做到最好，或者说往你的目标方向去驱使，每一步都需要做过仔细的思考，而不是拍脑袋就能拍出来的。
对未来加入港科大（广州）的学弟、学妹们，说一个推荐他们来就读的理由吧。
邱迪聪：港科大（广州）有世界前沿的研究课题和匹配的师资力量，在产学研结合方面有着独特的优势，学校也在大力支持创新创业工作，能够让最前沿的研究产生最大的价值，学校氛围开放包容，能够让我们在自由的环境下实现科研和创造的抱负。
