创新中心
个人中心
创新中心
个人中心

CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

阿里云创新中心> 创业资讯> CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

阿里云创新中心 2023-07-19 19:00:00 2273
首届魔搭Create@AI Hackathon圆满落幕,一等奖获奖团队CodeSwitch带来独特的AI语言学习解决方案,通过AI模拟外教帮助用户学习口语沟通。

在首届魔搭Create@AI Hackathon中,涌现了众多AI创新项目。一等奖团队CodeSwitch带来AI外语沟通能力训练产品Demo,这是一款基于大模型实现的类真人口语练习产品。

CodeSwitch是一组在语言和科技交界处创新的产品团队,成员来自字节跳动、LinkedIn、卡内基梅隆大学、康奈尔大学、哥伦比亚大学。队长王宇当前就读康奈尔大学计算机专业研究生,在此前曾在一家创业公司担任产品经理。

王宇和团队成员都熟悉掌握多门外语和方言,他们对语言学习的热爱转化为了AI创新的动力。

image (CodeSwitch团队路演中,左为王宇,右为陈轶陶。)

48小时Hackathon挑战,开发AI外教学英语

王宇在14岁时就前往美国读高中。英语不熟练,身边也没有人跟他说话,为将口语能力提升至母语水平,王宇选择通过跟Uber司机进行对话练习,而他的朋友则选择和心理医生交流。

不仅是他们,全球有15亿人把英语作为第二生活、工作语言,但因为缺乏口语对话经历,很多人的英语沟通能力有限。区别于文字交流,口语沟通依赖多说多练,而且不同地区的人有不同的口音和用词习惯,如何地道地表达也是个学习难题。

正是有过切身体会,让王宇团队萌生出通过AI模拟真人训练的想法。通过AI模拟外教进行口语训练,可以随时随地边聊边练,花费也比请真人外教便宜20倍。

王宇团队带着这个创意来到魔搭create@AI Hackathon。在48小时开发挑战中,他们通过特殊的语料和声音数据集对大模型进行训练,现场完成了产品的Demo。

调优后的CodeSwitch可以还原真人语音语调,告别机械式的语音回复,仿佛在和真人对话。内置盲听、文字和翻译功能选择,满足不同学习需要。为了让用户学习更地道的外语表达,CodeSwitch还加入了Copilot能力,可以根据语境提示用户如何用地道的表达来回复。

王宇表示:“我们这个产品,可以让用户跟着AI特朗普练习口语。”

image image

AI实现口语化“边聊边练”,产品落地应用潜力丰富

相比市面上的苹果siri、Chat Voice GPT,王宇认为CodeSwtich最大的差异化在于语言交互的逻辑。

CodeSwitch旨在帮助用户提升外语沟通能力,而非做问答百科。只有真正实现AI人格和语境的对应,才能更好地帮助用户提升外语沟通能力。因此产品交互的重心在于,如何让用户和AI外语教练真正“聊起来”。CodeSwitch基于“跟谁说、说什么、怎么说”三个核心问题来构建产品Demo。

为了训练模型,除了公开的语言模型数据集,他们还引用了大量的公开采访作为语言数据,可以在构建AI外教过程中,最大程度上帮助AI还原人物性格,还能根据语境进行口语化回复。王宇在路演现场演示了用户与AI特朗普练习对话的过程,真实还原了特朗普说话的语音语调,用户仿佛在和真人对话。

大赛评委认为,CodeSwitch尚在初期阶段就已经展现出明显的落地应用潜力,尤其是教育场景;在未来的迭代中也有无限的可能性,例如与数字人进行结合等。

CodeSwitch独特的AI语言学习解决方案,也引起了现场多家投资机构的关注和跟进。

王宇期望着未来产品能真正走向商业化,帮助每一个想要学习外语沟通的用户。通过这次大赛,他们的想法实现了0到1,而当下最重要的是获得更多用户的反馈,进一步打磨CodeSwitch产品。

关于魔搭Create@ AI Hackathon:

国内有很多优秀的开源模型资源,如何寻找和匹配适合自己的开源模型和数据集,对于很多AI创业者来说也是个头疼的问题。

魔搭社区作为国内最大的开源模型社区,汇聚各领域最先进的机器学习模型,可以为CodeSwitch这样的AI创业团队提供模型探索、体验、推理、训练、部署和应用的一站式服务。对于资源有限的AI创业者来说,可以选择基于开源大模型和数据集进行调优和训练,以低成本完成产品迭代。

对于这次比赛,王宇也给出了非常高的评价:“我此前参加过一次海外的Hackathon比赛,觉得那是这个领域的天花板,这次回国参加魔搭Create@AI Hackathon,感受到国内也有如此高水准的赛事。”

AI的创新仍在继续,魔搭社区也欢迎更多AI创业者和开发者加入,为AI的模型和应用添砖加瓦,共“搭”新世界。

image (从左至右为:创新工场联合CEO&兼管理合伙人汪华、王宇、阿里云副总裁、阿里云计算平台事业部负责人汪军华)


阿里云创新中心简介

阿里云创新中心将阿里技术、产品、业务的生产力,转化为对企业发展有价值的推动力,将更普惠、更安全、更绿色的产品和服务提供给科技型中小企业,在中小企业科技创新、日常运营、职业技能培训、资金对接、跨境出海等方面提供全方位支持。

截至目前,阿里云创新中心累计为中小创企业提供2亿的双创云资源,共服务了超过350万的创业者、50万小微企业,孵化出600多家高成长创新企业,调研数据显示头部企业估值规模超1387亿,每年估值增速超过35%。

image.png

版权声明: 创新中心创新赋能平台中,除来源为“创新中心”的文章外,其余文章均来自所标注的来源,版权归原作者或来源方所有,且已获得相关授权,创新中心「创业资讯」平台不拥有其著作权,亦不承担相应法律责任。如果您发现本平台中有涉嫌侵权的内容,可填写「投诉表单」进行举报,一经查实,本平台将立刻删除涉嫌侵权内容。