萤石蓝海大模型

萤石蓝海大模型。蓝海寓意为地球上的生命最初诞生在蓝色的海洋，进而催生出不同智能等级的物种。萤石期待在高度复杂的物联数据海洋中，蓝海大模型能够奔向通用人工智能。

萤石蓝海大模型由萤石网络于2024年6月27日在2024年ECDC萤石云开发者大会上首次发布。2024年2024年9月24日获得审批。

        萤石蓝海大模型具有端云协同、多模态、可交互的特点，具备场景化AI的能力，是针对智能家居、智能物联场景的垂类大模型。萤石蓝海大模型把AI技术层级划分为L0-L4五个层级，分别为：L0基础感知非交互算法、L1单模态交互、L2多模态交互、L3具身式交互、L4具身智能体，可以实现空间级具身交互。能帮助智能家居用户达到安心与趣味的满足，她也能帮助企业达到成本与效果的均衡。

        产品定位及能力特点

       萤石以智能家居及物联网开放服务为研究场景，开发了基于MoE（Mixture of Experts 混合专家模型）架构，具有文本、图像、语音、光电等多模态感知，生成与决策能力的萤石蓝海大模型。

         三大能力特点： 智能交互、开发开放、具身代理

        发布历程

        萤石蓝海大模型由萤石网络于2024年6月27日在ECDC萤石云开发者大会发布。

        2024年2024年9月24 审批下放

价值优势

智能家居空间具身交互

1-端云协同，联通复杂物理世界

2-提升智能家居场景交互体验，提供专属角色化服务

能力开放

1-开放能力丰富，29大类，100余种原子算法能力

2-应用场景覆盖零售连锁、畜牧养殖、教育教学等

安全可信

1-已通过生成式人工智能服务安全备案，模型资质合规有保障 

2-多维度的安全架构保障数据安全

应用实例

萤石开放平台

萤石蓝海大模型可以提供100余种基础感知原子算法。算法覆盖文本、音频、图像及视频，如30+检测类算法、20+OCR算法、声纹识别、语音合成、图文问答等，可以被直接调用与使用，供开发者做出对应的AI解决方案[5]。

语音助手

语音助手能力被广泛应用在萤石多产品设备与萤石云app中。萤石蓝海大模型的端云协同能力可提供智能语音交互服务、语音交互体验。目前已实现对智能家居的控制、设备配置、查询、通用问答等功能。属于萤石蓝海大模型的基础功能，可以支撑L1-L4的交互需求。

数字人

萤石蓝海大模型可以提供定制数字人渲染能力，支持云端、设备端渲染。让语音助手在带屏类设备上拥有具体的交互形象与交互音色。是萤石蓝海大模型的基础功能，可以支撑L1-L4的交互需求。

AIGC场景

萤石蓝海大模型拥有强大的图像生成交互能力。支持AI消除、AI阔图、文本生图、AI抠图、图片风格化、动态照片等10余种AI图像编辑功能。在萤石云app上，可以对上报消息的图像进行二次内容创作于分享。生成的图片可以应用在屏保设置、头像设置等设备功能中。

智能家居管家

智能家居管家是家居场景化AI的能力，给家居场景提供更多有价值，有温度的信息。包含的功能还在持续进化中，当前包含的典型功能如下：

1-高精度报警消息

老人看护、婴儿看护、家庭安防等看护场景下，对视频、音频的报警事件进行报警。结合端云协同的萤石蓝海大模型能力，给人形检测、宠物检测、车辆检测、车牌识别、跌倒检测、婴儿啼哭检测、包裹看护、烟火检测等提供高精度的报警消息。

2-报警消息丰富化

告别原有的人有出现、有车出现的高冗余、低信息量的报警消息推送。提供更多报警图的细节描述信息。可以提供例如：两个小朋友围在地毯上玩，路边有一辆红色的车经过，一家人正在一起包饺子，爸爸在院子里晒谷子，两只小猫正在玩毛球等细粒度的报警图片描述信息。每天还可以提供一天信息的汇总报告。

3-开放录像检索

可以对过去的录像进行自然语言交互的检索。可以完成例如：宝宝今天是几点回家的？奶奶今天中午吃药了吗？今天妈妈午睡了吗？等录像内容的提问检索。

4-家庭精彩时光

对家庭中摄像头捕获的精彩时光图片、视频片段进行记录与自动剪辑，在特殊节日或者定期对这些记录进行推送。如：一家人在院子团聚吃饭，爸爸陪小孩玩游戏，小孩帮奶奶摘蔬菜，与狗狗一起跳舞等家庭精彩时光。

宠物管家

宠物管家是家居场景化AI的能力，可以给宠物看护场景提供实用，好玩的功能。包含的功能还在持续进化中，当前包含的典型功能如下：

1-宠物进食情况统计

配合相关配置，可以实现宠物进食情况的感知。对宠物进食情况进行记录与提醒。

2-宠物情绪识别

依靠对宠物叫声的感知与识别，解读宠物当前的情绪。给广大铲屎官提供了解宠物情绪的信息。

3-宠物精彩时光

结合萤石的专用设备，对宠物精彩时光图片、视频片段进行记录与自动剪辑。记录下宠物与铲屎官的精彩互动时刻、也可记录下各种萌宠时刻。

会议助手

会议助手是办公场景化AI能力的。依托萤石RTC与蓝海大模型的音频文本处理能力，可以对会议过程中的内容进行语音转写，支持区分不同发言人。同时，利用转写后的文字进行会议纪要总结，提升会议效率。