Skip to main content

黑洞资源笔记

黑洞资源笔记
黑洞资源笔记

  1. Samantha：自主对话Agent，具备自由思考和连续说话的能力，创造出极高的逼真感和动态性，具有以下特点：

    1.动态语音，可以根据上下文自主发言，不仅限于回答问题
    2.实时视觉能力，只有在相关时才直接提到和处理视觉信息，但视觉始终影响其思维和行为
    3.外部分类记忆，可以动态地读写记忆，选择最相关的信息
    4.每时每刻都在发展，存储在记忆中的经验可以影响和塑造Samantha的行为，包括个性、说话频率和风格等。

  2. 使用transformers.js实现的前端语义搜索工具，允许用户在浏览器中进行语义搜索，计算嵌入和余弦相似度，无需服务器端推理，提供了各种配置选项，包括分割参数、高亮颜色、结果阈值等。

    工具支持多语言和各种用例，包括搜索个人笔记、文学分析等。此外，工具强调数据隐私，不会将用户输入文本发送到服务器，所有数据都保留在用户的浏览器中。

    SemanticFinder | #工具

  4. AMIE医疗诊断对话AI系统

    AMIE是一个基于大语言模型(LLM)的研究型AI系统，用于医学诊断推理和对话。它通过真实世界的数据集进行训练，包括医学推理、医学总结和真实世界的临床对话。

    AMIE使用了一种新的自弈仿真对话学习环境，可以在大量的疾病条件、专科和患者环境下提高诊断对话的质量。

    研究人员设计了一项随机双盲交叉研究，使用经验证的患者角色扮演者通过在线多轮同步文本聊天与执业医生或AMIE系统进行虚拟远程客观结构化临床考试(OSCE)。

    在149个不同科室的病例中，与20名初级保健医生相比，AMIE在诊断准确性和咨询质量的多个方面表现更好，从专科医生和患者角色的视角看是这样。

    AMIE作为辅助工具可显著提高临床医生解决复杂病例的诊断准确率，但AMIE有一定局限性，这项研究应谨慎解释，不能代表日常临床实践。需要更多研究来实现安全可靠的AI系统。

    临床专业知识仍然短缺，AMIE是探索AI系统与熟练临床医生相当属性的未来愿景的尝试，但还需要大量科学研究。

  6. SeamlessExpressive：高质量的语音到语音翻译，在翻译输出中保持原始说话者的声音风格、语气和独特的表达方式。

    SeamlessExpressive模型由两个主要模块组成：（1）Prosody UnitY2，它是基于UnitY2架构的韵律感知语音到单元翻译模型；（2）PRETSSEL，它是一种具有跨语言表达性保存的单元到语音模型。