#224 Matt Panousis: How AI Is Disrupting The Dubbing Industry (LipDub AI) | Chinese Version

0:00好的 那么 马 特 你 先 来 介 绍 一下 自己 吧 告诉 我们 一些 关 于 你的 吧 等 也 许 你 开 发 L ip D ub 的 初 衷 是 什么 好的 我 叫 Matt Pen als is 是 一 家 公 司 的 联 合 创 始 人 我们 公 司 名 叫 怪 兽 一 星 机 器 人 讲 师 简 称 M ayer Z 我是 学 法 律 的 法 学 院 毕 业 后 我 创 办 了 一 家 软 件 公 司 所以 我 从 未 真 正 从 事 过 律 师 工作 而 那 家 软 件 公 司 与 我们 今天的 工作 业 无 关 是 一 家 叫 做 act o 的 在 线 教 育 公 司 我 花 了 五 年 多 的 时间 在 act o 工作 然后 退 出 了 我 现在 的 两 个 合 伙 人 后 来 创 办 了 一 家 视 觉 特 效 公 司 这 引 起 了 我的 兴 趣 我 对 这个 领 域 一 无 所 知 我们 开 发 L ip D ub 的 初 衷

0:59第一 阶 段 是 我们 在 这 家 视 觉 特 效 公 司 工作 我们 看到 好 莱 坞 对 更 快 更 便 宜 的 视 觉 特 效 有 需 求 所以 我们 开始 问 自己 怎 样 才 能 从 根 本 上 以 更 快 的 速 度 更 便 宜 的 价 格 完成 视 觉 特 效 工作 并 且 不 牺 牲 质 量 我们 很 早 就 认 识 到 这 一点 这 可以 追 溯 到 2018 年 当 我们 开始 这个 项 目 的时候 如果 我们 想 要 为 好 莱 坞 提 供 独 一 无 二 的 服 务 我们 需要 在 创 新 领 域 投 资 当 时 看 来 人 工 智 能 似 乎 是 实 现 这 些 目 标 的 领 域 做 出 这个 决 定 后 我们 就 开始 寻 找 应 用 场 景 因为 视 觉 特 效 非常 广 泛 与 好 莱 坞 合 作 诗 你 会 面 对 各 种 各 样 的 使 用 场 景 你 可能 会 为 怪 奇 无 语 做 一个 生 物 或者 需要 你 把 多 伦 多 的 天 际 线 变 成 纽 约 的 天 际 线 或 让 某 人 变 年 轻 或 是 做 伯 拉 摩 呢 视 觉 特 效 是 一个 非常 宽 泛 的 概 念 如果你 打 算 在 这个 领 域 创 新 挑 选 一个 你想 提 升 的 应 用 场 景 非常 重要 我们 想 做 一个 使 用 场 景 严 反 的 应 用 因为 显 然 为 好 莱 坞 开 发 AI 产 品 的 竞 争 很 激 烈 你 当然 不 希望 花 费 数 年 时间 打 造 一个 几 乎 用 不 上 或者 每 是 个 项 目 采 用 一次 的 应 用 你 寻 找 的是 一个 在 绝 大 多 数 项 目 中 都 能 用 上 的 应 用 我们 决 定 投 资 的 第一 个 应 用 叫 做 V an ity AI 我们 喜欢 V an ity 的 原因 是 数 字 化 妆 和 让 人 变 年 轻 在 绝 大 多 数 好 莱 坞 项 目 中 都 会 出 现 与 此 同 时 我们 认 为 虽 然 这 遭 遇 今天的 AI 热 潮 但 我们 认 为 当 时 技 术 已经 足 够 成 熟 可以 满 足 这个 场 景 的 需 求 因 此 这 就是 我们 AI 之 路 的 开始 我们 在 M ars 内 部 开 发 了 一个 工 具 可以 缩 短 特 效 专 家 进 行 数 字 化 妆 获 取 老 化 工作 的 时间 以前 一个 五 秒 钟 的 数 字 化 妆 或 去 老 化 工作 可能 需要 特 效 专 家 消 耗 半 天 到 两 三 天 的 时间 取 决 于 客 户 的 要 求 和 面 部 变 化 的 程 度 但是 V an ity 可以 将 这个 时间 锁 短 到 平 均 每 个 镜 头 25 分 钟 这是 我们 第一 个 项 目 所以 在 那 时 我们 工作 就 已经 是 在 处 理 人 脸 方面 的 信 息 了 所以 我们 的 大 部分 研 究 都 集 中 在 人 链 我们 的 熟 悉 科 学 家 Daniel K ohn ner 在 他的 实 验 室 里 为 所 谓 的 深 度 链 部 编 辑 做 了 很多 工作 所以 我们 已经 接 触 过 这个 领 域 然后 恰 好 由 于 游 戏 再 次 之 后 不 就 上 线 了 我们 大 多 数 人 都 看 了 这 部 剧 故 事 非常 精 彩 但是 显 然 最 不 得 口 型 和 英 语 配 音 之 间 的 不同 不 让 我们 有 些 除 息 我们 认 为 这 可能 是 一个 非常 有 意思 的 挑 战 今天 还 没有 人 能 够 解 决 这个 问题 这 听 起 来 政府 和 我们 要 做 的 事情 就是 创 建 这 些 高 度 自 动 化 的 视 觉 特 效 应 用 所以 这 就是 L ip D ub 最 开始 的 出 发 点 让 好 莱 坞 的 配 音 第一 次 看 起 来 真 实 通 过 自 动 化 让 口 型 同 步 到 新 提 供 的 配 音 轨 道 这 就是 我们 开始 的 理 念 显 然 现在 我们 已经 进 入 市 场 我们 对 其 他 行 业 及 他们 对 L ip D ub 的 使 用 案 例 有 了 很多 了 解 但 就 我们 如何 走 到 这 一 步 而 言 这 就是 发 展 的 过 程 是的 当 你说 这是 一个 需要 解 决 的 问题 是 市 面 上 已经 有 这 方面 的 技 术 和 解 决 方 案 了 我想 到 的是 R AS C AI 但 他们 不 如 L IP T UP 精 确 时 吗 据 我 所 知 对 于 好 莱 坞 你 需要 一个 更 精 确 的 解 决 方 案 是 这样 吗 这 就是 你们 的 区 别 吗 是的 对 我们 来 说 解 决 这个 问题 总 是 关 于 两 件 事 对 于 好 莱 坞 来 说 你 方 案 的 成 品 质 量 要 是 最 高 的 因为 很多 东 西 需要 达 到 一定 水 准 才 能 使 用 所以 显 然 你的 罪 行 的 清 晰 都 必 须 完 美 你 处 理 的 温 利 的 保 证 都 和 分 辨 率 也 必 须 达 到 好 莱 坞 级 别 通 常 现在 是 4 K 纹 理 的 保 证 都 必 须 非常 出 色 如果 你有 胡 子 我们 在 给 你 做 L ift up 的时候 需要 看到 你 胡 子 上 的 每 一 根 胡 须 所以 这 对 我们 来 说 是 一个 重要 的 要 求 为 了 解 决 这个 问题 我们 专 注 于 最 新 的 质 量 和 面 部 纹 理 的 保 证 度 另 一个 先 而 易 见 问题 是 在 好 莱 坞 很 少 有 场 景 是 一个 任 务 单 独 出 现 的 与 其 像 一 群 人 讨 厌 自 然 少 金 珠 和 乡 金 有 些 场 景 总 会 有 四 个 角 色 同 时 说 话 然后 人 们 说 话 的时候 头 部 的 运 动 场 景 两 度 的 变 化 都是 我们 需要 考 虑 的 因 素 所以 这 确 实 是 我们 投 入 大 量 研 发 工作 的 地方 不 仅 能 够 做 到 出 色 的 发 音 和 高 分 辨 率 高 保 证 度 的 纹 理 还 能 够 处 理 困 难 的 内 容 或者 我们 内 部 称 之 为 动 态 内 容 所以 当 你想 到 市 面 上 的 其 他 工 具 是 比如 R AS C 就是 一个 有 趣 的 例 子 所以 那 些 工 具 一 开始 是 从 音 频 方面 开始 的 他们 的 最 初 目 的是 自 动 化 配 音 领 域 而 我们 从 未 关 注 过 那 些 因为 再 说 一次 想 想 我们 为什么 开始 为什么 我们 要 解 决 这个 问题 是 在 好 莱 坞 会 为 我们 提 供 盈 贵 的 假 设 下 进 行 的 所以 这 从 来 不是 我们 的 重 点 现在 一些 音 频 公 司 也 在 开始 做 最 纯 同 步 他们 拥 有 所 谓 的 一 站 是 本 地 化 解 决 方 案 但 我们 的 区 别 正 是 在 我 刚 才 说 的 那 些 方面 所以 当 你 与 L ip D ub 合 作 时 你 得 到 的是 市 场 上 最 好的 发 音 最 好的 分 辨 率 你 不会 在 创 意 上 受 到 限 制 你可以 用 L ip D ub 做 任 何 事情 你可以 让 人 们 移 动 你可以 让 人 们 侧 身 说 话 你可以 做 物 体 干 扰 东 西 经 过 脸 部 还有 这 些 大概 就是 主 要 的 功 能 了 不管 你 做 什么 不管 你的 视 频 内 容 包 含 什么 你 都 不会 受 到 限 制 而 大 多 数 更 面 向 低 端 大 众 市 场 的 系 统 甚 至 连 基本 操 作 都 难 以 应 对 是的 然后 你们 的 解 决 方 案 或 平 台 如何 与 现 有 的 配 音 解 决 方 案 继 承 显 然 E le ven Labs 是 现在 的 领 导 者 或者 De ep Dub 另 一 家 公 司 做 配 音 你 谈 到了 一 战 式 解 决 方 案 对 于 面 向 低 端 大 众 用 户 的 你们 会 添 加 配 音 功 能

9:24到 你们 的 平 台 一 边 用 户 可以 在 你们 的 平 台 上 完成 所有 操 作 吗 是的 这 当然 是 我们 经 常 讨 论 的 事情 所以 今天 我们 大 多 数 非 好 莱 坞 或 广 告 上 的 客 户 包括 为 自己 员 工 进 行 在 线 培 训 的 或者 在 网 上 销 售 课 程 的 公 司 还 有一 些 You Tube 频 道 广 告 中 间 我们 意 识 到 这 些 用 户 中 的 很多 人 也 确 实 需要 解 决 配 音 问题 广 告 在 某 种 程 度 上 是 个 例 外 他们 仍 然 利 用 真 实 的 声 音 表 演 但 你可以 看到 他们 实 际 上 开始 转 向 更 便 宜 的 解 决 方 案 我们 目前 对 客 户 的 策 略 是 让 他们 先 去 买 De ep Do ve 的 产 品 再 去 试 试 E le ven Labs 然后 再 是 我们 的 服 务 我 认 为 我们 将 来 的 发 展 方 向 是 可能 会 围 绕 一个 工 具 进 行 继 承 我们 还 没有 决 定 具 体 是 哪 一个 但 我们 有 很多 客 户 要 求 一 站 式 服 务 不是 说 是 用 两 个 软 件 不行 但 客 户 告诉 我们 将 所有 东 西 放 在 一起 会 更 好 所以 我们 也 正 在 对 此 方 案 进 行 探 索 那么 这个 过 程 的 匹 配 全部 运 动 或 处 理 视 频 中 像 素 的 技 术 过 程 一 边 全部 动 作 与 配 音 匹 配 是 如何 工作 的

11:12产 品 本 身 是 如何 工作 的 是 不能 透 露 太 多 因为 我们 很多 工作 成 果 和 我们 独 特 的 优 势 都是 秘 密 Daniel 和 他的 团 队 进 行 的 报 秘 工作 已经 两 年 了 产 品 的 工作 方 式 基本 上 是 这样 的 他 就 像 D rop box 一 样 你 有一 段 原 始 的 素 材 假 设 那 素 材 里 说 的是 英 语 而 你 希望 变 成 普 通 话 这 正 是 我们 将 要 在 这个 播 客 中 做 的 事情 这个 过 程 在 L ift Up 上 非常 简 单 你 上 传 你的 素 材 素 材 上 传 后 系 统 要 做 的 第一 件 事 是 检 测 并 跟 踪 它 在 媒 体 中 找 到 的 所有 面 空 然后 它 会 提 示 用 户 继 续 为 它 找 到 的 面 空 做 标 记 标 记 之 后 L ift up 就 能 理 解 身 份 上 传 媒 体 和 标 记 的 过 程 比如 说 对 于 一个 小 时 的 采 访 可能 需要 大 约 20 分 钟 的 语 处 理 时间 然后 一 旦 你有 一个 处 理 过 的 视 频 你 所 做 的 一 切 就是 中 间 有 一个 训 练 步 骤 所以 我们 的 系 统 实 际 上 是 在 用 说 话 的人 进 行 训 练 我们 训 练 的 原因 纯 粹 是 为 了 文 理 疑 惑 的 那 种 增 强 的 文 理 这是 我们 处 理 过 程 中 好 事 最 久 的 部分 过 去 需要 四 个 小 时 现在 我们 已经 缩 短 到 两 个 小 时 我们 还 在 继 续 努 力 缩 短 这个 时间 然后 一 旦 你有 了 标 记 病 训 练 好的 演 讲 者 你 所 要 做 的 就是 将 新 的 音 频 文 件 与 这 些 演 讲 者 关 联 起 来 所以 这是 一个 简 单 的 托 房 操 作 以 你 为 例, 你 用 De ep Dub 或 E le ven Labs 或 其 中 一个 音 频 工 具 创 建 Cra ig 的 普 通 话 音 规 然后 呢, 只 需 讲 其 与 Cra ig 关 联 并 点 击 开始 在 大 约 十 分 钟 内, 你 将 会 得 到 一个 你 和 我 说 读 普 通 话 的 视 频 所以 这是 平 台 上 的 一 半 流 程 平 台 正 在 做 的 事情 就是 操 控 嘴 巴 周 围 的 像 素 是 吧 我 猜 这是 朱 镇 完成 的 这是 通 过 不 定 时 线 的 吗 有 多 大的 像 素 去 预 备 会 替 换 以及 它 是 如何 与 音 频 中 的 最 纯 臂 合 伙 张 开 相 关 联 的

14:00是的 而 基本 上 眼 睛 以 下 的 所有 东 西 都是 我们 基 于 提 供 的 音 频 声 称 的 我们 一直 在 调 整 并 且 这 还 在 不 断 发 展 我们 这 比 了 什么 以及 我们 声 称 了 什么 但 在 产 品 的 现 状 下 从 眼 睛 以 下 的 所有 东 西 都是 需要 声 称 在 系 统 如何 工作 的 方面 有一 些 限 而 易 见 的 方面 大 多 数 人 可以 理 解 再 次 因 素 和 双 因 素 之 间 的 旧 系 统 的 工作 方 式 而 言 有 些 明 显 的 地方 是 大 多 数 人 可能 都 能 想 到 的 再 次 因 素 和 双 因 素 之 间 的 关 系 因 素 是 声 音 比如 啊 对 吧 只有 有 限 数 量 的 因 素 然后 施 予 这 些 因 素 相 关 的 双 因 素 会 做 一个 影 射 但 这 就是 真 正 开始 处 理 声 誉 细 节 问题 的 地方 因为 不 仅 仅 是 关 于 春 行 对 吧 像 我们 很 早 就 意 识 到 的 一 件 事 是 口 腔 内 部 的 重要 性 我们 讲 话 的 大 部分 其实 是 内 在 发 声 的 不是 最 唇 而 是 舌 头 和 牙 齿 有 些 次 几 乎 完全 是 用 舌 头 发 出来 的 所以 你 可能 有 两 个 非常 相 似 的 最 不 新 装 但 不同 的 舌 头 和 牙 齿 位 置 会 产 生 不同 的 声 音 对 我们 来 说 弄 清楚 如何 正 确 处 理 口 腔 内 部 是 一个 巨 大的 挑 战 之 后 还有 更 多 问题 比如 你 如何 个 性 化 你 如何 确 保 我 中 间 的 东 西 不 仅 仅 看 起 来 像 任 何 一 套 最 纯 或 随 机 的 最 纯 或 最 纯 的 代 理 你 如何 让 它 看 起 来 完全 像 原 来 的 演 讲 者 然后 每 一个 问题 都 会 引 出 更 多 问题 和 挑 战 是的 我们 谈 到了 市 面 上面 像 普 通 消 费 者 的 产 品 我们 将 用 中 文 进 行 我在 中国 有 观 众 中国 有 类 似 的 解 决 方 案 吗 因为 通 常 他们 与 美 国 的 解 决 方 案 在 最 前 演 竞 争 不 见 得 有 现在 有 很多 产 品 这 对 我们 来 说 是 验 证 因为 我们 感 觉 在 很多 方面 是 我们 开 创 了 这 条 线 河 有一 家 企 业 在 我们 之前 也 做 过 纯 形 同 步 但 他们 没有 专 注 于 自 动 化 而 这 对 我们 来 说 非常 重要 不是 自 动 化 本 身 而 是 我们 一直 觉得 即 使 我们 可以 做 纯 形 同 步 如果 好 事 国 场 货 费 用 锅 膏 就 会 显 示 在 大 多 数 使 用 场 景 中 的 可 行 性 所以 从 全 球 来 看 我们 是 第一 个 用 自 动 化 工 具 处 理 如此 高 质 量 素 材 的 公 司 我们 真的 觉得 我们 开 创 了 这个 类 别 的 先 河 当然 现在 我们 看到 很多 公 司 进 来 趁 他们 会 快 速 跟 随 着 一 不同 的是 这 些 公 司 大 多 数 只是 陶 客 公 司 他们 只是 在 围 绕 开 源 进 行 陶 客 所以 当然 他们 本 质 上 受 到 开 源 的 限 制 以及 开 源 能 给 你 什么 我们 两 年前 从 开 源 开始 一 事 到 使 用 开 源 离 我们 的 要 求 拆 太 远 但 总 而 言 之 我们 还 没有 看到 任 何 中国 的 竞 争 对 手 我 之 所以 提 到 中国 是 因为 当 时 有 一个 很有 名 的 视 频 应 该 是 上 唐 科 技 或 科 大 勋 非 发 布 的 我不 记 得 是 哪 家 公 司 了 当 时 特 朗 普 放 话 视 频 里 他 用 中 文 讲 话 这 在 当 时 让 大家 都 真 恋 了 但 这 只是 与 英 克 隆 技 术 抠 行 并 没有 对 上

17:56我在 想 中国 人 是 否 解 决 了 春 行 同 步 的 问题 这个 过 程 需要 多 长 时间 呢 有 没有 一个 读 量 标 准 像 好 读 多少 分 钟 或 小 时 或者 是 否 根 据 你 所 说 的 场 景 的 动 态 性 而 有 所 不同 G rid berg 是的 大 致 来 说 每 一 分 钟 在 平 台 上 生 成 的 新 内 容 目前 可能 需要 试 到 20 分 钟 的 时间 处 理 虽 然 这 不是 先 行 的 这 并 不是 说 如果你 通 过 系 统 运 行 一个 小 时 的 内 容 它 就 会 随 着 内 容 的 进 行 而 变 得 更 快 但 由 于 我们 一 刻 扩 展 的 方 式 构 建 了 所有 东 西 所以 所有 这 些 过 程 都 可以 并 性 运 行 所以 例 如 如果 我们 要 用 师 从 语 言 对 这 次 采 访 进 行 配 音 您 可以 同 时 在 云 上 生 成 所有 四 个 新 视 频 我想 大概 是 这样 应 该 平 均 下 来 大概 一个 小 时 会 减 少 到 大 约 每 分 钟 视 频 化 十 分 钟 不 包括 训 练 训 练 是 你 必 须 做 的 你 做 一次 两 个 小 时 你就 完成 了 你 不 需要 每 个 语 言 都 做 一 遍 你 只 需要 做 一次 只是 为 了 真 正 理 解 文 理 然后 对 你 大概 每 分 钟 视 频 需要 十 分 钟 左右 处 理 然后 费 用 有 没有 你们 是 如何 定 阶 的 这是 一个 自 助 平 台 对 吧 你们 会 引 导 客 户 使 用 但 一 旦 他们 了 解 了 平 台 就 应 该 可以 自己 使 用 了 你们 是 按 订 阅 模 式 收 费 吗 还是 按 分 钟 收 费 你们 是 怎么 做 的 对 就 像 你说 的 那 样 是 一个 订 阅 模 式 我们 的 收 费 制 度 是 你在 平 台 上 预 先 购 买 信 用 点 你可以 按 月 购 买 信 用 点 或者 你可以 按 念 购 买 信 用 点 如果你 按 月 购 买 信 用 点 它 是 不能 累 积 到 下 月 的 模 式 你 会 得 到 党 月 的 信 用 点 未 实 用 的 信 用 点 会 在 月 底 过 期 如果你 按 念 自 付 信 用 点 你 会 一次 性 得 到 全 年 信 用 电 你可以 随 时 使 用 信 用 电 的 价 格 是 1 美元 不同 支 出 是 你 消 耗 的 信 用 电 数 量 将 取 决 于 你在 平 台 上 的 试 用 情况 例 如 生 成 全 高 清 的 视 频 会 比 生 成 4 K 视 频 消 耗 更 少 的 信 用 电

21:06是的 主 要 的 用 户 群 是 谁 呢 我知道 你们 是 为 好 莱 坞 开 发 的 但 随 着 于 英 科 隆 和 世 事 范 义 的 发 展 在 我 看 来 这 种 解 决 方 案 在 各 个 领 域 的 需 求 将 会 越 来 越 高 是的 这 就是 我们 感 到 兴 奋 的 原因 因为 让 为 了 让 L ib D ub 更 有 价 值 需要 有一 些 新 的 配 音 音 频 你想 尝 试 的 历 史 上 配 音 一直 是 一个 非常 受 动 非常 昂 贵 的 过 程 主 要 有 好 莱 坞 和 眼 睛 上 使 用

21:58现在 我们 问 自己 如果 现在 配 音 突 然 变 成 非常 便 宜 的 而且 非常 容易 丧 手 的 工作

22:11世界 上 会 有 多少 内 容 即 将 被 配 音 目前 世界 上 只有 1 % 的 视 频 内 容 被 配 音 但是 这 急 于 的 想 法 是 配 音 一直 是 一个 非常 受 动 非常 昂 贵 的人 物 如果你 现在 可以 每 分 钟 的 内 容 之 花 几 分 钱 来 配 音 网 上 会 有 多少 内 容 即 将 被 配 音 我们 非常 强 烈 的 感 觉 到 任 何 被 配 音 的 东 西 都 应 该 被 纯 性 同 步 所以 关 于 回 答 你 最 初 的 问题 谁 是 用 户

22:50这是 一个 不 断 发 展 的 问题 真的 对 You Tube 市 场 感 到 兴 奋 真的 非常 兴 奋 现在 已经 有一 些 证 据 表 明 来 自 那 些 早 期 使 用 者 干 预 尝 试 的 You Tube 频 道 他们 已经 进 行了 配 音 W ish iver Sw ing Mr. Beast 这个 为 其 两 年的 实 验 所 得 的 统 计 数 据 表 明 全 球 各 地 用 户 都 对 它的 内 容 有 巨 大的 需 求 是的 实 际 上 呢 我 每 意 识 到 Mr. Be ast 已经 给 他 自己 的 视 频 配 音 了 他 配 了 那 些 语 言 他 一 开始 是 15 种 现在 正 在 加 到 30 种 是的 他 早 在 AI 音 频 技 术 出 现 之前 就 已经 开始 这 方面 的 实 验 最 初 他是 通 过 付 钱 给 传 统 配 音 工作 师 来 完成 这 项 工作 一次 来 验 证 这是 否 有 效 如果 我 给 我的 频 道 配 音 内 容 会 表 现 得 更 好 他 当然 没有 公 布 所有 视 频 的 统 计 数 据 但 他 确 实 发 布 了 某 些 月 份 作 为 事 例 并 且 给 出 了 他 观 众 来 的 原 稀 分 在 这 些 月 份 中 50 % 以上 的 浏 览 量 是 来 自 外 国 观 众 来 自 配 音 版 还是 只是 国 际 用 户 看 英 语 版 配 音 版 哇 那 你们 在 与 他 合 作 吗 还是 You Tube 可以 讲 这个 功 能 继 承 到 You Tube 工作 室 中 让 用 户 一 剑 即 可 进 行 配 音 和 口 星 同 步 是的 我 们 的 确 在 与 先生 Be ats 合 作 我们 正 开始 探 索 一些 纯 形 同 步 的 工作 并 且 最近 我们 还 引 入 了 一些 其 他的 知 名 You T uber 到 这个 这 些 博 主 要 要 已经 有 配 音 过 的 内 容 要 么 看到 了 趋 势 想 要 加入 进 来 并 开始 本 地 化 他们 的 频 道 因为 相 对 而 言 这 对 他们 来 说 确 实 是 一 件 容易 的 事 他们 已经 在 创 作 内 容 上 做 了 投 入 而 现在 要 考 虑 的是 如何 最 大 化 我 創 作 内 容 的 价 值 本 地 化 就是 一个 很 好的 方 法 这 不 仅 仅 是 唯 一 的 市 场 但 我 特 别 看 好 各 市 场 因为 世界 这么 大 我 相信 人 们 肯 定 不 只 看 说 自己 沐 浴 的 博 主 人 们 在 世界 各 地 制 作 各 式 各 样 的 内 容 我 能 觉得 现在 整 个 媒 体 领 域 都有 这 种 需 求 就 拿 我 举 例 我 非常 喜欢 慕 福 将 军 他 很 棒 鱿 鱼 游 戏 也 很 棒 我们 现在 也 在 于 一些 在 世界 其 他 地方 有 很 大的 影 响 力 的 知 名 You T uber 合 作 因为 他们 也 对 北 美 市 场 感 兴 趣 字 母 一直 是 他们 过 去 实 用 的 方 式 但 它 影 响 观 看 者 的 投 入 感 对 吧 这是 一 种 推 而 求 其 次 的 观 看 方 式 而 现在 你可以 有 一个 You Tube 频 道 能 让 世界 上 每 个 国 家 的 观 众 都 有一 种 量 身 定 制 的 一 流 体 验 我 对 此 感 到 非常 兴 奋 另 一个 可能 涉 及 到 的 领 域 是 眼 高 这是 一个 非常 大的 市 场 无 论 是 数 字 营 销 还是 电 视 广 播 许 多 客 户 是 广 告 代 理 机 构 或 外 包 的 视 频 制 作 公 司 就 在 刚 刚 我们 就 为 我 最 喜欢 的 科 技 品 牌 只 一直 做 了 一 则 电 视 广 告 它 很 快 就 会 发 布 我们 一 回 就 能 谈 到 这个 了 但 那 次 合 作 真的很 令 人 兴 奋 还有 我 之前 提 到 的 在 线 教 育 无 论 是 对 国 际 员 工 的 培 训 比如 说 你是 一个 拥 有 全 球 员 工 的 跨 国 公 司 能 够 与 国 际 员 工 队 伍 进 行 无 障 碍 的 儿 童 或者 是 那 些 现在 在 网 上 卖 客 的 想 要 拖 款 到 新 的 市 场 我们 现在 就 有一 些 这样 的 客 户 他们 有 大 量 的 课 程 资 源 是 非常 成 功 的 公 司 但 尽 限 于 他们 所 在 的 地 区 现在 他们 认 为 L ift Up 的 出 现 是 一个 进 入 新 市 场 扩 大 业 务 的 机 会 所以 有 很多 事情 要 关 注 但 我 认 为 这是 好 事 是 令 人 兴 奋 的 事 有 些 人 在 制 作 英 语 内 容 想 要 轰 大 费 英 语 市 场 但 也 有 大 量 内 容 里 面 说 的是 其 他的 语 言 我在 中国 生活 了 很 长 时间 接 触 了 大 量 中 文 内 容 而 这 一 地 内 容 所 说 的 英 语 的人 从 未 英 国 的 两 国 之 间 是 巨 大的 雷 洁 差 距 因为 人 们 缺 乏 接 触 对 方 的 机 会 那么 是 否 存 在 一 种 主 导 语 言 在 你看 来 大 多 数 内 容 和 市 场 都是 将 英 语 内 容 翻 译 成 其 他 语 言 吗 你 认 为 那 种 语 言 是 主 要 目 标 或者 说 前 三 种 语 言 是 什么 还是 说 你 认 为 市 场 实 际 上 是 在 将 外 语 内 容 翻 译 成 英 语 以 便 宏 大 英 语 世界 这 确 实 是 两 者 都有 我 没有 看到 任 何 一个 主 导 趋 势 针 对 莱 坞 来 说 他们 最 初 的 应 用 以及 他们 特 别 感 兴 趣 的是 把 外 语 赚 到 英 语 可能 只是 因为 我们 作 为 英 语 使 用 者 没有 耐 心 其 他 市 场 入 德 国 或 法 国 从 一 开始 就 习 惯 了 配 音 所以 最 纯 不同 步 的 想 法 虽 然 不是 理 想 或 最 佳 的 方 案 但 至 少 他们 已经 习 惯 了 而 我们 从 来 就 没有 经 历 过 这 些 所以 我们 就 会 非常 敏 锐 地 发 现 这个 问题 好 莱 坞 主 要 是 对 外 语 专 英 语 更 感 兴 趣 但 当 涉 及 到 网 告 在 线 教 育 YouTube 这是 主 要 的 语 言 就是 在 欧 洲 地 区 的 那 些 比如 德 语 法 语 意 大 利 语 还有 印 度 的 语 言 比如 营 地 与 普 通 话 也是 一个 巨 大的 市 场 所以 我们 真的 没有 看到 一个 特 别 突 出 的 趋 势 感 觉 就 像 是 每 个 人 都 想 更 好的 与 每 个 人 沟 通 真 将 基 础 的 思 想 可以 达 到 什么 程 度 是 否 可以 想 象 最 终 你 将 能 够 在 稍 微 延 迟 的 情况 下 同 步 和 配 音 直 播 内 容 是的 这 在 未 来 是 肯 定 能 实 现 的 处 理 是 内 容 的 挑 战 通 常 是 你 必 须 做 出 一些 质 量 上 的 妥 协 但 现在 很多 时候 新 的 技 术 能 让 旧 的 妥 协 消 失 所以 我们 当然 对 此 很 感 兴 趣 作 为 未 来 发 展 的 方 向 如果你 能 够 实 现 实 时 处 理 你就 能 开 启 许 多 有 趣 的 应 用 场 景 到 那 时 它 也 将 会 成 为 全 球 翻 译 软 件 中 一个 重要 的 技 术 仅 仅 是 想 到 我 可以 与 在 中国 的 同 时 交 流 并 以 一 种 历 史 上 我 从 未 能 够 做 到 的 方 式 与 他们 建 立 联 系 这 显 然 是 非常 有 趣 的 当然 也 会 有 很多 本 身 就是 事 实 的 内 容 很多 盐 播 都是 直 播 的 我们 确 实 看到 一些 盐 播 正 在 使 用 我们 的 服 务 例 如 现在 就 有 几 家 公 司 在 用 印 度 各 地 语 言 做 半 球 比 赛 解 说 我 认 为 这 真的很 酷 印 度 是 这个 技 术 的 一个 很 好的 市 场 因为 他们 有 很多 方 言 通 常 你要 不要 为 每 种 方 言 创 建 内 容 要 么 有 些 方 言 的 内 容 观 看 体 验 不好 所以 我 对 这个 技 术 在 印 度 的 前 景 非常 看 好 你们 的 挑 战 不 仅 仅 是 最 纯 的 开 合 或 牙 齿 和 舌 头 的 位 置 还有 措 辞 表 述 问题 因为 翻 译 后 的 句 子 可能 比 在 英 语 里 需要 更 长 时间 来 说 翻 之 亦 然 你们 是 如何 处 理 这个 问题 的 是的 这是 一个 很 好的 问题 大 多 数 AI 音 频 软 件 有 两 个 限 制 因 素 首先 是 翻 译 准 确 性 有 些 语 言 的 翻 译 准 确 率 比 其 他 语 言 高 得 多 我 认 为 这是 必 须 解 决 的 问题 而 另 一个 更 难 解 决 的 问题 是 利 语 和 俗 语 我 认 为 这个 也 归 类 于 翻 译 准 确 性 的 问题 里 但 这 两 件 事 都是 很 现 实 的 问题 这 就是 为什么 在 大 多 数 这 些 AI 音 频 系 统 中 会 给 你 编 辑 中 心 配 音 脚 本 的 功 能 但 这 就 需要 有 动 该 语 言 的人 来 进 行 这 项 工作 而 者 只 会 让 系 统 更 难 发 挥 戒 指 对 吧 如果 我想 讲 一 段 视 频 完 美 的 翻 译 程 式 从 语 言 需要 每 个 目 标 语 言 的 母 语 人 士 来 慎 合 从 这 些 音 频 平 台 输 出 的 翻 译 这 并 不是 说 无 法 做 到 只是 这样 的 操 作 比 较 麻 烦 且 在 后 勤 上 具 有 挑 战 性 这 就是 当 今 平 台 中 存 在 的 问题 正 在 使 用 AI 音 频 的人 大 多 还是 需要 找 到 动 这 些 语 言 的人 来 帮 助 他们 完成 这 项 工作 还有 你 刚 刚 提 到 发 音 对 器 的 问题 这 也是 其 中 一个 限 制 因 素 现在 的 程 序 主 要 做 两 件 事 来 解 决 这个 问题 他们 可以 缩 短 或 拉 伸 音 频 以 保 证 于 原 配 对 齐 但 这 种 方 法 可能 导 致 有 时 会 产 生 很 不 理 想 的 结 果 对 吧 如果你 听 了 一 段 音 频 其 中 部分 音 频 感 觉 加 速 下一 段 有 减 速 节 鱼 课 接 受 的 观 看 体 验 和 完全 让 你 分 心 的 内 容 之 间 是 有一 条 细 微 的 界 线 的 然 而 你在 这 方面 的 解 决 方 法 还是 得 回 到 剧 本 编 辑 的 部分 如果你 又 要 翻 译 成 西 班 牙 语 的 英 语 内 容 而 已 出 的 西 班 牙 语 音 频 是 15 秒 但 英 语 原 文 是 10 秒 你是 可以 依 靠 自 动 的 坚 速 和 加 速 或者 你可以 实 际 去 调 整 西 班 牙 语 的 剧 本 删 掉 一些 词 稍 微 调 整 一下 这 其实 正 是 好 莱 坞 现在 在 做 的 但是 呢 那 样 又 很 麻 烦 但 听 起 来 这 可以 自 动 化 Say sure 在 翻 译 和 语 音 声 成 中 如果你 输 入 了 要 匹 配 的是 坚 持 一 般 来 说 一 句 话 会 有 很多 种 翻 译 方 式 对 吧 在 我 看 来 这是 可以 自 动 化 的 让 翻 译 后 的 内 容 接 近 原 来 的 时间 长 度 使 用 相 同 或 类 似 的 团 语 无 论 是 英 语 还是 其 他 配 音 语 言 是的 我 认 为 这 可能 是 一个 有 趣 的 方 法 我 认 为 你 提 出 的 可能 是 一个 墨 这里 有 几 个 版 本 他们 捕 捉 了 原 始 脚 本 的 情 感 这个 版 本 更 短 更 适 合 你的 影片 而 这个 版 本 基本 是 主 字 主 句 的 但 太 长 了 我 认 为 我 不是 说 这 些 问题 是 不 可 解 决 的 这 些 只是 由 于 目前 的 限 制 有 些 用 户 来 到 平 台 然后 期 望 得 到 一个 完 美 的 结 果 像 我们 我的 这样 的 对 口 型 软 件 它 相 当 奇 妙 人 工 智 能 音 频 软 件 也 很 奇 妙 但是 奇 妙 并 不 意 味 着 完 美 奇 妙 也 不 意 味 着 没有 工作 需要 付 出 先 而 易 见 的 问题 是 这 种 技 术 被 滥 用 的 潜 力 你们 是 如何 看 待 这个 问题 的 随 着 技 术 的 进 步 辨 别 一些 东 西 是 否 经 过 配 音 和 对 口 型 会 越 来 越 困 难 你可以 很 容易 的 让 人 说 他们 从 未 说 过 的话 你们 是 如何 看 待 这个 问题 的 平 台 上 是 否 有 任 何 控 制 措 施 或 你们 是 否 考 虑 在 平 台 上 内 置 任 何 措 施 来 防 止 这 种 滥 用 其实 这是 我们 经 常 讨 论 的 事情 我们 建 立 这个 平 台 的 初 衷 是 为 了 帮 助 全 球 更 好的 沟 通 而 不是 颠 覆 民 主 因 此 我们 采 取 了 一些 措 施 我们 却 保 在 你 进 行 L ift Up 时 必 须 在 平 台 上 确 认 你 确 实 有 权 限 对 该 人 进 行 L ift Up 我们 还 会 对 平 台 上 的 所有 内 容 进 行 抽 插 如果 我们 发 现 拦 用 情况 比如 发 现 某 位 名 人 在 推 演 他们 是 疾 病 未 参 与 的 产 品 我们 会 立 即 用 酒 精 子 改 用 户 使 用 平 台 执 行 这 些 措 施 非常 好 是 好 理 但 我们 认 为 是 必 要 的 我 认 为 说 到底 这 需要 那 些 提 供 AI 生 成 内 容 的 平 台 和 分 发 这 些 内 容 的 平 台 之 间 进 行 紧 密 合 作 比如 社 交 媒 体 You Tube F ace book 等 但是 有 方 法 可以 永 远 数 据 标 记 这 些 内 容 片 段 我 忘 了 是 哪 一个 平 台 它 已经 推 出 确 保 任 何 AI 生 成 的 视 频 内 容 都 会 被 标 记 为 这样 的 功 能 我 认 为 这 很 关 键 因为 如 你 所 说 我们 已经 经 过 了 所 谓 恐 怖 孤 的 时 代 了 如果 大家 不 开始 共 同 努 力 我 认 为 现在 的人 工 智 能 技 术 的 负 面 影 响 会 成 为 现 实 对 社 会 非常 不 利 我 认 为 没有 人 希望 看到 这样 我也 不 认 为 这是 任 何 人 最 初 开 发 这 些 工 具 的 初 衷 人 们 打 造 这 些 工 具 是 为 了 促 进 创 造 力 赋 予 人 们 新 的 能 力 和 机 会 去 做 他們 從 未 想 過 能 做 的 事情 但是 如果 沒有 緊 密 的 寫 作 我 認為 事情 很 可能 會 失 款 現在 已經 有 很多 關 於 數 字 水 印 象 觀 的 研 究 就 比如 在 視 頻 裡 潛 入 一些 人 眼 看 不 簡單 可以 被 機 器 識 別 到 的 圖 案 你们 有 没有 在 和 了 解 这 方面 技 术 的 研 究 人 员 交 流 没 错 当然 我 指 的 就是 这 种 数 字 水 平 但 我 不是 我们 团 队 中 时 机 参 与 这 些 讨 论 的人 因为 我 不是 工 程 师 而且 技 术 也 不 够 专 业 The City 我们 的 目 标 肯 定 是 要 实 现 一 种 不能 被 人 篡 盖 的 东 西 如果 能 被 人 篡 盖 那就 有 些 失 败 了 我们 希望 这 些 数 字 随 应 是 永 久 的 因为 再 做 一次 我们 的 目 的是 帮 助 人 们 沟 通 交 流 我们 不 想 在 这里 传 播 虚 假 信 息 所以 是的 这 非常 重要 但 这 就 像 任 何 新 技 术 一 样 大 多 数 创 新 技 术 都有 好的 一 面 和 P 的 一 面 现在 有 没有 一些 人 们 可以 参 考 的 用 力 有 没有 好 莱 坞 的 片 子 是 用 过 你们 的 技 术 或者 You Tube 上 有 没有 例 子 对 你 刚 刚 提 到 Mr.

41:18Be ast 是 吧 人 们 可以 详 细 了 解 一下 是的 因为 在 好 莱 坞 其实 我们 正 在 做 的 大 部分 工作 都是 所 谓 的 AD R 就是 指 你想 要 改 变 电 影 中 的 某 些 内 容 比如 你 拍 摄 过 后 觉得 我不 喜欢 演 员 都 那 条 对 白 的 方 式 或者 我想 改 变 那 条 对 白 这 在 我们 的 软 件 出 现 之前 这 通 常 需要 一个 非常 昂 贵 的 种 派 这 就是 我们 现在 和 好 莱 坞 合 作 需要 处 理 的人 物 谈 绿 的 说 这个 产 品 需要 一个 适 合 好 莱 坞 项 目 的 成 本 结 构 我们 的 很多 You T uber 现在 才 刚 刚 开始 所以 你 很 快 就 会 在 平 台 上 看到 他们 你 会 开始 看到 他们 的 内 容 出 现 然后 还有 广 告 对 吧 我们 刚 刚 就 和 大 卫 贝 克 一 幕 作 为 代 言 人 为 乐 时 做 了 一个 很 棒 的 广 告 我们 的 做 的 就是 把它 翻 译 成 不同 的 预 言 我 刚 刚 就 提 到 我们 为 一个 大 型 科 技 品 牌 的 三 次 推 演 活 动 做 了 八 重 预 言 版 本 这个 很 快 也 会 推 出 而 我们 的 一些 客 户 是 代 表 品 牌 进 行 的 工作 发 展 他们 的 数 字 营 销 或者 在 线 学 习 其 中 的 指 标 在 观 看 两 核 参 与 率 等 方面 都 非常 两 人 但是 这 些 数 据 我们 不能 公 开 What's that?

42:54你是 如何 组 建 团 队 的? 是 谁 创 立 的 起 源 故 事 又 是 什么 呢? 你 之前 谈 到了 你们 的 初 衷 以及 你们 开始 时 都 做 了 什么 但 我 总 是 很 亮 身 为 一 名 律 师 你 能 够 齐 心 协 力 品 情 这 些 工 程 师 成 本 非常 高 现在 他们 的 需 求 量 巨 大 你 能 详 细 谈 谈 这 一点 吗 不 仅 仅 是 你 其实 我也 挺 凉 雅 的 我的 开始 其实 是 这样 的 我 之前 的 那 家 公 司 它 不 从 事 AI 工作 而 AI 工作 是 一 种 独 特 的 领 域 在 组 建 我 第一 个 团 队 的时候 我很 快 学 到 的 一 件 事 是 这 绝 对 不是 一个 用 数 两 牙 它 导 致 量 的 游 戏 世界 上 有 很多 研 究 员 你可以 雇 用 以 污 渍 的 普 通 研 究 员 而 他们 会 给 你 100 个 理 由 说 明 为什么 你的 问题 无 法 解 决 而 雇 用 一 名 出 色 的 研 究 员 就 能 给 出 你 问题 的 答 案 在 M ir ze AI 的 第一 次 迭 代 后 我很 快 意 识 到 这 将 是 一个 严 肃 的 项 目 如果 我们 想 要 开 发 一个 世界 级 的 产 品 我们 就 需要 一 名 顶 尖 的 研 究 人 员 而 拼 请 Daniel Koh ener 非常 困 难 Daniel 是 全 球 领 先 的 Se ag raph 计 算 机 图 形 学 专 家 是 世界 上 发 表 Se ag raph 文 章 最 多 的 贡 献 者 他 在 特 拉 维 夫 大 学 的 实 验 室 向 右 世界 声 誉 30 年前 他们 从 一个 图 像 实 验 室 开始 在 10 年前 他们 是 全 球 最 早 开始 研 究 将 深 度 学 习 技 术 应 用 与 图 像 中 从 那 以 后 他们 的 实 验 室 发 布 的 论 文 和 从 那个 实 验 室 出来 的 学 生 都 为 当 今 的 图 像 科 学 领 域 做 出 了 巨 大的 贡 献 所以 我 非常 希望 D anny 能 加入 因为 他 正 是 我们 需要 的人 我 最 终 创 建 了 一个 顾 问 委 员 会 又 来 自 个 大 加 拿 大 元 小 的 一些 非常 优 秀 的 教 授 组 成

45:50通 过 这 些 联 系 我 接 触 到了 许 多 出 色 的 候 选 人 虽 然 这 些 面 试 过 程 非常 漫 长 但是 这 让 我有 机 会 深 入 了 姐 美 为 候 选 人 的 优 势 和 潜 力 最 终 我 看 中 了 D anny 欠 下 他 前 后 花 了 八 个 月 但 我觉得 他 对 我们 的 原 境 非常 感 兴 趣 因为 这 与 他 之前 在 实 验 室 的 研 究 方 向 一 致 当 你 作 为 熟 悉 科 学 家 加入 之 后 我们 的 目 光 有 锁 定 到 他的 长 期 合 作 者 上 是 加 拿 大 S Q 大 学 的 助 理 教 授 在 计 算 与 图 形 学 方面 这 所 学 校 是 在 全 北 美 中 最 顶 尖 的 旨 意 他的 名 字 是 A li Mate vi N amer i 我们 有 的 熟 悉 科 学 家 有 的 研 究 总 监 这 点 定 了 我们 团 队 的 即 使 有 了 这 些 核 心 成 员 后 你就 有 了 一个 探 索 视 觉 特 效 普 计 划 的 环 境 而 这是 非常 有 吸 引 力 的 此 外 你 还 可以 和 更 多 的 研 究 人 员 进 行 交 谈 告诉 他们 看 你在 这里 不 仅 能 处 理 一些 非常 有 趣 的 问题 而且 你 还 能 与 全 球 领 域 内 最 有 才 华 的人 一起 工作 然后 团 队 就 会 开始 自 发 地 成 长 而 这 一 切 都是 与 那个 顾 问 委 员 会 你们 抽 集 资 本 是 在 组 建 顾 问 委 员 会 之前 还是 先 组 建 了 顾 问 委 员 会 然后 再 抽 集 资 本 我们 先 做 了 那个 是 吧 我们 算 是 先 赌 建 了 顾 问 委 员 会 然后 再 抽 集 资 金 的 吧 是的 我想 也是 我们 在 刚 刚 开始 时候 讨 论 如何 设 置 相 机 一 边 你 再 讲 话 使 你的 眼 神 不会 骗 因为 你 眼 睛 成 的 的是 屏 幕 上 的人 你们 有 没有 讨 论 过 操 纵 统 空 位 置 的 技 术 我知道 这 现在 已经 有 了 但是 N VID IA 发 不 过 类 似 那 样 的 东 西 是 但 我们 还 没有 完成 我们 所有 产 品 的 开 发 我们 确 实 认 为 L ip D ub 是 一个 很 棒 的 产 品 我们 认 为 它 会 有 世界 级 的 影 响 力 对 于 我们 来 说 它 只是 一个 起 点 我 认 为 随 着 公 司 的 成 长 我们 会 研 发 更 多 新 的 产 品 是 主 要 围 绕 着 如何 提 升 个 人 的 创 造 力 从 而 是 他们 能 够 使 用 以前 需要 大 量 专 家 写 作 才 能 使 用 的 各 种 视 觉 特 效 应 用 我们 的 总 体 目 标 是 让 个 人 能 够 使 用 并 发 挥 创 造 力 大概 就是 类 似 这样 的 产 品 但 我们 原 味 结 束 我不知道 操 控 通 控 会 不会 是 我们 将 来 会 做 的 因为 就 像 你说 的 已经 被 做 过 了 但 我们 还 有一 些 我们 还有 更 多 有 意思 的 想 法 但 至 少 目前 我们 主 要 还是 在 努 力 专 注 于 实 现 L ip D ub 的 使 命 但 这 不会 是 最 后 这 环 绝 未 结 束 这 肯 定 不会 是 我们 最 后 的 一个 产 品