AI分割一切!智源提出通用分割模型SegGPT,「一通百通」的那种

允中 发自 凹非寺

量子位 | 公众号 QbitAI

视觉领域的GPT-3时刻,真的要来了?

Meta分割一切的SAM(SegmentAnything Model)刚炸完场,几乎同时,国内的智源研究院视觉团队也提出了通用分割模型SegGPT——

Segment Everything in Context,首个利用视觉上下文完成各种分割任务的通用视觉模型。

就像这样,在一张画面中标注出彩虹,就能批量分割其他画面中的彩虹。

和 SAM 相比,视觉模型的 In-context 能力是最大差异点 :

这也就意味着,SAM的精细标注能力,与SegGPT的批量化标注分割能力,还能进一步相结合,产生全新的CV应用。

具体而言,SegGPT 是智源通用视觉模型 Painter 的衍生模型,针对分割一切物体的目标做出优化。

SegGPT 训练完成後无需微调,只需提供示例即可自动推理并完成对应分割任务,包括图像和视频中的实例、类别、零部件、轮廓、文本、人脸等等。

该模型具有以下优势能力:

  1. 通用能力:SegGPT具有上下文推理能力,模型能够根据上下文(prompt)中提供掩码,对预测进行自适应的调整,实现对「everything」的分割,包括实例、类别、零部件、轮廓、文本、人脸、医学图像等。
  2. 灵活推理能力:支持任意数量的prompt;支持针对特定场景的tuned prompt;可以用不同颜色的mask表示不同目标,实现并行分割推理。
  3. 自动视频分割和追踪能力:以第一帧图像和对应的物体掩码作为上下文示例,SegGPT能够自动对後续视频帧进行分割,并且可以用掩码的颜色作为物体的ID,实现自动追踪。

更多案例展示

作者在广泛的任务上对SegGPT进行了评估,包括少样本语义分割、视频对象分割、语义分割和全景分割。下图中具体展示了SegGPT在实例、类别、零部件、轮廓、文本和任意形状物体上的分割结果。

用画笔大致圈出行星环带(左图),在预测图中准确输出目标图像中的行星环带(右图)。

SegGPT能够根据用户提供的宇航员头盔掩码这一上下文(左图),在新的图片中预测出对应的宇航员头盔区域(右图)。

训练方法

SegGPT将不同的分割任务统一到一个通用的上下文学习框架中,通过将各类分割数据转换为相同格式的图像来统一各式各样的数据形式。

具体来说,SegGPT的训练被定义为一个上下文着色问题,对於每个数据样本都有随机的颜色映射。…

Facebook Messenger 视讯通话加入多人游戏功能

虽然社会开始复常,大家都能像往日一样面对面约会聊天,但总有些朋友们是分隔异地的,所以视讯通话功能还是会继续强化。Facebook 宣布把旗下 Messenger 的视讯通话加入多人游戏功能,能够一边看着对方聊天、一边共同进行游戏。

iOS、Android 和网页版的 Messenger 视讯通话功能都能进行多人游戏,目前已经开放 14 个游戏,包括《爆炸猫》、《Mini Golf FRVR》等。每次游戏完结後会有积分榜,让你可以跟一众好友一较高下。…

存储器价格大跳水,利润暴跌近100%!三星电子官宣减产!

欢迎关注创芯人才网搜索晶元人才及职位

4 月 7 日消息,三星电子於本周五公布了第一季度业绩,营业利润预计暴跌 96%,低於分析师的预期。

而造成这样情况的原因,在於晶元供过於求情况恶化,买家在全球经济放缓的情况下,减少采购而造成对三星营运的冲击。对於这样的情况,相关消息透露,三星方面也不再坚持先前的策略,将进行存储器减产的动作。

三星电子周五表示,将效仿规模较小的竞争对手,大幅削减晶元产量,以应对全球半导体需求的急剧下滑这导致价格暴跌。

市场预估,三星减产的动作将对存储器的复苏带来帮助。

报道指出,韩国这家全球最大的存储器和电视制造商,7 日在一份简短的初步营收报告中估计,其2023 年1 月至3 月份的第一季营业利益,从2022年同期的14.12 万亿韩圜降至6,000 亿韩圜(约4.5亿美元)。暴跌 96%!整体来说,三星存储器因为出货疲弱的关系,DRAM 价格下滑约15%,NAND Flash 则是下滑10%。在市场供应链开是减少後,预计本季跌幅将会收敛。

对此,三星在一份声明中表示,由於全球经济形势和客户购买意愿放缓,许多客户继续出於财务目的调整库存,使得存储器需求急剧下降。另外,2023 年的第一季营业利益6,000 亿韩圜,在低於Refinitiv SmartEstimate 预估的8,730 亿韩圜情况下,单季营收也较2022 年同期下滑19%,金额来到63万亿韩圜(约478亿美元)。

报道指出,三星将於本月晚些时候发布详细的财报,包括各部门详细营运状况。而根据市场市场消息指出,在获利暴跌的冲击下,三星原本坚持不进行存储器减产的计划,将目前已经开始做出减产的调整。不过,三星方面仍看好中长期的强劲发展,在资本支出的方面,仍将会持续投资基础建设的投资与研发。
小班线上授课、线下实训!

创新大讲堂晶元就业课推荐喜欢这篇文章吗?立刻分享出去让更多人知道吧!

本站内容充实丰富,博大精深,小编精选每日热门资讯,随时更新,点击「抢先收到最新资讯」浏览吧!

请您继续阅读更多来自 EETOP半导体社区 的精彩文章:

※Arm拟改变授权模式,Royalty大涨数倍!
※特斯拉在中国布局晶元设计及制造…

忘记半导体吧,这才是未来

超导体制造高效电子产品,但使它们工作所需的超低温和超高压成本高昂且难以实施。室温超导体有望改变这种状况。

罗切斯特大学的研究人员最近宣布了一种新材料,该材料在室温下是超导体,尽管在高压下,如果得到证实,这是一个令人兴奋的发展。如果这种材料或类似材料可靠地工作并且可以经济地大规模生产,它可能会彻底改变电子产品。

室温超导材料将为实际应用带来许多新的可能性,包括超高效电网、超快和节能计算机晶元,以及可用於悬浮火车和控制聚变反应堆的超强磁体。

超导体是一种可以传导直流电而不会遇到任何电阻的材料。电阻是阻碍电流流动的材料的特性。传统的超导体必须冷却到极低的温度,接近绝对零。

近几十年来,研究人员开发了所谓的高温超导体,只需将其冷却至零下 10 华氏度(零下 23 摄氏度)。

虽然比传统超导体更容易使用,但高温超导体仍然需要特殊的热设备。除了低温之外,这些材料还需要非常高的压力,比大气压力 14.6 磅/平方英寸(1 巴)高 167 万倍。

顾名思义,室温超导体不需要特殊设备来冷却。它们确实需要加压,但只需要加压到大气压的 10,000 倍左右。这种压力可以通过使用坚固的金属外壳来实现。

使用超导体的地方

超导电子是指使用超导材料实现极高水平的性能和能效的电子设备和电路,比最先进的半导体设备和电路要好几个数量级。

超导材料没有电阻,这意味着它们可以支持高电流,而不会因电阻而损失任何能量。这种效率使超导体在电力传输方面非常有吸引力。

公用事业供应商 Commonwealth Edison安装了高温超导输电线路并展示了为芝加哥北部供电的技术,试用期为一年。与传统铜线相比,升级後的超导线可以承载 200 倍的电流。

但维持当今超导体所需的低温和高压的成本使得在大多数情况下即使这种效率提高也不切实际。

因为超导体的电阻为零,如果将电流施加到超导回路中,除非回路断开,否则电流将永远持续下去。这种现象可用於制造大型永磁体的各种应用。

今天的磁共振成像机使用超导磁体来达到几特斯拉的磁场强度,这是精确成像所需要的。相比之下,地球磁场的强度或通量密度约为 50 微特斯拉。

1.5 特斯拉 MRI 机器中的超导磁体产生的磁场比地球产生的磁场强 30,000 倍。

扫描仪使用超导磁体产生磁场,使患者体内的氢原子核对齐。这个过程与无线电波相结合,产生用於 MRI 检查的组织图像。磁铁的强度直接影响 …

Zoom 整合 Okta 方案 蓝盾确认与会者身分

Zoom 持续兑现提升虚拟通讯安全的承诺,最新与美国身分及权限管理供应商 Okta 推出 Okta Authentication for E2EE,付费用户毋须整合多方的解决方案已可在点对点加密(E2EE)会议中验证参加者身分。此合作主要回应混合模式的普及,随时随地工作,通过方案可简易确认参加者身分,保障安全,并可减少用户在应用程式之间切换所花的时间。

Okta Authentication for E2EE 使用该公司的身分验证技术,从验证点对点加密会议参加者的电邮确认身分。当确认用户的身分後,其名字在参加者列表中会显示蓝色盾牌图标,其他参加者可以将滑鼠移至图标,查看参加者的公司网域、 Okta 已验证的电邮等相关资讯,确认是否与会议参加者的资料吻合。

在 Zoom 使用 Okta Authentication for E2EE 的方法亦见简单,帐户管理员先在下载「 ZoomE2E 」应用程式,并且启用「 Okta Authentication for Zoom E2E Encryption 」,便可在 Zoom 的设定页面找到「安全性」启用 Okta 点对点加密身分认证功能。启用此功能後,用户在设定中启用身分共享功能,便可在点对点加密会议中与其他用户共享个人资料。根据会议参加者的个人设定,用户的个人身分认证功能会自动启用,或者被重新连结到 Okta 网页,然後要求使用登入资料进行双重身分验证。当参加者完成身分认证後,其他参加者可以点击蓝色盾牌图标或弹出视窗,确保与真正用户进行协作和沟通。…

Netflix 改组电影部门 推行自家电影精品化

随着更多电影发行商会积极发展自家的影视串流服务,一些本来在 Netflix 可以看到的作品,陆续被发行商收回放映授权。迫使 Netflix 需要开设自家的电影制作部门,以满足订户的在电影内容的需要。在过去一段时间,Netflix 差不多每星期都有自家制作的电影上架,不过引述彭博的消息指,Netflix 将重组旗下的电影制作部门,并会改变以往以量取胜的方针⋯⋯

一直以来,Netflix 电影都被指重量不重质,很多以大明星作招徕的作品,评价都相当糟糕。例如由 Dwayne Johnson、Gal Gadot 及 Ryan Reynolds 主演的《红色通缉令》,这套制作费高达 2 亿美元的作品,就被评为史上制作费最高的烂片之一。为缩减电影部门的开支及提高作品的质素,消息指 Netflix 将会重组电影部门,首先是将中低成本电影制作部门合并,当然会在全球裁减约 1,000 名员工,同时将效法其他电影公司采用更严紧的电影监制制度,以控制制作成本及提高作品质素。但到底在改革後 Netflix 的电影能否摆脱「十套 Netflix 九套伏」的恶名,就让大家拭目以待吧。…

PS5 限定独占 R-TYPE FINAL 3 全面进化

经典 STG 作品《R-TYPE FINAL 2》之前推出後获得好评,最近作品在 PS5 主机推出「增强版」《R-TYPE FINAL 3 全面进化》额外收录独占关卡,因平台问题未有入手前作的玩家,今次终於可以出手,要注意开发游戏内的 99+ 款 R-Type 战机,可是一个「长期作战」。

《R-TYPE FINAL 2》在众筹集资下成功开发,亦再追加了不少 DLC 致敬关卡,今次《R-TYPE FINAL 3 全面进化》,是以《R-TYPE FINAL 2》内容为基础,追加全新关卡以及新功能而成的作品,只限 PS5 平台,包含《R-TYPE FINAL 2》的既有 13 个关卡在内,共收录约超过 20 个关卡,以及随游戏进度而开发、超过 99 部不同性能的战斗机,毋须等待更新。

《R-TYPE FINAL 3 全面进化》有 7 个独占关卡,并会在稍後更新档中启用更多网上社群功能,包括:玩家房间、R …

Nothing Ear (2) 评测:继承前代的有趣,也来兼顾品质

Nothing 在两款耳机、一款手机之後,已经证明了创办人 Carl Pei 裴宇已经能带来 something 有趣的事,但所谓「创业难、守业更难」,要如何保持初心之余,再推出更好的迭代产品,才是新创品牌能够长存之道。做为品牌定调作的真.无线耳机 Nothing Ear (1),搭上了近来兴起的 Y2K 复古潮流,以透明机壳造成话题,同时又以低定价吸引大众嚐鲜。今天登场的二代目 Nothing Ear (2) 就以提升品质为主调:音质、规格、造工都不同程度的升级。

外观、压感操作

看到手机、耳机都用上透明机壳,Nothing 不光只是蹭上 Y2K 复古风,而是真正以此为品牌为核心风格,加上要养成大家 Nothing 产品的熟悉感,所以不意外 Ear (2) 也保持着同样的外形 — 带杆子的「逗号形」设计。硬要从耳机本体上看出个差异来,就是在外侧印上的 Nothing Ear (2) 来证明。

官方表示 Ear(2) 耳机的改进都集中在内部结构,包括把天线位置移高,减少使用者身体的干扰;沿用 11.6mm 尺寸的单元,搭配使用 PU 和石墨烯物料,各取两者柔软和轻巧、高硬度的特性,提升高、低频两端的表现;同时采用了双腔体设计来提升声音细致度。

除此之外,Ear …

电信运营商行业深度报告:数字经济核心资产,云与数据重塑价值

(报告出品方/作者:中泰证券,陈宁玉、佘雨晴)

基础通信回暖,新兴业务占比提升

营收增速创近年新高,业务结构优化

基础通信服务平稳增长,新兴业务快速发展。工 信部数据,2022年电信业务收入累计完成15808 亿元,同比增长8%,电信业务总量(按上年不变 价计算)同比增长21.3%,保持两位数增幅,移 动数据/固定宽频/新兴业务收入为6397亿/2402 亿/3072亿,同比增长0.3%/7.1%/32.4%。云计算 /大数据/IDC/物联网业务同比分别增长 118.2%/58%/11.5%/24.7%。 整体营收利润拐点向上。2019年以来,降费政策 收敛,市场竞争趋於有序,运营商相继取消不限 量套餐,基础通信业务经营状况改善,2021年营 收增速创近年新高,2022年前三季度中移动/中 电信/中联通营收分别为7235亿元/3578亿元 /2640亿元,同比增长11.5%/9.6%/8.0%,净利润 分别为985亿元/245亿元/68亿元,同比增长 13.3%/5.2%/20.4%。

ToC业务稳步向上,ToB业务占比提升

运营商个人移动及固网业务仍占据主导。从 整体行业看,2022H1移动通信/固网宽频/政 企业务占比分别为48%/16%/21%,其中,中 国移动/中国电信/中国联通固移业务营收占 比分别为74%/72%/67%。 新兴业务快速增长,占比超过20%。新兴业 务有力驱动运营商发展,22年前三季度中国 移动DICT业务收入685亿元,同比增长40%, 中国电信产业数字化业务收入达856亿元, 同比增长16.5%,中国联通产业互联网业务 实现收入532亿元,同比提升30%,天翼云、 联通云收入均同比翻番。

移动通信:营收拐点向上,ARPU值触底回升

受益流量增长与降费政策弱化,业务增长稳健。22H1三大运营商移动业务合计收入4400亿元,同比增长2.1%,保持2021年以来正增长趋势, 中国移动/中国电信/中国联通分别为2516亿/989亿/849亿元,同比增长0.2%/6.0%/3.4%。移动业务增速回升主要受益於流量持续增长与降 费政策收敛,流量资费降幅缩窄。 中国移动份额过半,中国电信增速领先。2017-2022H1移动业务收入占行业比重58%-63%,中国电信占比约22%,中国联通份额近20%,从变 化趋势来看,中国移动份额近年来小幅下滑至近60%,中国电信增速领先,份额上升至超过20%,中国联通增速居中,份额相对稳定。

移动通信:5G用户渗透率持续提升

移动用户增长趋缓,5G渗透率突破60%。截至2022年底,中移动/中电信/中联通移动用户数分别为9.75亿/3.91亿/3.22亿户,合计16.89亿户, …

资安不只防火墙!CloudMile 联手奔腾网路助力企业,打造内部治理的「云端行车纪录器」

随着混合多云环境逐渐成为常态,企业 IT 管理也迎来更大的挑战。根据 TechOrange 科技报橘的《云端 AI 应用大调查》,受访企业普遍认同云端架构可以减少 IT 工作负担,但也有 32% 受访者认为,混合云和多云架构会为企业带来新的管理挑战。

身为台湾第一家获得 Google Cloud 认证的云端托管服务供应商(MSP, Managed Service Provider),CloudMile 万里云以实践 AI 成为企业成长动能为使命,利用机器学习及大数据分析,协助企业进行商业预测及产业升级,持续致力为企业提高云端应用的效率和稳定性。CloudMile 如今更与专注做混合多云的 Pentium Network 奔腾网路进行策略合作,在既有 MSP 服务基础上,整合奔腾网路为企业资安打造的「Mavis 特权帐号管理工具」,盼能协助企业克服混合多云环境的管理挑战,让 IT 人员可以专注在 IT 营运规划上,运用混合多云环境加速企业达成数位转型目标。

CloudMile 创办人暨执行长刘永信与奔腾网路创办人兼执行长张潮濬,在一个温暖的春日午後在 CloudMile 台北办公室接受 TechOrange 科技报橘专访,聊基於混合多云架构的资安管理工具 Mavis ,如何化身为企业 …