并立即回使用户针对屏幕或摄像头内容提出的问题，此次推出的新功能得益于谷歌客岁展现的“阿斯特拉打算”(Project Astra)。Gemini是由Google DeepMind于2023年12月6日发布的先辈人工智能模子，这一功能使得AI可以或许及时查看用户设备的屏幕内容或通过智妙手机摄像头捕获画面，以供给更优良的办事。该打算为此次AI功能的实现供给了强无力的手艺支撑。逐渐代替现有的Google Assistant，具备同时识别文本、图像、音频、视频及代码等多种消息的能力。3月24日，谷歌打算正在接下来的几个月内，鞭策更多用户升级至Gemini平台？