ControlNet作者新项目，居然也搞起大模型和Agent了。
当然还是和AI绘画相关：解决大伙不会写提示词的痛点。
现在只需一句超简单的提示词说明意图，Agent就会自己开始“构图”：
这就是ControlNet作者Lvmin Zhang的新玩具。Omost这个名字有双层含义：
这个新项目让网友直呼：也太强了！
放大翻译成中文来看，用户简短的提示词会被拆解扩展，从图像全局描述到局部每个元素的都会详细说明，直观地指定图像中各个元素的位置和大小。
之后，特定图像生成器根据LLM描绘的“蓝图”创建最终的图像。
而且，已经完成的图像整体布局可以保留，想修改画面中的某个元素，也只需一句提示词。
原版是这样婶儿的：
然后把龙变成恐龙：
目前，Omost用来生成代码的LLM有基于Llama3和Phi3变体的三种模型，Lvmin Zhang还放出了Demo大伙儿可以试玩。
网友们第一时间也纷纷上手尝试：
不禁感慨Lvmin Zhang的项目都很鹅妹子嘤：
729个框，设定图像所有元素的位置
Omost目前提供基于Llama3和Phi3变体的三种LLM。
下面扒开Omost看看里面有什么。
首先，所有的Omost LLM都经过训练，可以提供严格定义的子提示，大伙儿可以利用其来设计无损文本编码方法。
“子提示”（sub-prompt）指的是如果一个提示少于75个token，并且能够独立描述一个事物，不依赖于其他提示，就是“子提示”。
Omost通过预定义的位置、偏移量和区域这三大参数来简化图像元素的描述。
首先将图像划分为3*3=9个位置：
然后进一步将每个位置划分为33个偏移量，得到99=81个位置：
以这些位置为中心，进一步定义了 9 种类型的边界框：
如此一来就涵盖了999=729个不同的边界框，几乎涵盖了图像中元素的所有常见可能位置。
接下来，distance_to_viewer和HTML_web_color_name两大参数调整视觉表现。
组合distance_to_viewer和HTML_web_color_name可以绘制出非常粗糙的构图。
例如，如果LLM效果良好，“在暗室的木桌上的红瓶子前面有一个绿色瓶子”应该可以计算出如下图像：
此外，ControlNet作者Lvmin Zhang还提供了一个基于注意力操纵的Omost LLM的baseline渲染器。并总结了目前要实现区域引导的扩散系统的一些选择。
基于注意力分数操作，他编写了一个baseline公式，并认为这种无参数公式是一个非常标准的baseline实现，几乎会引入zero style偏移或质量下降。将来，他们可能会考虑为Omost训练一些参数化方法。
具体来说，现在考虑一个只有2*2=4像素的极简化图像：
有三个提示“两只猫”、“一只黑猫”、“一只白猫”，有它们的掩码：
然后就可以画出这个注意力分数表：
简而言之，就是通过调整注意力分数来控制模型在不同区域的关注度，来实现更精细的图像生成。
此外，Lvmin Zhang还发现了另一种可以提高提示理解的技巧，并称其为提示前缀树（Prompt Prefix Tree）。
因为现在所有的提示都是可以任意合并的子提示（所有子提示严格少于75个token，通常少于40个标记，描述独立的概念，并且可以任意合并为clip编码的常规提示），找到一种更好的方法来合并这些子提示可能会改进结果和提示描述。
例如，下面是一个全局/局部整体/详细描述的树结构：
由于所有子提示都可以任意合并，因此可以将此树形图中的路径用作提示。
例如，下面的路径将给出提示“一只猫和一只狗。沙发上的猫”。
感兴趣的家银亲自上手玩玩吧～
GitHub链接：https://github.com/lllyasviel/OmostDemo链接：https://huggingface.co/spaces/lllyasviel/Omost
怎么样对一个自己喜欢的人表白最好啊？
接近她，了解她，成为她的好朋友，关心她，照顾她。 。 。 发发短信，偶尔来几句暧昧的话。 。 。 。 让她慢慢地依赖上你，最后米你不行。 。 。 嘿嘿~~然后再来个浪漫的世纪爱情大告白。 。 。 这样子，应该会蛮成功的吧~~~~我男朋友就是用这个方法追到莪的，希望这个也会对祢 的她管用吖~~希望你早日追到她，祢幸福吖~~
1988年7月22日巨蟹座生女孩在2006年的学业上怎样？爱情上又如何？
2006年是巨蟹座奋发图强，赢得成就的一年。 整体运：☆☆☆☆☆巨蟹座2006年运势很旺，有强大的外力支持，使你各方面都很顺利。 然而，由于“定之克罗诺斯”和“魅之巫肯那斯”，以及玄秘之星“艾希丝”同时在你的星宫内，让你的心思繁琐、性情不定，但是对实际面的妨碍并不大。 因为木星的扶持，以及天王星遥遥相拱，形成金三角的助力，巨蟹座运势上扬，应该算是最幸运的星座吧，只要你能定下心来集中精神，好好把握住大好时机，就能够达成许多目标和成就！功课学业运：☆☆☆☆你的课业状况将莫名其妙地好起来，2006年巨蟹座的好运，大部分呈现在这些方面。 在学成绩杰出，或者考试上榜顺利升学，或者论文过关，或者出国有成。 这些都可能有快速进展，要赶紧配合时机，趁现在完成这些课题吧。 工作职场运：☆☆☆☆这一年巨蟹座生活多采多姿，工作上也是闲不下来的。 有很多事情会找上门来，是有利的CASE那就非常好，虽然也有一些劳烦你的事推托不掉，但也能帮你增添人脉。 令人安心的是，许多事务的进行都很顺畅，能够完满地达成。 金钱理财运：☆☆☆巨蟹座2006年的财运并不平稳，有没有钱不是问题，是你有很多要忙的事情分心，更主要的问题是会很劳累。 而且被火星干扰，会有破费的倾向，在理财规划上，常见准备不及的现象，且缺乏因应措施，容易混乱或拖延。 这些现象都造成财运的美中不足，但收入来源都没有大问题，整体还算过得去。 恋爱婚姻运：☆☆☆☆巨蟹座这一年运势很旺，而这些好运可以说主要集中在爱情方面，所以如果错过了的话，就比较感受不到这些好运了。 可能会有突如其来的惊喜，无论是事件或人物的出现。 有伴侣的你：两人关系持续热烈或亲密，也很有可能迈向新的阶段，良好的互动使彼此都很愉快。 单身的你：也有不错的对象会自动出现，只看你自己的感觉，对宫的智神星会帮助你如何挑选，要怎么取舍，控制权在你这一方喔！
你怎么评价柳永的词
他的词写得漂亮极致，情抒得极致漂亮。 柳永的笔头流淌着阳光、春雨、丹青。 他描绘的江南有声有色，有情有韵有味，让身处江南的才子也心驰神往。 柳永的心头有天真稚气，柔情似水，激情似火。 平仄声里，如杜鹃啼血，如秋雨打萍，溅得宋词好婉约。
