novelai吧 关注:357,405贴子:1,719,976
  • 8回复贴,共1

最近试着训练几个版画和油画风lora

只看楼主收藏回复


仿版画,基础是古斯塔夫·多雷(1832-1883)、Wierix家族(16-17世纪)、荷尔拜因(1497-1543)和约翰・坦尼尔(1820-1914)的一些作品。

仿约翰·威廉·格维得,John William Godward(1861-1922)风格,训练使用了他的油画作品


IP属地:江苏1楼2023-03-29 21:55回复
    训练画风比我想象的困难很多。用webui上的批处理给画自动生成tag文件后,点开一看两眼一黑,尤其是版画基本上识别了个寂寞,画的是三个人识别出来的却可能是恐龙和哥斯拉,就算认出了画的是人,也会认为这些人通通穿着渔网衣站在铁丝网围栏前。


    IP属地:江苏2楼2023-03-29 22:02
    回复
      最早的两次跑的是Godward油画,因为听介绍说训练画风几乎不需要删tag,所以对tag文件原封不动。然而得到的lora跑图结果是完全的混沌色块。
      头疼。第三次我手动修改了所有tag文件,一方面把跟风格有些关系的词删了,比如realistic, fine-art parody, photo……一方面把识别错的物品修正了。从这一次开始终于得到了能用的lora……两件事到底是因果关系,还是纯运气?不是太懂算法原理,但后来我都是手修tag的。另外b站一个老外的lora训练教程里也是手动修正了tag描述。


      IP属地:江苏3楼2023-03-29 22:10
      回复
        不过另一个问题还是存在……我本意是想训练“画风”,不过画风实在是个比较难界定的概念。
        同样难以界定的还有……服装;很多角色lora教程都提到可以留下衣服tag,这样角色能够换装。但很多历史服饰我实在不知道用什么tag提示……后来得到的lora全都会明显影响服饰风格,背景风格也是,虽然我一直在tag里加入景物描述。


        (同参数,加和不加lora)


        不太清楚该怎么处理这个问题。正则化?还是就这么算了?以后再看吧。


        IP属地:江苏4楼2023-03-29 22:17
        回复
          版画lora权重较低的时候,有时效果也挺有趣



          还尝试过用一些线条相关的tag增强版画的线条感。暂时还没测试清楚哪些管用。


          IP属地:江苏5楼2023-03-29 22:23
          回复
            最后的烦恼是眼睛。用lora的时候经常把眼睛画崩或者画的很怪。目前试来试去,还是基本靠玄学,文生图的时候多试几遍找看得顺眼的。


            (不过回想起来,图生图的时候,Godward lora反而几乎没崩过眼睛……神秘)


            IP属地:江苏7楼2023-03-29 22:35
            回复
              多雷好评


              IP属地:湖北来自Android客户端8楼2023-03-30 01:29
              回复
                手动剪裁了140份更清晰的版画局部,手动打了140份tag(deepbooru识别版画完全是在胡说八道),就算用datasetTagManager我也要疯了
                换了两套参数炼了两套lora,晚上测一下结果,但愿能有更像铜版画的风格。


                IP属地:江苏来自Android客户端9楼2023-04-04 12:38
                回复
                  我最难受的是,大部分的底模和教程都是关于二次元人物和网红美女的,离能真正用在美术上实在还有很长的路要走


                  IP属地:广东来自iPhone客户端10楼2023-06-14 00:55
                  回复