记一次selenium爬取网站,菜单不能正常加载的错误
最近在开发一个爬虫,使用selenium进行爬取。 本地好好的,部署到远程就不行。 因为涉及到多开,所理论上只需要把session复制到新开的窗口,然后打开主页菜单地址,就可以进入系统并加载菜单。 本地开发调试没问题,但是部署到服务器上后发现一个问题:有的时候能加载出菜单,有时候不行。 我去 找了半天,只发现一个不同的地方:那就是服务器是windowserver,我是win10(因为我...
最近在开发一个爬虫,使用selenium进行爬取。 本地好好的,部署到远程就不行。 因为涉及到多开,所理论上只需要把session复制到新开的窗口,然后打开主页菜单地址,就可以进入系统并加载菜单。 本地开发调试没问题,但是部署到服务器上后发现一个问题:有的时候能加载出菜单,有时候不行。 我去 找了半天,只发现一个不同的地方:那就是服务器是windowserver,我是win10(因为我...
有些时候,开发pc端的时候想读取或操作其他进程的 Listview, 一般来说spy++查看 类名为:SysListView32 先贴上官方文档: 选中消息事件 消息定义 下面代码实现了获取第三方的 Listview 数据,和选中功能。 分别位于selectItem2/ getText 两个方法。 主要留存下代码,方便下次使用 希望能帮助到大家: using Newtonso...
最近入手了移动的rax3000m路由器,刷了个openwrt. 128mb闪存,512运存, 还带一个usb3的接口,确实是可玩性不错。 117rmb 到手立即刷openwrt, 把老旧的移动硬盘接上,能正常识别。 开启smb共享,功耗10w, 确实不错。哈哈, 问题来了,这样用了一天,今天插上硬盘突然不识别了。我擦嘞,为啥? 捣鼓了半天,就是不行,插windows电脑却又可以。 ...
这几天,一个的好好的php应用。 用户找到我说接口抛出一个异常: "message": "Malformed UTF-8 characters, possibly incorrectly encoded", 这他妈什么异常,一般来说这个是字符编码有问题,一脸懵逼。开始排查。 查看接口地址,定位接口,看到是在以下代码抛出的异常: $conn = new \PDO("odbc:Drive...
手机用了4年了,该换了。这几天在看买个啥。 一直用的红米手机,挺好使的,现在手上的是 红米k30-5g版本。 想换个拍照好点的,看中了红米 note13pro+ 哈哈,话又说回来,红米手机拍照是真的差劲,不知道为啥,感觉有色差。 网上搜索一圈,都说谷歌相机拍照不错,于是去下载安装了,果然不负所望。 谷歌相机整体色彩还原度高,照片质量也更好了,跟自带相机果然是一个天上一个地下。 推荐安装...
最近一致使用远程界面,有些情况需要使用家里的电脑。 说起来也奇怪,以前一直也没发现什么问题。好好的(1920*1080)分辨率下。 最近升级了屏幕到4K,就有点奇怪的问题。公司的电脑是1920*1080的,很多时候连上去,桌面上的软件都不能输入,比如 百度搜索输入框,VSCODE输入框。 看起来就像窗口冻结了,或则假死,反正就是不能输入。 如果关了重新打开,又可以输入。 这就奇了个怪...
最近写一个小功能,公司有封装一套sharding包,引入即可直接使用。 于是按照文档引入,配置完成。使用了id和时间分表, 分别涉及到根据id查询和根据时间查询; 也就是sql长得像下面: select * from test where id = 1; select * from test where create_date < '2024-03-20 11:00:00' and...
目录: 协程,什么是协程呢? 它的优缺点 RuntimeError 发生的原因 代码示例 python 用了也有两年了,以前最大的项目也就是1个文件, 哈哈。根本就没这种问题。 但这次使用 python 做了后台开发 (fastapi), 在开发的过程中遇到了一个个问题: 项目启动时已经初始化好了一个数据库连接,并申明为全局。业务中有一个结算任务,由于考虑到效率原因...
过年了,想着把我车上U盘的音乐更新下, 网上找了半天没有找到什么好的下载地方。 最后发现一个不错的网站-煎饼网,https://www.jbsou.cn/ 这个网站可以下载mp3, 很良心了,然后我看到它居然带了一个播放器,而且有歌单,这个就很重要了。 于是花了3个消失,写了一段脚本。 直接下载,挺好的。 这里把代码贴出来: # 煎饼网 爬取mp3 # songSheetList ...
平平淡淡的一天,正常写开发输出代码,但在打包编译时就懵了,编译出错,正常错误还好,根据提示修改即可,但这次报的却是java.lang.StackOverflowError。 我懵了:这ide也没提示有语法错误什么的啊,上个版本也能正常打包的啊 后来发现这可能是一个JDK编译器的bug, 具体情况是编译项目中的一个java类时,报StackOverflowError错误。 测试过以下jd...