TBOOX开源工程

• xmake v2.2.2, 让C/C++拥有包依赖自动构建

  2018-10-13

  xmake

  xmake  lua  C/C++  版本更新  远程包管理  包依赖  自动构建

  前言

  历经四个多月，xmake终于更新了新版本v2.2.2，并且上线了重量级功能：原生支持的远程依赖包管理。

  而这个特性，其实我陆陆续续写了将近一年的时间，才初步完成，对于此特性的开发进展和历史，有兴趣的同学可以看下相关issues：#69。

  目前的实现效果如下，完全一致的语义版本依赖描述：

  

  完全一致的跨平台构建行为，一键xmake编译：

  

  完整的项目描述：

  add_requires("tbox 1.6.*", "libpng ~1.16", "zlib")
  
  target("test")
      set_kind("binary")
      add_files("src/*.c") 
      add_packages("tbox", "libpng", "zlib")
  

  我先简单介绍下我做这个功能的背景：

  我们在写C/C++程序的时候，对于第三方依赖库的使用一直是一个老大难问题，因为每个依赖库的构建系统不同、代码平台支持力度的差异，导致没法像其他高级语言那样有方便好用的包管理支持。

  虽然现在已经有了homebrew, vcpkg等包管理工具来解决这一问题，但是多少都有一些局限性，例如：

  1. homebrew不支持iphoneos, android, windows平台
  2. vcpkg不支持语义版本选择，多版本管理
  3. 另外都不支持项目管理和构建

  对于目前现有的跨平台构建工具，都缺少内置的包管理支持，像cmake仅提供了find_package去查找系统包，虽然可以和vcpkg等第三方包管理配合使用，但我个人觉得并不是很方便。 这会使得项目的其他用户在编译的时候，额外要求去安装vcpkg或者安装依赖库到系统上才行，对于pc平台还好弄些，对于iphoneos, android等平台的依赖库，用户就要折腾上一会了。

  而xmake的理念就是：真正的一致维护, 真正的一键编译

  • 构建行为的一致性: 不管你的项目是否有库依赖，工具依赖，只需要执行一个xmake命令，即可编译通过。
  • 项目维护的一致性: 不管你的项目是在windows上用，还是给linux, iphone, android上用，都只需要一份xmake.lua维护项目即可。

  而cmake还需要生成额外的第三方IDE工程文件，即使cmakelist.txt相同，但是构建、维护体验上对用户来讲都不可能保证完全一致，毕竟还受限于vc/make此类工具。

  Read English 阅读全文

  ---

• 记对协程增加IOCP支持时候踩过的一些坑

  2018-08-16

  tbox

  tbox  IOCP  协程  坑点

  之前在对tbox的协程库中增加了基于IOCP的io处理，期间踩了不少的坑，这边就做个简单记录吧，省的到时候忘记了，自己看不懂自己这个代码 (= =)

  坑点一

  WSARecv/WSASend在lpNumberOfBytesRecv和overlap同时被设置的情况下，如果它们的io操作立即返回成功，并且lpNumberOfBytesRecv里面也已经获取到了实际的io处理字节数，但是io event还会被放到完成队列，需要调用GetQueuedCompletionStatus去获取。

  之前就被这个坑了很久，我原本想既然如果WASRecv已经立即完成，那么没必要再去通过GetQueuedCompletionStatus等待了，我可以直接快速返回处理结果，减少不必要的协程等待和切换。

  然而经过实测发现，实时并非如此，即时我这次立即从recv返回出去不再等待了，等到下次recv如果是pending状态的话，有可能等待到的是上次处理成功的io event，蛋疼。。

  为了进一步了解其机制，我翻了下官方文档，里面对lpNumberOfBytesRecvd有如下说明:

  lpNumberOfBytesRecvd
  
  A pointer to the number, in bytes, of data received by this call if the receive operation completes immediately.
  
  Use NULL for this parameter if the lpOverlapped parameter is not NULL to avoid potentially erroneous results. This parameter can be NULL only if the lpOverlapped parameter is not NULL.
  

  大概得意思就是告诉我们，如果lpNumberOfBytesRecvd和lpOverlapped同时被设置，可能会有潜在的问题(估计多半就是我遇到的坑吧)，所以看文档这意思，估计是建议我们在传入lpOverlapped的情况下，尽量不要设置lpNumberOfBytesRecvd，传NULL就好。

  但是这不是我想要的结果，我还是希望能够快速处理WSARecv立即成功返回的情况，没必要每次都切换协程去等待io event。

  一种办法是调用两次WSARecv，一次不传lpOverlapped，直接尝试读取，如果成功立即返回结果，读不到的话，再通过lpOverlapped送入完成队列，去队列化等待事件完成。

  另外一种办法就是每次GetQueuedCompletionStatus的时候去忽略之前已经成功处理和返回的时间对象。

  不过这两种我试了下，都不是很理想，处理起来比较复杂，效率也不高，那有没有其他更好的办法呢，我翻了下golang源码中对于iocp的处理，终于找到了解决办法。(果然还是golang给力)

  poll/fd_windows.go里面有这么字段代码和注释说明:

  // This package uses the SetFileCompletionNotificationModes Windows
  // API to skip calling GetQueuedCompletionStatus if an IO operation
  // completes synchronously. There is a known bug where
  // SetFileCompletionNotificationModes crashes on some systems (see
  // https://support.microsoft.com/kb/2568167 for details).
  
  var useSetFileCompletionNotificationModes bool // determines is SetFileCompletionNotificationModes is present and safe to use
  

  原来golang是用了SetFileCompletionNotificationModes API去设置iocp端口在每次GetQueuedCompletionStatus等待io事件的时候，去直接内部忽略已经立即成功返回的io事件，也就是说如果WSARecv如果立即成功返回，那么不会再队列化io event了。

  这个好呀，正是我想要的东西，而且用起来也很简单，只需要:

  SetFileCompletionNotificationModes(socket, FILE_SKIP_COMPLETION_PORT_ON_SUCCESS);
  

  阅读全文

  ---

• tbox v1.6.3 更新，新增基于IOCP的协程支持

  2018-08-01

  tbox

  tbox  稳定性修复  版本更新  IOCP  协程

  此版本主要改进windows下协程的支持，修复了很多稳定性问题，并且实现了基于IOCP的协程io处理。

  新特性

  • #24: 针对windows平台下的协程处理，增加IOCP支持

  改进

  • 移除docs目录，放置到独立tbox-docs仓库，减少tbox.zip包大小
  • 支持tinyc编译器
  • 移除被废弃的模块（asio模块，先用coroutine代替）
  • 精简优化容器库内存资源使用
  • 帮助valgrind更好的理解coroutine

  Bugs修复

  • 修复windows环境变量的中文编码问题
  • 修复后台进程退出问题
  • 修复设置环境变量值为空时的崩溃问题
  • 修复协程sleep超时覆写数据的bug
  • 修复windows根路径问题
  • 修复tls线程存储内存泄露问题
  • 修复context切换问题
  • 修复tb_vsnprintf栈溢出问题
  • #43: 修复读取dns服务器以及stream读取bug

  源码

  • Github
  • Gitee
  Read English 阅读全文

  ---

• xmake-vscode v1.1.0版本发布，断点调试支持

  2018-06-28

  xmake

  xmake  lua  版本更新

  xmake-vscode插件深度集成了xmake和vscode，提供方便快速的跨平台c/c++构建。

  此版本主要更新内容如下：

  • 利用C/C++插件vscode-cpptools实现直接加载断点调试xmake编译的程序
  • 多工程目录工作区支持，可以随意切换和编译多个工程
  • 改进mingw平台支持
  Read English 阅读全文

  ---

• xmake-vscode v1.0.8版本发布，在vscode中构建Qt/WDK程序

  2018-06-25

  xmake

  xmake  lua  版本更新

  xmake-vscode插件深度集成了xmake和vscode，提供方便快速的跨平台c/c++构建。

  此版本主要更新内容如下：

  • 兼容windows下VScode+shell(cmd/bash)
  • 修复windows下使用，偶尔出现命令在终端下被截断的问题
  • 更新xmake的自动补全，支持最新版本API
  • 增加对Qt、WDK环境的支持和配置
  • 新增附加参数配置，实现交叉编译的配置支持

  新增的配置内容如下:

  "xmake.QtDirectory": {
      "type": "string",
      "default": "",
      "description": "The Qt Directory"
  },
  "xmake.WDKDirectory": {
      "type": "string",
      "default": "",
      "description": "The WDK Directory"
  },
  "xmake.additionalConfigArguments": {
      "type": "string",
      "default": "",
      "description": "The Additional Config Arguments, .e.g --cc=gcc --cxflags=\"-DDEBUG\""
  }
  

  Read English 阅读全文

  ---