Jacky Zhao
2023-08-09 68ccd1d79de7cef275605e238238c1a80bbb074f
quartz/processors/parse.ts
@@ -56,6 +56,8 @@
    platform: "node",
    format: "esm",
    packages: "external",
    sourcemap: true,
    sourcesContent: false,
    plugins: [
      {
        name: "css-and-scripts-as-text",
@@ -91,7 +93,7 @@
        }
        // base data properties that plugins may use
        file.data.slug = slugifyFilePath(path.relative(argv.directory, file.path) as FilePath)
        file.data.slug = slugifyFilePath(path.posix.relative(argv.directory, file.path) as FilePath)
        file.data.filePath = fp
        const ast = processor.parse(file)
@@ -103,7 +105,6 @@
        }
      } catch (err) {
        trace(`\nFailed to process \`${fp}\``, err as Error)
        throw err
      }
    }
@@ -117,7 +118,8 @@
  const log = new QuartzLogger(argv.verbose)
  const CHUNK_SIZE = 128
  let concurrency = fps.length < CHUNK_SIZE ? 1 : os.availableParallelism()
  let concurrency =
    ctx.argv.concurrency ?? (fps.length < CHUNK_SIZE ? 1 : os.availableParallelism())
  let res: ProcessedContent[] = []
  log.start(`Parsing input files using ${concurrency} threads`)
@@ -143,7 +145,11 @@
      childPromises.push(pool.exec("parseFiles", [argv, chunk, ctx.allSlugs]))
    }
    const results: ProcessedContent[][] = await WorkerPromise.all(childPromises)
    const results: ProcessedContent[][] = await WorkerPromise.all(childPromises).catch((err) => {
      const errString = err.toString().slice("Error:".length)
      console.error(errString)
      process.exit(1)
    })
    res = results.flat()
    await pool.terminate()
  }